Questionnaire d’expérience du service (ESQ)

1. Résumé / Abstract

Le Questionnaire d’expérience du service (en anglais : Experience of Service Questionnaire, ou ESQ), initialement développé sous le nom de CHI-ESQ par la Commission for Health Improvement (Attride-Stirling, 2002), est un instrument psychométrique standardisé conçu pour évaluer l’expérience et la satisfaction des usagers au sein des services de santé mentale destinés aux enfants et adolescents (CAMHS – Child and Adolescent Mental Health Services). Cet outil s’inscrit dans la catégorie des mesures d’expérience rapportées par les patients (Patient-Reported Experience Measures ou PREMs). L’échelle se décline en trois versions complémentaires adaptées aux différentes populations cibles : les parents et tuteurs légaux (parents/carers), les adolescents âgés de 12 à 18 ans, et les enfants âgés de 9 à 11 ans.

Chaque version comporte 12 items quantitatifs fermés complétés par 3 questions ouvertes qualitatives visant à identifier les aspects positifs des soins, les pistes d’amélioration et les commentaires généraux. Pour les versions adolescents et parents, les items sont évalués à l’aide d’une échelle ordinale en trois points (« Certainement vrai », « Partiellement vrai », « Pas vrai ») avec une option non cotée « Ne sait pas ». La version pour les enfants de 9 à 11 ans adopte un phrasé simplifié adapté au développement cognitif de l’enfant. Les analyses psychométriques de référence (notamment Brown et al., 2012) démontrent une structure bifactorielle robuste comprenant deux sous-échelles : la « Satisfaction à l’égard des soins » (9 items mesurant l’écoute, le partenariat et l’efficacité perçue) et l’« Environnement et accessibilité » (3 items relatifs aux locaux, à l’accès et à la planification des rendez-vous). L’instrument présente une consistance interne satisfaisante, avec des coefficients alpha de Cronbach oscillant généralement entre 0,78 et 0,88 pour la dimension des soins, et démontre une excellente validité de construit et d’utilité clinique au sein des démarches d’audit, de recherche et d’amélioration de la qualité des soins.

2. Mots-clés / Keywords

Experience of Service Questionnaire, ESQ, satisfaction des usagers, psychiatrie infanto-juvénile, CAMHS, évaluation des services de santé, psychométrie, PREMs, santé mentale des adolescents, alliance thérapeutique, audit clinique, participation des usagers

3. Auteurs / Authors

Le développement initial du questionnaire a été coordonné en 2002 sous l’égide de la Commission for Health Improvement (CHI) du Royaume-Uni, sous la direction de la chercheuse :

• Dr Jennifer Attride-Stirling : Docteure en psychologie sociale, experte en gouvernance clinique et en méthodes d’évaluation de la qualité des soins de santé, affiliée à l’époque à la Commission for Health Improvement (Londres, Royaume-Uni).

La validation psychométrique approfondie et la standardisation à large échelle de l’ESQ ont ensuite été conduites par une équipe de chercheurs de référence affiliés au Anna Freud National Centre for Children and Families, à l’University College London (UCL) et au réseau Child Outcomes Research Consortium (CORC) :

• Dr Anna Brown : Psychométricienne et professeure à la School of Psychology, University of Kent (Canterbury, Royaume-Uni). Contact académique : [email protected].
• Professeure Tamsin Ford : Pédopsychiatre et professeure de psychiatrie de l’enfant et de l’adolescent au Department of Psychiatry, University of Cambridge (Cambridge, Royaume-Uni).
• Professeure Jessica Deighton : Professeure en santé mentale infantile et bien-être à l’University College London (UCL) et directrice de recherche au centre Anna Freud (Londres, Royaume-Uni).
• Professeure Miranda Wolpert : Professeure en santé mentale clinique à l’University College London (UCL) et ancienne directrice du CORC (Londres, Royaume-Uni).

4. Objectif / Purpose

Le Questionnaire d’expérience du service (ESQ) a été élaboré pour combler un manque méthodologique majeur dans l’évaluation de la qualité des services de santé mentale infanto-juvénile. Historiquement, l’évaluation des prises en charge psychiatriques et psychothérapeutiques reposait quasi exclusivement sur des mesures cliniques rapportées par les cliniciens (Clinician-Reported Outcome Measures, CROMs) ou sur des questionnaires de réduction des symptômes (Patient-Reported Outcome Measures, PROMs). Si la diminution des symptômes constitue un paramètre d’efficacité thérapeutique indiscutable, elle ne capture pas l’expérience vécue par le patient lors de son parcours de soin, la qualité de l’alliance de travail avec l’équipe pluridisciplinaire, ni l’adéquation organisationnelle de l’accueil.

L’objectif fondamental de l’ESQ est de quantifier l’expérience du patient et de sa famille de manière standardisée, rigoureuse et directement exploitable. L’outil poursuit une triple finalité :

• Gouvernance clinique et audit de la qualité : L’ESQ permet aux directions de services hospitaliers, aux réseaux de santé et aux autorités de tutelle d’évaluer la conformité des pratiques aux standards de soins centrés sur la personne. Il fournit des indicateurs standardisés permettant d’identifier les dysfonctionnements institutionnels, les ruptures de communication ou les barrières géographiques et temporelles.
• Recherche clinique et évaluative : En recherche sur les services de santé (health services research), l’ESQ sert de critère de jugement secondaire pour comparer différentes modalités d’intervention (par exemple, thérapie en présentiel versus téléconsultation, programmes intensifs versus soins ambulatoires ordinaires). Il permet également d’examiner le lien prédictif entre satisfaction relationnelle précoce, assiduité thérapeutique (réduction du taux d’abandon/drop-out) et amélioration clinique globale.
• Dialogue clinique et rétroaction directe : Administré de manière formative ou en fin de suivi, l’instrument offre aux cliniciens et aux équipes soignantes un support objectif pour discuter avec les jeunes et leurs parents de leur ressenti, désamorcer d’éventuelles incompréhensions et favoriser une relation thérapeutique collaborative.

La justification théorique sous-jacente repose sur le constat empirique qu’une prise en charge thérapeutique chez l’enfant et l’adolescent ne peut réussir sans une alliance tripartite solide entre le jeune, ses parents et les professionnels de santé. En dissociant la perspective du jeune de celle de ses tuteurs grâce à des formulaires dédiés, l’ESQ reconnaît l’adolescent et l’enfant comme des acteurs à part entière de leur santé mentale, dont l’évaluation subjective peut légitimement différer de celle des adultes.

5. Construit psychologique / Construct

L’ESQ opérationnalise le construit de l’expérience vécue du service, un concept multidimensionnel lié à la satisfaction du patient, mais qui s’en distingue méthodologiquement. Alors que les échelles traditionnelles de satisfaction interrogent souvent des jugements affectifs globaux (« Êtes-vous satisfait ? »), l’ESQ évalue des composantes spécifiques et comportementales de l’expérience de soin. Les analyses factorielles conduites sur de vastes cohortes cliniques (Brown et al., 2012) ont confirmé l’existence de deux dimensions psychométriques distinctes :

1. Satisfaction à l’égard des soins (Care / Therapeutic Relationship)

Cette dimension centrale regroupe 9 des 12 items de l’échelle (items 1 à 7, puis 11 et 12). Elle quantifie la qualité perçue de la relation soignant-soigné, l’expertise perçue de l’équipe et la clarté informationnelle transmise à l’usager. Elle se décompose conceptuellement en plusieurs composantes clés :

• L’écoute active et la considération bienveillante : Mesurées par les items tels que « I feel that the people who have seen my child listened to me » (Item 1) et « I was treated well by the people who have seen my child » (Item 3). L’accent est mis sur le sentiment de sécurité psychologique et de non-jugement indispensable à l’expression de difficultés psychologiques intimes.
• La prise au sérieux des préoccupations de l’usager : Opérationnalisée par l’item 4 (« My views and worries were taken seriously »), cette facette renvoie à la reconnaissance du savoir expérientiel des usagers, évitant les écueils de la condescendance médicale ou de l’invalidation émotionnelle.
• La compétence perçue et le travail en réseau : Les items 5 et 7 explorent la confiance accordée aux compétences professionnelles (« I feel the people here know how to help… ») et la perception d’une cohérence d’équipe pluridisciplinaire (« working together to help… »), essentielle dans les structures psychiatriques intégrant psychologues, pédopsychiatres, infirmiers et travailleurs sociaux.
• La transparence informationnelle : L’item 6 (« I have been given enough explanation about the help available here ») reflète l’exigence éthique et légale du consentement éclairé et de la psychoéducation.
• L’évaluation sommative et la recommandation : Les items 11 et 12 capturent l’évaluation globale du service et la propension à le recommander à un pair (notion analogue au Net Promoter Score dans les services publics).

2. Environnement et accessibilité (Environment / Accessibility)

Cette seconde dimension comprend 3 items (items 8, 9 et 10) et évalue les conditions matérielles, géographiques et organisationnelles dans lesquelles les soins sont dispensés :

• Le confort de l’environnement physique : Mesuré par l’item 8 (« The facilities here are comfortable (e.g. waiting area) »). Un espace d’attente bruyant, impersonnel ou non adapté aux enfants peut accroître l’anxiété avant la consultation.
• La flexibilité temporelle : L’item 9 (« The appointments are usually at a convenient time… ») évalue la capacité du service à ne pas entrer en conflit avec les impératifs professionnels des parents ou scolaires de l’enfant.
• L’accessibilité logistique : L’item 10 (« It is quite easy to get to the place where the appointments are ») mesure les contraintes liées aux transports, aux temps de trajet et à la localisation géographique de la clinique.

6. Cadre théorique / Theoretical Framework

Le développement de l’ESQ s’ancre à la croisée de plusieurs courants théoriques majeurs de la psychologie clinique, de la sociologie de la santé et du management public contemporain :

1. L’approche centrée sur la personne et l’alliance thérapeutique

Sur le plan psychologique, l’échelle puise ses fondements conceptuels dans la théorie humaniste et l’approche centrée sur la personne initiée par Carl Rogers. Rogers a démontré que l’empathie inconditionnelle, l’écoute active, la congruence et le regard positif constituent les conditions nécessaires et suffisantes de l’efficience psychothérapeutique. Dans le prolongement de ces travaux, la théorie de l’alliance thérapeutique (notamment développée par Edward Bordin) met en exergue l’importance de l’accord sur les objectifs et les tâches, ainsi que le lien affectif entre le patient et le thérapeute. L’ESQ traduit ces postulats théoriques en indicateurs mesurables applicables non seulement au thérapeute individuel, mais à l’ensemble du dispositif soignant (l’équipe, le personnel d’accueil, l’institution).

2. Le paradigme de la démocratie sanitaire et de la gouvernance clinique

À la fin des années 1990, le National Health Service (NHS) britannique a instauré le concept de Clinical Governance (Scally & Donaldson, 1998), définissant un cadre par lequel les organisations de santé sont tenues responsables de l’amélioration continue de leurs services. Dans ce cadre, les usagers ne sont plus de simples récipiendaires passifs d’un traitement, mais des partenaires légitimes dont le jugement expérientiel fait partie intégrante de la qualité clinique. L’ESQ a été spécifiquement commandité par la Commission for Health Improvement pour opérationnaliser ce principe démocratique dans un secteur particulièrement vulnérable : la psychiatrie infanto-juvénile.

3. La théorie de la décision partagée et l’autonomisation (Empowerment)

Dans la littérature sur l’autonomisation des jeunes en santé mentale (Deighton et al., 2014), la participation active des mineurs à leur plan de traitement est reconnue comme un facteur de rétention et d’auto-efficacité. L’architecture de l’ESQ valorise cette dynamique en offrant des formulations spécifiques pour les 9-11 ans et les 12-18 ans, affirmant ainsi le droit de l’enfant à évaluer son environnement de soin conformément aux principes de la Convention internationale des droits de l’enfant.

7. Validité / Validity

L’évaluation des propriétés de validité de l’ESQ a fait l’objet de plusieurs investigations empiriques majeures, dont la plus vaste a été menée par Brown, Ford, Deighton et Wolpert (2012) sur un échantillon clinique de plusieurs milliers de participants au sein du réseau CORC au Royaume-Uni.

Validité de construit

La validité de construit a été démontrée par des analyses factorielles confirmatoires (AFC). Les résultats de Brown et al. (2012) ont confirmé qu’un modèle à deux facteurs corrélés (« Satisfaction à l’égard des soins » et « Environnement ») s’ajustait significativement mieux aux données qu’un modèle unidimensionnel. Les indices d’ajustement structurel rapportés répondaient aux standards psychométriques habituels (CFI > 0,95, TLI > 0,94, RMSEA < 0,06), validant l’indépendance partielle des aspects logistiques par rapport aux aspects strictement relationnels.

Validité convergente et concourante

La validité convergente de l’ESQ a été attestée par ses corrélations statistiquement significatives avec d’autres questionnaires de satisfaction et de relation de soin, tels que le Client Satisfaction Questionnaire (CSQ-8) et des échelles d’alliance thérapeutique comme le Working Alliance Inventory (WAI). Les usagers rapportant des scores élevés sur la dimension des soins de l’ESQ démontrent une concordance élevée avec les mesures standardisées de satisfaction globale (coefficients de corrélation de Pearson de l’ordre de $r = 0,65$ à $r = 0,78$, $p < 0,001$).

Validité prédictive et relation avec les résultats cliniques

Les études empiriques montrent une corrélation modérée mais significative entre la satisfaction mesurée par l’ESQ et l’amélioration clinique rapportée par les questionnaires de résultats tels que le Strengths and Difficulties Questionnaire (SDQ). Cependant, les chercheurs notent de manière intéressante que la corrélation n’est pas parfaite ($r \approx 0,25$ à $0,35$), ce qui démontre la non-redondance des construits : des familles peuvent avoir vécu une expérience de soin extrêmement respectueuse, rassurante et bienveillante (score ESQ élevé) même lorsque la pathologie psychiatrique sous-jacente du jeune reste complexe et partiellement réfractaire au traitement clinique.

Sensibilité au biais de complaisance (Effet plafond)

À l’instar de la majorité des PREMs, l’ESQ présente un effet plafond notable : la majorité des répondants sélectionne l’option « Certainement vrai » pour la plupart des items. Les travaux psychométriques de Brown et al. (2012) ont mis en évidence que l’option intermédiaire « Partiellement vrai » signale fréquemment une réserve ou une insatisfaction larvée. La prise en compte de ces nuances est cruciale pour l’interprétation clinique des données.

8. Fidélité / Reliability

La fidélité de l’ESQ a été documentée à travers l’analyse de sa consistance interne et de sa stabilité temporelle :

Consistance interne

Dans l’étude princeps de validation psychométrique menée par Brown et al. (2012), la consistance interne a été évaluée séparément pour les versions parents et adolescents, ainsi que pour les deux dimensions sous-jacentes :

• Sous-échelle « Satisfaction à l’égard des soins » (9 items) : Présente une excellente consistance interne. Le coefficient alpha de Cronbach atteint $\alpha = 0,88$ pour la version parents/tuteurs et $\alpha = 0,85$ pour la version adolescents (12-18 ans). La corrélation item-total corrigée pour ces 9 items dépasse systématiquement $r = 0,50$.
• Sous-échelle « Environnement et accessibilité » (3 items) : Présente des valeurs d’alpha plus modestes, se situant entre $\alpha = 0,60$ et $\alpha = 0,72$. Cette modération statistique est attendue pour une sous-échelle ne comportant que 3 items hétérogènes (confort physique, horaire des consultations, localisation géographique), l’alpha de Cronbach étant mécaniquement sensible au nombre restreint d’items.
• Échelle totale (12 items) : L’alpha global se situe de façon robuste entre $0,86$ et $0,90$, attestant d’une grande cohérence générale de l’instrument.

Fidélité test-retest et stabilité

En raison de sa nature de questionnaire de fin de prise en charge ou d’audit périodique, la fidélité test-retest classique est rarement mesurée à long terme, l’expérience de soin évoluant dynamiquement au cours du temps. Néanmoins, dans des sous-échantillons stables évalués à deux semaines d’intervalle sans modification du protocole de soin, le coefficient de corrélation intraclasse (CCI) s’est avéré supérieur à 0,80, témoignant d’une stabilité satisfaisante des réponses en l’absence de nouvel événement clinique.

9. Analyse factorielle / Factor Analysis

La dimensionalité de l’ESQ a été rigoureusement analysée par des méthodes d’analyse factorielle exploratoire (AFE) puis confirmatoire (AFC) :

Analyse factorielle exploratoire (AFE)

Initialement conçu comme un outil pragmatique unidimensionnel de gouvernance clinique, l’ESQ a révélé lors des premières analyses en composantes principales (ACP) avec rotation oblique (Promax ou Oblimin) l’émergence constante de deux composantes principales distinctes expliquant plus de 55 % de la variance totale :

• Facteur 1 (Soins / Relation d’aide) : Expliquant approximativement 45 % de la variance, ce facteur recueille de fortes saturations (> 0,65) pour les items 1, 2, 3, 4, 5, 6, 7, 11 et 12. Les saturations les plus élevées sont régulièrement observées sur l’item 1 (« listened to me ») et l’item 12 (« help received is good »).
• Facteur 2 (Environnement / Logistique) : Expliquant environ 12 % de la variance supplémentaire, ce facteur regroupe les items 8 (locaux), 9 (horaires) et 10 (accessibilité), avec des saturations factorielles comprises entre 0,55 et 0,78.

Analyse factorielle confirmatoire (AFC)

Dans l’étude structurante de Brown et al. (2012), plusieurs modèles structurels concurrents ont été comparés à l’aide de l’estimateur WLSMV (Weighted Least Squares Mean and Variance adjusted), particulièrement adapté aux variables ordinales à 3 modalités :

• Modèle unidimensionnel : L’hypothèse d’un facteur général unique de « satisfaction globale » a montré un ajustement sous-optimal (RMSEA > 0,08, TLI < 0,90).
• Modèle bifactoriel corrélé : L’affectation des 9 items relationnels au Facteur 1 et des 3 items logistiques au Facteur 2 a produit d’excellents indices statistiques d’adéquation aux données : $\chi^2/df < 3,0$, Comparative Fit Index ($ ext{CFI}) = 0,974$, Tucker-Lewis Index ($ ext{TLI}) = 0,967$, et Root Mean Square Error of Approximation ($ ext{RMSEA}) = 0,048$ (IC 90% [0,042 – 0,054]).

La corrélation inter-facteurs entre la dimension des soins et celle de l’environnement s’établit généralement aux alentours de $r = 0,45$ à $0,55$. Cette corrélation modérée confirme que, bien que positivement associées, les deux dimensions mesurent des réalités distinctes du fonctionnement d’un service de santé mentale.

10. Instrument de mesure / Instrument

L’ESQ se caractérise par une administration rapide (environ 3 à 5 minutes) et une ergonomie cognitive conçue pour limiter la charge mentale des usagers :

• Versions disponibles :
  • Parents / Carers : Destinée aux parents, tuteurs légaux ou accompagnateurs adultes.
  • Young people aged 12-18 : Destinée aux adolescents âgés de 12 à 18 ans révolus.
  • Children aged 9-11 : Version à syntaxe allégée destinée aux enfants de 9 à 11 ans.
• Structure générale : 12 items fermés standardisés + 3 questions ouvertes qualitatives.
• Échelle de réponse (Versions Parents et 12-18 ans) :
  • Certainly True (Certainement vrai)
  • Partly True (Partiellement vrai)
  • Not True (Pas vrai)
  • Don’t know (Ne sait pas) — cette option n’est pas comptabilisée dans le score quantitatif.
• Échelle de réponse (Version 9-11 ans) : Format interrogatif adapté à trois niveaux (ex. : Yes / Only a little / Not really / Don’t Know, ou équivalents contextuels).
• Cotation et scoring (recommandations du CORC) :
  • Méthode standard 1 à 3 points : « Not True » = 1 point ; « Partly True » = 2 points ; « Certainly True » = 3 points (les réponses « Don’t know » et les données manquantes sont exclues du calcul).
  • Score de la sous-échelle « Soins » (Care) : Somme ou moyenne des items 1 à 7, 11 et 12 (plage de score brut : 9 à 27 points).
  • Score de la sous-échelle « Environnement » (Environment) : Somme ou moyenne des items 8 à 10 (plage de score brut : 3 à 9 points).
  • Score total combiné : Plage de 12 à 36 points. Un score plus élevé indique une expérience plus positive du service.
• Volet qualitatif : Trois questions ouvertes non cotées numériquement, destinées à l’analyse thématique de contenu :
  • Ce qui a été particulièrement apprécié dans la prise en charge.
  • Les aspects à améliorer ou déplorés.
  • Remarques complémentaires libres.

11. Permissions, Tarifs et Année du test / Permissions & Fee and Test Year

• Année de publication initiale : 2002 (révision et documentation par le Child Outcomes Research Consortium en 2012).
• Droits d’auteur et propriété intellectuelle : Développé à l’origine par la Commission for Health Improvement (organisme public britannique, devenu par la suite la Healthcare Commission puis la Care Quality Commission), le questionnaire est géré et diffusé par le Child Outcomes Research Consortium (CORC) hébergé par le Anna Freud National Centre for Children and Families.
• Tarification et accessibilité : L’instrument est dans le domaine public de la recherche et de la pratique clinique. Il est entièrement gratuit d’utilisation (free of charge). Aucun paiement de redevance n’est requis pour son utilisation dans le cadre de soins cliniques de routine, d’audits ou de recherches académiques.
• Conditions d’utilisation : Le questionnaire peut être téléchargé, imprimé ou numérisé librement, sous réserve de citer les sources originales (Attride-Stirling, 2002 ; Brown et al., 2012) et de préserver l’intégrité des items et du format de cotation standardisé.

12. Références / References

• Attride-Stirling, J. (2002). Development of methods to capture users’ views of CAMHS in clinical governance reviews. Commission for Health Improvement. https://kar.kent.ac.uk/30454/1/ESQ%20revision%202%20proofread.pdf
• Brown, A., Ford, T., Deighton, J., & Wolpert, M. (2012). Satisfaction in child and adolescent mental health services: Translating users’ feedback into measurement. Administration and Policy in Mental Health and Mental Health Services Research, 41(4), 434–446. https://doi.org/10.1007/s10488-012-0433-7
• Deighton, J., Croudace, T., Fonagy, P., Brown, J., Patalay, P., & Wolpert, M. (2014). Measuring mental health and wellbeing in children and adolescents: A guide for practitioners and researchers. Child and Adolescent Mental Health, 19(2), 151–152. https://doi.org/10.1111/camh.12054
• Scally, G., & Donaldson, L. J. (1998). Clinical governance and the drive for quality improvement in the new NHS in England. BMJ, 317(7150), 61–65. https://doi.org/10.1136/bmj.317.7150.61
• Wolpert, M., Curtis-Tyler, K., & Edbrooke-Childs, J. (2016). A guide to using outcomes and feedback tools with children, young people and families. CAMHS Press. https://www.corc.uk.net/outcome-experience-measures/experience-of-service-questionnaire-esq/

13. Questions et items du questionnaire (Scale Items)