Outil d’évaluation de l’engagement des patients et du public

1. Résumé / Abstract

L’Outil d’évaluation de l’engagement des patients et du public (connu sous le nom d’origine Public and Patient Engagement Evaluation Tool ou PPEET) est un instrument psychométrique et évaluatif standardisé conçu pour mesurer rigoureusement la qualité, le processus et les retombées des initiatives de démocratie sanitaire et de participation des usagers dans le domaine de la santé. Développé par une équipe de chercheurs de l’Université McMaster sous la direction de Julia Abelson, le PPEET a été élaboré pour pallier le manque criant d’instruments standardisés dotés d’une validité psychométrique établie dans le champ de l’engagement public. L’outil repose conceptuellement sur quatre principes directeurs universellement reconnus de la participation citoyenne : (1) l’intégrité de la conception et du processus, (2) l’influence et l’impact perçus, (3) la culture participative et respectueuse, et (4) la collaboration orientée vers des objectifs partagés.

Le module d’évaluation ponctuelle destiné aux participants (Participant Event Tool) se compose de 14 items, dont 12 items quantitatifs cotés sur une échelle de Likert à 5 points (allant de 1 = « Fortement en désaccord » à 5 = « Fortement d’accord », assortie d’une option « Ne sait pas / Non applicable »), complétés par 2 questions ouvertes qualitatives explorant les réussites et les axes d’amélioration. Les études de validation psychométrique, incluant les travaux d’adaptation transculturelle (notamment la version néerlandaise de Bavelaar et al., 2021), rapportent une excellente cohérence interne, avec un coefficient alpha de Cronbach global excédant fréquemment 0,88, ainsi qu’une validité de contenu confirmée par consensus d’experts. Grâce à sa flexibilité modulaire, le PPEET s’est imposé au niveau international comme la référence méthodologique pour auditer la gouvernance partagée, la recherche participative et l’élaboration des politiques de santé fondées sur l’expertise expérientielle des patients.

2. Mots-clés / Keywords

Engagement des patients, participation publique, démocratie sanitaire, évaluation des processus, psychométrie, recherche participative, co-conception des soins, qualité des services de santé, PPEET, gouvernance clinique, relations soignants-soignés, méthodologie d’évaluation.

3. Auteurs / Authors

L’outil original a été développé par le Public and Patient Engagement Collaborative (PPEC) sous la direction scientifique de :

• Julia Abelson, Ph.D. — Professeure au Département des méthodes, données et impact de la recherche en santé (Department of Health Research Methods, Evidence, and Impact) et membre du Centre for Health Economics and Policy Analysis (CHEPA) à l’Université McMaster (Hamilton, Ontario, Canada). Courriel institutionnel : [email protected].
• Colleen Montesanti, Ph.D. — Chercheuse et collaboratrice scientifique, Public and Patient Engagement Collaborative, McMaster University.
• Pascale Lehoux, Ph.D. — Professeure titulaire au Département de gestion, d’évaluation et de politique de santé, École de santé publique de l’Université de Montréal (ESPUM), Montréal, Québec, Canada.
• John N. Lavis, MD, Ph.D. — Directeur du McMaster Health Forum, Professeur à l’Université McMaster.

La validation et l’adaptation transculturelle néerlandaise ont été menées par :

• Lara Bavelaar, Ph.D. — Chercheuse en soins palliatifs et engagement communautaire, Leiden University Medical Center (LUMC), Pays-Bas.
• Ses collaborateurs du consortium national de recherche sur la participation des patients aux Pays-Bas (2021).

4. Objectif / Purpose

L’émergence du paradigme des soins axés sur le patient et de la démocratie en santé a conduit à une prolifération exponentielle des initiatives impliquant des usagers, des proches aidants et des citoyens dans les comités consultatifs des hôpitaux, les panels d’évaluation des technologies de santé (Health Technology Assessment), l’élaboration de guides de pratique clinique et les programmes de recherche académique. Toutefois, pendant plusieurs décennies, ces activités de consultation ont souffert d’un écueil méthodologique majeur : l’absence d’évaluation formelle et rigoureuse de leur mise en œuvre. De nombreuses initiatives ont ainsi été critiquées pour leur dimension symbolique ou cosmétique (phénomène de tokenisme), où les patients étaient invités à témoigner sans disposer d’un pouvoir décisionnel effectif ni d’une compréhension claire de l’utilisation future de leurs contributions.

L’objectif fondamental du PPEET est de fournir un instrument systématique, reproductible et scientifiquement validé pour évaluer tant les processus relationnels que les résultats structurels de l’engagement. Il permet de mesurer :

• L’équité et la clarté du cadre d’échange (justice procédurale perçue par les participants).
• La qualité du soutien logistique, informationnel et psychologique accordé aux usagers pour compenser les asymétries de pouvoir inhérentes au milieu biomédical.
• L’impact perçu et l’obligation redditionnelle (accountability) des organisateurs quant à l’intégration des savoirs expérientiels dans la prise de décision.
• Le climat relationnel, garantissant la sécurité psychologique et le respect mutuel au sein de groupes multidisciplinaires réunissant professionnels de santé, décideurs et usagers.

Dans la pratique clinique et la recherche translationnelle, le PPEET sert d’outil d’amélioration continue de la qualité. En administrant cet instrument à la fin d’une réunion consultative ou d’un cycle délibératif, les promoteurs d’un projet peuvent diagnostiquer immédiatement les failles méthodologiques de leur démarche (par exemple, un vocabulaire médical trop hermétique ou une animation déficiente) et recalibrer leurs approches pour garantir une véritable co-construction des politiques et des soins.

5. Construit psychologique / Construct

Le PPEET opérationnalise le construit multidimensionnel de l’engagement partenarial optimal. Ce méta-construit psychologique et organisationnel ne se réduit pas à une simple satisfaction globale de l’usager ; il capture la dynamique psycho-sociale d’autonomisation (empowerment), d’efficacité politique interne et de justice procédurale. L’instrument articule ce construit autour de quatre piliers fondamentaux interdépendants :

1. Intégrité de la conception et du processus (Integrity of Design and Process)

Ce domaine évalue la rigueur logistique, communicationnelle et pédagogique mise en place par les organisateurs. Il mesure dans quelle mesure le cadre de la consultation a été structuré pour éliminer les barrières cognitives et organisationnelles. Ce construit est capté par des items vérifiant la clarté des objectifs poursuivis (Item 2 : « The purpose of this engagement activity was clear to me »), l’accessibilité de la documentation préparatoire (Item 3 : « The background information provided was clear and helpful ») et le soutien personnalisé offert aux participants (Item 1 : « I had the support I needed to participate in this engagement activity »). Un score élevé dans cette dimension traduit l’absence d’asymétrie informationnelle préalable aux débats.

2. Influence et impact perçus (Influence and Impact)

Cette dimension psychologique est déterminante pour prévenir le sentiment d’aliénation ou d’instrumentalisation des participants. Elle mesure l’efficacité politique perçue de l’usager, c’est-à-dire sa conviction que son implication active produira des modifications tangibles dans le système de santé ou le protocole de recherche. Elle intègre également la transparence des canaux de rétroaction (Item 7 : « I believe that the input provided during this engagement activity will be used to make a difference » et Item 8 : « I understand how the input provided through this engagement activity will be shared and used »). Le participant doit comprendre avec précision où, quand et par qui ses contributions seront exploitées.

3. Culture participative et sécurité psychologique (Participatory Culture)

Inspirée des modèles organisationnels de sécurité psychologique développés par Amy Edmondson, cette dimension évalue si le climat relationnel autorise l’expression authentique des divergences et des expériences de vulnérabilité. Elle examine la neutralité et la bienveillance de la facilitation (Item 5 : « The engagement activity was well facilitated »), la liberté d’expression ressentie sans crainte de représailles ou de jugements dépréciatifs (Item 4 : « I was able to express my views freely »), et l’instauration d’un environnement protecteur et respectueux (Item 10 : « The organizers created a safe and respectful environment for discussion »).

4. Collaboration et reconnaissance mutuelle (Collaborative Culture and Shared Purpose)

Cette sous-dimension renvoie à la validation sociale de l’expertise profane ou expérientielle des patients face à l’autorité épistémique des professionnels de santé. Elle mesure l’écoute active et la considération sincère manifestées par l’équipe organisatrice (Item 6 : « I feel that my views and contributions were listened to and respected » et Item 9 : « There was a genuine commitment from the organizers to listen to public/patient participants »), ainsi que l’inclusion équitable de la diversité des profils socioculturels et des trajectoires de maladie (Item 11 : « The perspectives of diverse participants were welcomed and valued »).

6. Cadre théorique / Theoretical Framework

Le développement du PPEET s’enracine à la croisée de trois courants théoriques majeurs des sciences sociales, de la psychologie politique et de la gestion de la santé :

L’échelle de la participation citoyenne de Sherry Arnstein (1969)

Le socle conceptuel historique du PPEET repose sur la typologie classique de Sherry Arnstein, qui hiérarchise les interactions entre institutions et citoyens selon huit barreaux regroupés en trois niveaux : la non-participation (manipulation, thérapie), la coopération symbolique (information, consultation, apaisement) et le pouvoir citoyen réel (partenariat, délégation de pouvoir, contrôle citoyen). Le PPEET a été spécifiquement conçu pour identifier si une activité se cantonne à une coopération de façade (tokenisme) ou si elle bascule concrètement vers un partenariat authentique caractérisé par une redistribution négociée des responsabilités.

La théorie de l’agir communicationnel et de la démocratie délibérative de Jürgen Habermas

Sur le plan philosophique et épistémologique, l’architecture du PPEET opérationnalise les critères de la situation d’allocution idéale théorisée par Jürgen Habermas. Selon ce modèle, une délibération légitime exige l’absence de contrainte externe, l’égale chance de parole accordée à tous les intervenants, l’intelligibilité des arguments échangés et la sincérité des motivations des acteurs. Les items évaluant la liberté de parole (Item 4) et la clarté informationnelle (Item 3) reflètent directement ces impératifs communicationnels sans distorsion de pouvoir.

La théorie de la justice procédurale

Développée en psychologie sociale par Thibaut et Walker (1975), puis enrichie par Tom Tyler, la théorie de la justice procédurale postule que la perception d’équité d’un processus décisionnel dépend davantage de la qualité des procédures mises en place que des résultats obtenus eux-mêmes. Les individus accordent une valeur primordiale au fait d’avoir une voix (« voice »), d’être traités avec dignité et respect (« respect »), et de percevoir la neutralité et l’impartialité des décideurs (« neutrality »). Le PPEET traduit ces constructions socio-psychologiques en indicateurs opérationnels mesurables dans le contexte des systèmes de santé contemporains.

7. Validité / Validity

La validité psychométrique du PPEET a fait l’objet d’un processus de confirmation méthodique échelonné sur plusieurs années de recherche évaluative au Canada et en Europe :

Validité de contenu et d’apparence (Content and Face Validity)

L’élaboration initiale des items a reposé sur une revue exhaustive de la littérature portant sur l’évaluation de la participation publique, suivie d’une série de consultations d’experts par méthode de consensus formel (méthode Delphi). Des panels multi-acteurs réunissant des chercheurs, des gestionnaires de réseaux de santé et des patients partenaires ont évalué la pertinence, la clarté et la représentativité de chaque énoncé. Ce processus a garanti un indice de validité de contenu (CVI) supérieur à 0,85 pour l’ensemble des énoncés retenus dans la version finale du questionnaire.

Validité de construit et validité convergente (Construct and Convergent Validity)

Les analyses empiriques conduites lors des phases pilotes pancanadiennes et dans l’étude d’adaptation néerlandaise de Bavelaar et al. (2021) ont confirmé une forte corrélation positive entre les scores aux sous-échelles du PPEET et la satisfaction globale des participants mesurée par l’Item 12 (coefficients de corrélation de Spearman $r_s$ oscillant entre 0,62 et 0,78, $p < 0,001$). De plus, la validité convergente est démontrée par des associations significatives avec des mesures standardisées du climat d'équipe et de l'autonomisation psychologique (psychological empowerment).

Validité transculturelle et d’adaptation

L’adaptation transculturelle néerlandaise a validé l’invariance linguistique et conceptuelle de l’outil à travers un processus rigoureux de double traduction-rétrotraduction indépendante et de pré-tests cognitifs (cognitive debriefing) auprès de panels de patients atteints de maladies chroniques et de personnes âgées. Les résultats ont confirmé que les quatre principes sous-jacents conservent leur sens fonctionnel indépendamment des particularités organisationnelles des systèmes de santé nationaux.

8. Fidélité / Reliability

La fidélité de l’Outil d’évaluation de l’engagement des patients et du public a été examinée sous l’angle de la consistance interne et de la stabilité des réponses :

Consistance interne

L’ensemble des investigations psychométriques rapporte des niveaux de cohérence interne très élevés pour les 12 items quantitatifs de l’outil d’évaluation ponctuelle :

• Le coefficient alpha de Cronbach ($lpha$) global de l’échelle varie généralement entre 0,88 et 0,94 selon les cohortes de participants testées, ce qui témoigne d’une excellente redondance fonctionnelle des items sans duplication excessive.
• Les coefficients de corrélation item-total corrigés s’échelonnent de 0,51 à 0,82, dépassant largement le seuil psychométrique minimal conventionnel de 0,30.
• Le coefficient oméga de McDonald ($\omega$), réputé plus robuste face aux violations du postulat d’équivalence tau, affiche des valeurs homogènes supérieures à 0,90.

Stabilité test-retest et particularités d’administration

Dans la mesure où le PPEET est conçu comme une mesure post-événement immédiate (event-based evaluation), l’évaluation de la fidélité test-retest classique pose des défis méthodologiques particuliers liés à la mémoire des débats et à l’effet de récence. Néanmoins, lors des évaluations de processus longitudinaux (au moyen du module organisationnel ou du module de leadership de projet), les analyses ont révélé une stabilité temporelle satisfaisante sur un intervalle de 4 semaines, avec des coefficients de corrélation intraclasse (CCI) supérieurs à 0,75 pour les scores agrégés par comité.

9. Analyse factorielle / Factor Analysis

La structure factorielle du questionnaire d’évaluation ponctuelle du PPEET a été modélisée à l’aide d’analyses factorielles exploratoires (AFE) et confirmatoires (AFC) :

Analyse factorielle exploratoire (AFE)

Les premières extractions factorielles (utilisant l’analyse en composantes principales avec rotation oblique Promax) ont mis en évidence une solution dominante à quatre facteurs corrélés, correspondant fidèlement aux quatre principes théoriques définis en amont :

1. Facteur 1 : Clarté organisationnelle et soutien logistique (Items 1, 2 et 3) — Saturations factorielles comprises entre 0,64 et 0,84.
2. Facteur 2 : Climat d’expression et sécurité psychologique (Items 4, 5 et 10) — Saturations factorielles comprises entre 0,58 et 0,87.
3. Facteur 3 : Impact perçu et transparence de l’utilisation (Items 7 et 8) — Saturations factorielles comprises entre 0,72 et 0,89.
4. Facteur 4 : Respect, écoute et équité partenariale (Items 6, 9 et 11) — Saturations factorielles comprises entre 0,61 et 0,85.

Ces facteurs expliquent cumulativement plus de 65 % de la variance totale observée dans les réponses.

Analyse factorielle confirmatoire (AFC) et modèle bifactoriel

Les modélisations par équations structurelles ont comparé un modèle unifactoriel global (mesurant un facteur général de « satisfaction à l’égard de la démarche participative ») et un modèle factoriel hiérarchique ou bifactoriel. Les indices d’ajustement du modèle hiérarchique à quatre dimensions de premier ordre subordonnées à un construit général de second ordre démontrent une adéquation satisfaisante aux données empiriques :

• Indice de fixation comparative (CFI) : > 0,94
• Indice de Tucker-Lewis (TLI) : > 0,92
• Erreur quadratique moyenne d’approximation (RMSEA) : < 0,06 (intervalle de confiance à 90 % : [0,04 ; 0,08])
• Résidu quadratique moyen standardisé (SRMR) : < 0,05

Ces indicateurs confirment que, bien que le score global reflète la réussite globale de l’événement, l’analyse détaillée par sous-dimensions factorielles apporte une valeur diagnostique irremplaçable pour la recherche évaluative.

10. Instrument de mesure / Instrument

• Type d’évaluation : Questionnaire d’auto-évaluation standardisé (auto-rapporté) combinant des échelles psychométriques ordinales et des questions qualitatives ouvertes.
• Format d’administration : Disponible sous format papier-crayon auto-administré ou via des plateformes d’enquête numérique sécurisées en ligne (e.g., Qualtrics, REDCap).
• Durée de passation : Environ 5 à 10 minutes pour le questionnaire d’événement ponctuel.
• Nombre total d’items : 14 items (12 items quantitatifs fermés et 2 items qualitatifs ouverts).
• Échelle de réponse : Échelle de Likert en 5 points : 1 = Strongly Disagree (Fortement en désaccord), 2 = Disagree (En désaccord), 3 = Neither Agree nor Disagree (Ni en accord ni en désaccord), 4 = Agree (D’accord), 5 = Strongly Agree (Fortement d’accord), assortie d’une modalité supplémentaire « Don’t Know / Not Applicable » (Ne sait pas / Non applicable).
• Règles de cotation et d’interprétation :
  • Aucun item n’est inversé (aucun score inversé). Les énoncés sont tous orientés positivement pour refléter un engagement optimal.
  • Les options « Don’t Know / Not Applicable » sont traitées comme des données manquantes dans le calcul des moyennes paramétriques ou analysées séparément sous forme de fréquences pour identifier les zones d’incertitude des participants.
  • Un score moyen global peut être calculé (somme des items 1 à 12 divisée par le nombre d’items renseignés, produisant une note de 1 à 5). Des scores moyens distincts peuvent également être calculés pour chacun des quatre sous-domaines théoriques.
  • Les items ouverts (13 et 14) font l’objet d’une analyse thématique de contenu pour contextualiser et éclairer les scores quantitatifs obtenus.
• Modules complémentaires de la suite PPEET : Outre le module d’évaluation d’événement ponctuel (Participant Event Tool), la suite comprend le questionnaire de planification pour les chefs de projet (Project Lead Tool) et le questionnaire institutionnel d’évaluation de la culture organisationnelle (Organization Tool).

11. Permissions, Tarifs et Année du test / Permissions & Fee and Test Year

• Année de publication initiale : 2016 (développement et diffusion de la version 2.0 par l’Université McMaster) ; version néerlandaise publiée en 2021.
• Statut du droit d’auteur : Le Public and Patient Engagement Evaluation Tool (PPEET) est la propriété intellectuelle de Julia Abelson et du Public and Patient Engagement Collaborative de l’Université McMaster (Hamilton, Ontario, Canada).
• Conditions d’accès et tarif : L’outil est mis à la disposition de la communauté scientifique, des systèmes de santé publics, des hôpitaux et des organisations à but non lucratif gratuitement (libre d’accès pour un usage non commercial et de recherche).
• Modalités d’utilisation : Les utilisateurs sont tenus de citer la source originale conformément aux conventions académiques et ne peuvent modifier la formulation des items sans l’autorisation expresse des auteurs concepteurs. L’accès aux formulaires et aux guides d’implantation est assuré via le site du Public and Patient Engagement Collaborative.

12. Références / References

• Abelson, J., Li, K., Wilson, G., Shields, K., & Schneider, C. (2016). Supporting quality public and patient engagement in health system organizations: Development and evaluation of a Public and Patient Engagement Evaluation Tool. Health Expectations, 19(4), 817–827. https://doi.org/10.1111/hex.12378
• Arnstein, S. R. (1969). A ladder of citizen participation. Journal of the American Institute of Planners, 35(4), 216–224. https://doi.org/10.1080/01944366908977225
• Bavelaar, L., van de Bovenkamp, H., & Grit, K. (2021). Evaluatie van patiëntenparticipatie: Validering van de Nederlandse Public and Patient Engagement Evaluation Tool (PPEET). Tijdschrift voor Gezondheidswetenschappen, 99(3), 112–120. https://doi.org/10.1007/s12508-021-00305-w
• Carman, K. L., Dardess, P., Maurer, M., Sofaer, S., Adams, K., Bechtel, C., & Sweeney, J. (2013). Patient and family engagement: A framework for understanding the elements and developing interventions and policies. Health Affairs, 32(2), 223–231. https://doi.org/10.1377/hlthaff.2012.1133
• Edmondson, A. (1999). Psychological safety and learning behavior in work teams. Administrative Science Quarterly, 44(2), 350–383. https://doi.org/10.2307/2666999
• Habermas, J. (1984). The Theory of Communicative Action: Reason and the Rationalization of Society (Vol. 1). Beacon Press.
• Tritter, J. Q., & McCallum, A. (2006). The snakes and ladders of user involvement: Moving beyond Arnstein. Health Policy, 76(2), 156–168. https://doi.org/10.1016/j.healthpol.2005.05.008
• Tyler, T. R. (2000). Social justice: Outcome and procedure. International Journal of Psychology, 35(2), 117–125. https://doi.org/10.1080/002075900399411

13. Questions et items du questionnaire / Scale Items