Expérience Quotidienne de la Formation par Simulation (DEST)

1. Résumé / Abstract

L’échelle de l’Expérience Quotidienne de la Formation par Simulation (Daily Experience of Simulation Training, DEST ; Chiu et al., 2023), et plus particulièrement sa sous-échelle centrale de confiance (DEST-Confidence Subscale, DEST-CS), constitue un instrument psychométrique longitudinal conçu pour mesurer les fluctuations quotidiennes de l’auto-efficacité et du sentiment de compétence professionnelle chez les professionnels en formation dans le domaine de la protection de l’enfance. Développé pour évaluer les programmes intensifs de simulation au sein de la Child Protection Training Academy (CPTA) — une initiative conjointe de l’Université de l’Illinois à Springfield (UIS) et du Department of Children and Family Services (DCFS) de l’Illinois —, cet outil répond à un impératif pédagogique et méthodologique : quantifier l’impact immédiat et cumulatif de l’apprentissage expérientiel immersif.

L’instrument se compose de 20 items articulés en plusieurs sections complémentaires : une échelle principale d’évaluation de la confiance professionnelle comprenant 13 items gradués selon une échelle de Likert en 7 points (allant de 1 « très faible » à 7 « très élevé »), un volet d’évaluation de la qualité de la rétroaction pédagogique reçu par l’apprenant comprenant 5 items notés sur une échelle en 4 points (de « très utile » à « très inutile »), un journal réflexif qualitatif quotidien, ainsi qu’une question contextuelle sur le site de formation. Sur le plan psychométrique, le DEST-CS démontre des propriétés de consistance interne exceptionnelles, attestées par des coefficients alpha de Cronbach systématiquement supérieurs à 0,95 mesurés à six temps d’évaluation distincts durant la semaine de formation. Les analyses en composantes principales (ACP) avec rotation varimax révèlent une structure unifactorielle robuste et stable à chaque point temporel, le premier facteur expliquant entre 71,4 % et 76,5 % de la variance totale, avec des valeurs propres comprises entre 9,28 et 9,94. Le DEST s’impose ainsi comme un outil de référence pour le suivi micro-longitudinal des trajectoires d’apprentissage en simulation professionnelle à haute fidélité.

2. Mots-clés / Keywords

Protection de l’enfance, bien-être de l’enfance, sentiment d’auto-efficacité, formation par simulation, évaluation de programme, compétences professionnelles, fidélité interne, analyse en composantes principales, journal réflexif, pédagogie expérientielle, travail social, évaluation formative.

3. Auteurs / Authors

L’échelle DEST a été conçue et validée par une équipe de chercheurs et d’experts cliniques multidisciplinaires spécialisés dans le bien-être de l’enfant et l’évaluation des pratiques pédagogiques :

• Yu-Ling Chiu, Ph.D. : Children and Family Research Center (CFRC), École de travail social, University of Illinois at Urbana-Champaign, États-Unis. Courriel de correspondance : [email protected].
• Theodore P. Cross, Ph.D. : Chercheur senior, Children and Family Research Center (CFRC), École de travail social, University of Illinois at Urbana-Champaign, États-Unis.
• Amy B. Wheeler, Ph.D. : Département de travail social et d’administration publique, University of Illinois at Springfield, États-Unis.
• Susan M. Evans, M.S.W. : Child Protection Training Academy (CPTA), University of Illinois at Springfield, États-Unis.
• Betsy P. Goulet, D.P.A. : Professeure et directrice de la Child Protection Training Academy, Département d’administration publique, University of Illinois at Springfield, États-Unis.

4. Objectif / Purpose

Le travail d’enquête en protection de l’enfance représente l’une des fonctions les plus complexes et émotionnellement éprouvantes du travail social moderne. Les nouveaux enquêteurs mandatés par les services de l’État sont confrontés à des prises de décision critiques sous haute tension, impliquant l’identification de maltraitances graves, l’évaluation immédiate du danger vital pour les mineurs, la gestion des conflits intrafamiliaux et la participation à des procédures judiciaires rigoureuses. Historiquement, la formation initiale dans ce secteur reposait de manière prédominante sur des modules théoriques magistraux en classe, créant un décalage substantiel entre l’acquisition des connaissances procédurales et leur application dynamique sur le terrain. Ce fossé éducatif a longtemps été associé à une détresse professionnelle précoce, à des erreurs d’appréciation diagnostique et à un taux d’attrition dramatique au cours de la première année d’embauche.

Pour remédier à cette problématique structurelle, la Child Protection Training Academy a mis en place un modèle novateur de formation par simulation en environnement réel (laboratoires immersifs simulant des résidences familiales et des salles d’audience de tribunaux avec des comédiens professionnels standardisés). Dans ce contexte, l’objectif fondamental du Daily Experience of Simulation Training (DEST) est de fournir un instrument standardisé de suivi micro-longitudinal et d’évaluation formative capable de mesurer l’évolution quotidienne du sentiment de compétence professionnelle et d’auto-efficacité des recrues tout au long d’un cursus intensif d’une semaine. Plutôt que de se limiter à une évaluation sommative de type pré-test/post-test standard qui occulte les dynamiques d’acquisition, le DEST capture les oscillations, les paliers de doute et les consolidations cognitives qui ponctuent chaque journée d’immersion clinique.

Sur le plan des applications appliquées et de la recherche, l’outil poursuit une triple finalité opérationnelle :

• Évaluation de l’efficacité pédagogique continue : Permettre aux formateurs d’analyser en temps quasi-réel comment des activités spécifiques (mises en situation d’investigation domiciliaire, interrogatoires de figures parentales, rédaction de plans de sécurité, témoignages simulés à la barre du tribunal) influencent la confiance ressentie par les stagiaires face aux exigences de leur fonction.
• Régulation formative et rétroaction multisource : Collecter le ressenti des participants vis-à-vis des retours pédagogiques émis non seulement par les formateurs académiques et les instructeurs de simulation, mais également par les acteurs incarnant les usagers du système (la mère, le compagnon/père, les tiers aidants), intégrant ainsi une perspective relationnelle inédite dans la formation d’adultes.
• Stimulation de la réflexivité métacognitive : Fournir aux apprenants un espace structuré de consignation écrite (reflective log) les incitant à conceptualiser quotidiennement leurs apprentissages les plus significatifs, favorisant ainsi l’intégration expérientielle et la résilience psychologique face à des scénarios de maltraitance infantile d’une grande intensité émotionnelle.

5. Construit psychologique / Construct

Le construit psychologique au cœur du DEST s’enracine dans le concept d’auto-efficacité spécifique au rôle professionnel (role-specific professional self-efficacy), dérivé de la théorie sociocognitive. Dans le contexte de la protection de l’enfance, ce sentiment de compétence ne renvoie pas à une vague estime de soi globale, mais à l’évaluation subjective qu’un individu fait de ses capacités opérationnelles à mobiliser les ressources cognitives, affectives et comportementales nécessaires pour exécuter avec succès des actes professionnels hautement régulés et éthiquement sensibles.

La sous-échelle de confiance (DEST-CS) opérationnalise ce construit à travers 13 domaines de compétences critiques, interdépendants et indispensables à l’exercice sécuritaire de la profession d’enquêteur :

• Collecte d’informations auprès des contacts collatéraux (Item 1) : Capacité à solliciter, trier et analyser les données probantes issues des tiers (écoles, services médicaux, voisins, forces de l’ordre) pour corroborer les allégations sans violer le secret professionnel.
• Pensée critique distinguant faits et hypothèses (Item 2) : Aptitude métacognitive à déconstruire les biais de confirmation et à séparer rigoureusement les éléments factuels observables des suppositions interprétatives lors de l’investigation.
• Engagement des familles (Item 3) : Compétence relationnelle consistant à établir une alliance de travail minimale et respectueuse avec des parents souvent hostiles, méfiants ou placés sous le coup d’une injonction administrative.
• Évaluation du danger et de la sécurité (Item 4) : Habileté diagnostique centrale permettant de discerner le risque futur du danger immédiat menaçant l’intégrité physique ou psychologique de l’enfant.
• Intégration de la compassion et de la rigueur investigatrice (Item 5) : Maintien d’un équilibre délicat entre empathie humaine envers la détresse familiale et fermeté déontologique dans la recherche de la vérité matérielle.
• Traitement des incohérences discursives et comportementales (Item 6) : Capacité à confronter avec tact mais détermination les déclarations contradictoires ou les attitudes d’évitement manifestées par les personnes interrogées.
• Identification des forces familiales (Item 7) : Aptitude à repérer les ressources protectrices internes au système familial afin d’éviter les placements abusifs et de bâtir des solutions de remédiation durables.
• Explication des plans de sécurité et de la garde protectrice (Item 8) : Clarté pédagogique et autorité légale pour formuler des restrictions immédiates ou motiver la décision grave de retirer un enfant de son milieu de vie.
• Clarification du rôle et des attentes de l’agence (DCFS) (Item 9) : Aptitude à énoncer sans ambiguïté le cadre législatif, les limites de l’intervention de l’État et les devoirs incombant aux représentants légaux.
• Réponse aux questions déstabilisantes des parents (Item 10) : Gestion du stress communicationnel face à des interpellations agressives, anxiogènes ou juridiquement complexes de la part des usagers.
• Prise en compte des facteurs de vulnérabilité sous-jacents (Item 11) : Compréhension systémique et repérage clinique des comorbidités que constituent les violences conjugales, les dépendances aux substances psychoactives, les pathologies psychiatriques et les handicaps neurodéveloppementaux.
• Témoignage devant les instances judiciaires (Item 12) : Maîtrise de la rhétorique médico-légale, de la gestion de l’interrogatoire croisé et de la présentation sereine des preuves devant un juge aux affaires familiales.
• Sentiment global d’aptitude au rôle d’enquêteur DCFS (Item 13) : Synthèse holistique de l’identité professionnelle naissante et projection dans la prise de fonction autonome sur le terrain.

Au-delà de cette dimension factorielle d’auto-efficacité, le DEST appréhende le processus d’étayage pédagogique à travers la perception de l’utilité des rétroactions (feedback helpfulness). Ce construit secondaire évalue la perméabilité de l’apprenant aux retours constructifs dispensés par une pluralité d’acteurs éducatifs, favorisant le désamorçage des mécanismes de défense et l’intégration des réajustements comportementaux.

6. Cadre théorique / Theoretical Framework

L’architecture conceptuelle du DEST repose sur la convergence de quatre paradigmes théoriques majeurs de la psychologie contemporaine et des sciences de l’éducation des adultes :

La Théorie Sociocognitive d’Albert Bandura

Le fondement épistémologique premier de l’échelle est la théorie sociocognitive développée par Albert Bandura (1977, 1997). Selon Bandura, le sentiment d’auto-efficacité constitue le prédicteur le plus puissant de la persistance de l’effort, de la régulation émotionnelle et de la performance face à l’adversité. Bandura identifie quatre sources canoniques d’information alimentant ce sentiment :

1. Les expériences de maîtrise active (enactive mastery) : Fournies au stagiaire lors des simulations immersives réussies, où il expérimente directement la conduite d’un entretien ou la gestion d’une crise.
2. L’apprentissage vicariant (vicarious experience) : Généré par l’observation de pairs ou de formateurs modélisant les comportements adéquats dans l’environnement simulé.
3. La persuasion verbale et sociale : Véhiculée par les débriefings formatifs et la rétroaction bienveillante des instructeurs et des acteurs standardisés.
4. Les états physiologiques et émotionnels : Régulés au fil des jours grâce à la désensibilisation progressive face au stress induit par les scénarios dramatiques.

Le DEST opère une capture directe de la cristallisation progressive de ces quatre sources au fil des 5 jours d’entraînement.

Le Modèle d’Apprentissage Expérientiel de David Kolb

Le second pilier théorique réside dans le cycle d’apprentissage expérientiel proposé par David A. Kolb (1984). Selon ce modèle, l’apprentissage véritable exige une dynamique en quatre temps : l’expérience concrète (la simulation), l’observation réflexive (le débriefing et le reflective log du DEST), la conceptualisation abstraite (l’ajustement des schèmes mentaux) et l’expérimentation active (la mise en pratique lors des simulations du lendemain). En insérant la passation du DEST chaque après-midi immédiatement après les séances de débriefing, les concepteurs institutionnalisent la phase d’observation réflexive, transformant une simple réaction émotionnelle brute en une intégration métacognitive structurée.

Le Modèle d’Évaluation de la Formation de Kirkpatrick

Sur le plan de l’évaluation institutionnelle des programmes, le DEST s’aligne sur les deux premiers niveaux du modèle de Donald Kirkpatrick (Kirkpatrick & Kirkpatrick, 2006). Il mesure le Niveau 1 (Réactions des participants face aux formateurs et à la qualité des rétroactions reçues) et le Niveau 2 (Apprentissage et modification des attitudes/sentiments de compétence perçus), créant ainsi une passerelle analytique indispensable avant l’évaluation ultérieure des comportements sur le terrain (Niveau 3) et de l’impact sur la sécurité des enfants (Niveau 4).

La Pratique Délibérée d’Anders Ericsson

Enfin, la modélisation de l’expertise selon K. Anders Ericsson (2004) postule que la simple exposition professionnelle ne suffit pas au développement de la compétence : seule la « pratique délibérée », caractérisée par des tâches répétées, une rétroaction immédiate et la possibilité explicite de corriger ses erreurs sans répercussions délétères pour de vrais usagers, permet d’atteindre l’excellence. Le DEST quantifie précisément la progression psychologique sous-jacente à cette pratique délibérée en simulation sociale.

7. Validité / Validity

L’évaluation des propriétés psychométriques de validité du DEST s’inscrit dans un contexte appliqué d’évaluation de programme à haute validité écologique :

Validité de Contenu et d’Apparence (Face and Content Validity)

La validité de contenu du DEST a été assurée dès sa phase de conception par un processus itératif d’élicitation d’expertise auprès de directeurs de formation, de superviseurs de terrain chevronnés du DCFS et d’universitaires spécialistes de la protection infantile. Les 13 compétences ciblées par la sous-échelle de confiance correspondent rigoureusement aux standards professionnels légaux de l’État de l’Illinois et aux compétences clés identifiées par la littérature empirique comme prédictives d’enquêtes judiciaires rigoureuses. Les items présentent une formulation limpide et contextuellement authentique, garantissant une excellente validité d’apparence auprès des apprenants adultes.

Validité Écologique et Sensibilité au Changement Temporel

Le DEST se distingue par sa sensibilité au changement intra-individuel (responsiveness). L’administration répétée à travers six points d’ancrage temporel (du pré-test le lundi matin jusqu’au post-test le vendredi après-midi) démontre une capacité remarquable de l’instrument à capter la trajectoire ascendante de la confiance des participants. Cette progression statistique significative d’un jour à l’autre reflète fidèlement l’impact cumulatif des scénarios de complexité croissante administrés dans les laboratoires de simulation. L’échelle ne présente pas d’effets de plancher prononcés dès le premier jour, ni d’effets de plafond excessifs avant la fin de la semaine, préservant ainsi une variance utile tout au long du cursus.

Validité de Construit et Limites Actuelles

La validité de construit est fortement étayée par la pureté de la structure factorielle mise en évidence par Chiu et al. (2023), qui démontre que l’ensemble des 13 items converge vers un construit unique et hautement cohérent d’auto-efficacité investigatrice. Néanmoins, les auteurs soulignent l’absence actuelle d’études formelles publiées mesurant la validité critériée externe (prédictive et concurrente). Il reste nécessaire de corréler ultérieurement les scores du DEST avec des mesures objectives de compétences comportementales sur le terrain (évaluations par les pairs et superviseurs lors des visites réelles) ou avec des indicateurs institutionnels tels que le taux de rétention professionnelle à un an ou la conformité des plans de sécurité déposés auprès des tribunaux.

8. Fidélité / Reliability

La fidélité de la sous-échelle de confiance du DEST (DEST-CS) a fait l’objet d’analyses statistiques approfondies portant sur la consistance interne de ses composantes multi-items à travers une démarche de mesures répétées :

Consistance Interne

Dans l’étude princeps menée par Chiu et al. (2023) auprès d’une cohorte d’enquêteurs débutants en protection de l’enfance, le coefficient alpha de Cronbach a été calculé indépendamment pour chacun des six temps de mesure planifiés :

• Temps 1 (Lundi matin, référence initiale) : $\alpha > 0,95$
• Temps 2 (Mardi après-midi) : $\alpha > 0,95$
• Temps 3 (Mercredi après-midi) : $\alpha > 0,95$
• Temps 4 (Jeudi après-midi) : $\alpha > 0,95$
• Temps 5 (Vendredi après-midi, avant le dévoilement final) : $\alpha > 0,95$
• Temps 6 (Évaluation terminale) : $\alpha > 0,95$

Ces indices empiriques, tous supérieurs au seuil critique de 0,90 préconisé par la littérature psychométrique pour les décisions individuelles à enjeux élevés, témoignent d’une homogénéité interne remarquable des items constituant la sous-échelle de confiance. L’inter-corrélation élevée entre les items confirme qu’ils évaluent tous des facettes étroitement synchronisées du même état psychologique sous-jacent.

Stabilité Temporelle et Modélisation de Trajectoire

Dans la mesure où le DEST est spécifiquement élaboré pour mesurer un état d’auto-efficacité dynamique supposé évoluer sous l’influence directe de la formation, l’évaluation conventionnelle de la fidélité test-retest à moyen terme n’est pas conceptuellement appropriée (une corrélation test-retest invariante traduirait une absence d’apprentissage). En revanche, la stabilité métrologique de l’instrument s’exprime par le maintien constant de la structure factorielle et de la cohérence interne d’un jour à l’autre, démontrant que l’outil mesure le même construit latent avec une précision équivalente tout au long de la cinétique d’apprentissage.

9. Analyse factorielle / Factor Analysis

L’exploration de la structure dimensionnelle de la sous-échelle de confiance (DEST-CS) a été conduite au moyen d’analyses quantitatives multivariées rigoureuses :

Analyses en Composantes Principales (ACP)

Des analyses en composantes principales assorties d’une rotation orthogonale de type varimax ont été exécutées séparément sur les matrices de corrélation obtenues à chacun des six temps de passation de la formation. Cette approche visait à vérifier si la structure dimensionnelle du construit restait stable ou si l’apprentissage fragmentait la perception de la compétence en sous-dimensions autonomes au fil du cursus.

Unidimensionnalité et Extraction Factorielle

Les résultats rapportés par Chiu et al. (2023) établissent sans équivoque une solution strictly unifactorielle à chaque point temporel. Les critères d’extraction statistique révèlent :

• Valeurs propres (Eigenvalues) : La valeur propre associée au premier facteur extrait oscille entre 9,28 (au temps le plus bas) et 9,94 (au temps le plus élevé). Aucune seconde composante n’atteint le seuil d’éligibilité selon le critère de Kaiser (valeur propre > 1) de façon consistante.
• Variance expliquée : Le premier composant unitaire absorbe à lui seul une part massive de la variance totale des scores, s’échelonnant de 71,4 % à 76,5 % selon les sessions.

Ce niveau exceptionnellement élevé de variance expliquée confirme que, dans la perception des stagiaires en formation initiale, la maîtrise des compétences d’investigation ne s’organise pas en blocs techniques isolés (comme la dichotomie courante entre compétences juridiques et relationnelles), mais fonctionne comme un noyau holistique d’auto-efficacité professionnelle. Chaque item sature puissamment sur ce facteur général, validant ainsi l’utilisation légitime d’un score composite global obtenu par sommation ou calcul de moyenne des 13 items pour représenter le niveau de confiance global du travailleur social.

10. Instrument de mesure / Instrument

Le Daily Experience of Simulation Training (DEST) est un inventaire d’auto-évaluation standardisé administré par voie électronique. Ses paramètres structuraux sont décrits ci-dessous :

• Type d’évaluation : Questionnaire d’auto-évaluation longitudinale / Inventaire d’auto-efficacité et de rétroaction pédagogique.
• Mode d’administration : Plateforme électronique numérique (accessible via ordinateurs portables, postes fixes, tablettes ou ordiphones) respectant l’anonymat des données des participants.
• Composition globale : 20 items structurés en trois modules opérationnels :
  • Module contextuel (1 item) : Identification du site d’entraînement de la simulation.
  • Sous-échelle de confiance (DEST-CS, 13 items) : Mesure quantitative des compétences investigatrices centrales.
  • Module d’évaluation de la rétroaction (5 items) : Évaluation de l’utilité des retours émis par les différents acteurs de la formation.
  • Journal réflexif qualitatif (1 item ouvert) : Formulation narrative des apprentissages les plus marquants de la journée.
• Échelles et modalités de réponse :
  • Sous-échelle de confiance : Échelle de type Likert en 7 points ordonnés, ancrée de 1 (« Plus faible » / Lowest) à 7 (« Plus élevé » / Highest).
  • Évaluation de la rétroaction : Échelle ordinale en 4 points : « Très utile » (Very helpful), « Utile » (Helpful), « Inutile » (Not helpful), « Très inutile » (Very unhelpful), complétée par une option « Sans objet » (N/A).
  • Journal réflexif : Zone de saisie textuelle libre sans limitation de caractères.
• Protocole chronologique de passation :
  • Jour 1 (Matin) : Passation de référence (baseline) immédiatement au démarrage de la séance d’orientation, impérativement avant toute activité ou consigne liée à la simulation.
  • Jours 2 à 5 (Après-midi) : Passation quotidienne effectuée systématiquement après la clôture des débriefings de groupe, mais avant d’aborder l’organisation logistique de la journée suivante.
  • Jour 5 (Finalité) : Passation obligatoire avant que les formateurs ne dévoilent l’issue et la vérité factuelle des dossiers emblématiques simulés (cas Rhodes et Jones).
• Cotation et calcul des scores : Le score global de confiance (DEST-CS) s’obtient en calculant la moyenne arithmétique ou la somme directe des 13 items de confiance (fourchette possible de 13 à 91 pour le score brut total ; moyenne de 1,00 à 7,00). Des moyennes journalières longitudinales permettent de générer des courbes individuelles et groupales de progression de l’auto-efficacité tout au long de la semaine d’immersion.

11. Permissions, Tarifs et Année du test / Permissions & Fee and Test Year

• Année de publication : 2023 (validations initiales et rapports d’implantation publiés à partir de 2020/2021).
• Droits d’auteur et propriété intellectuelle : Détenus conjointement par les auteurs (Chiu, Cross, Wheeler, Evans, Goulet) et le Children and Family Research Center de l’Université de l’Illinois, en partenariat avec le DCFS de l’Illinois.
• Licence et frais d’utilisation : Utilisation non commerciale libre de droits (fee-free) pour les contextes académiques, universitaires et d’entraînement public en travail social. Pour toute reproduction formelle, adaptation transculturelle ou intégration dans des systèmes commerciaux de gestion de l’apprentissage (LMS), l’autorisation préalable doit être demandée auprès de l’auteur de correspondance ([email protected]) ou de l’éditeur de la revue scientifique (Taylor & Francis).

12. Références / References

Les sources scientifiques suivantes constituent le corpus académique fondateur de l’instrument DEST et de ses fondements psychométriques :

• Bandura, A. (1977). Self-efficacy: Toward a unifying theory of behavioral change. Psychological Review, 84(2), 191–215. https://doi.org/10.1037/0033-295X.84.2.191
• Bandura, A. (1997). Self-efficacy: The exercise of control. W. H. Freeman and Company.
• Chiu, Y.-L., Cross, T. P., Wheeler, A. B., Evans, S. M., & Goulet, B. P. (2023). Development and application of a self-report measure for measuring change during simulation training in child protection. Journal of Public Child Welfare, 17(2), 239–257. https://doi.org/10.1080/15548732.2021.2016546
• Ericsson, K. A. (2004). Deliberate practice and the acquisition and maintenance of expert performance in medicine and related domains. Academic Medicine, 79(10 Suppl), S70–S81. https://doi.org/10.1097/00001888-200410001-00022
• Goulet, B. P., Evans, S. M., Wheeler, A. B., Cross, T. P., & Chiu, Y.-L. (2020). Developing an innovative child protection simulation training academy: A collaborative partnership. Journal of Public Child Welfare, 14(1), 74–95. https://doi.org/10.1080/15548732.2019.1678667
• Kirkpatrick, D. L., & Kirkpatrick, J. D. (2006). Evaluating training programs: The four levels (3rd ed.). Berrett-Koehler Publishers.
• Kolb, D. A. (1984). Experiential learning: Experience as the source of learning and development. Prentice-Hall.

13. Questions et items du questionnaire (Scale Items)