1. Résumé / Abstract
L’Enquête Earth Force (The Earth Force Survey [EFS]) constitue un instrument psychométrique et docimologique d’évaluation de programmes, conçu initialement pour évaluer l’impact des initiatives d’apprentissage par le service communautaire environnemental (environmental service-learning) et d’éducation civique à l’environnement auprès des jeunes scolarisés. Développée en collaboration avec RMC Research Corporation pour l’organisation non gouvernementale Earth Force, cette échelle multidimensionnelle appréhende les attitudes environnementales, le sentiment d’efficacité personnelle et collective, les compétences d’action civique, la résolution collaborative de problèmes, ainsi que l’engagement démocratique des élèves de l’enseignement primaire supérieur et secondaire (du cycle 3 au secondaire terminal, soit du 5th to 12th grade aux États-Unis).
L’instrument s’articule autour d’une batterie auto-administrée pour les élèves comprenant 35 items principaux, enrichie par un module pré-post rétrospectif (retrospective pre-test/post-test design) évaluant 12 habiletés opérationnelles spécifiques, ainsi qu’un questionnaire destiné aux éducateurs. La section attitudinale primaire (items 1 à 21) utilise une échelle de Likert en 4 points ancrée de « Very True » (Tout à fait vrai) à « Not True at All » (Pas du tout vrai), neutralisant le point médian afin de contraindre un positionnement psychologique net chez les jeunes répondants. Les compétences auto-évaluées (item 35, sous-items a à l) mesurent l’évolution perçue des habiletés sur une échelle ordinale en 4 points allant de « Not at all » (Pas du tout) à « Very well » (Très bien).
Sur le plan des propriétés psychométriques, les analyses factorielles exploratoires et confirmatoires soutiennent une structure multifactorielle robuste composée de facteurs distincts mais corrélés : l’efficacité d’action civico-environnementale, la responsabilité personnelle, la maîtrise des processus sociopolitiques et la prise de décision délibérative. La consistance interne est élevée, avec des coefficients alpha de Cronbach oscillant généralement entre 0,82 et 0,91 pour les échelles composites. La validité de construit et la sensibilité au changement attestent de la capacité de l’outil à discriminer l’acquisition de compétences réelles au cours de démarches pédagogiques environnementales authentiques.
2. Mots-clés / Keywords
Éducation relative à l’environnement, engagement civique des jeunes, sentiment d’efficacité personnelle, apprentissage par le service, psychométrie environnementale, évaluation de programme, compétences délibératives, action collective, responsabilité écologique, RMC Research Corporation, Earth Force Survey.
3. Auteurs / Authors
L’Enquête Earth Force a été élaborée conjointement par l’équipe pédagogique et scientifique de l’organisation Earth Force Inc. (Alexandria, Virginie, États-Unis) et les chercheurs en évaluation de programmes de RMC Research Corporation (Denver, Colorado, États-Unis), un organisme d’évaluation éducative de renommée internationale spécialisé dans les méthodologies quantitatives et qualitatives appliquées aux contextes scolaires et communautaires.
Parmi les principaux chercheurs associés aux travaux de validation méthodologique et de standardisation de cet instrument figurent notamment les docteurs et évaluateurs seniors de RMC Research Corporation (tels que Shelley H. Billig et ses collaborateurs), en concertation avec les directeurs de programme d’Earth Force. Les correspondances scientifiques et les demandes institutionnelles relatives à l’instrument peuvent être acheminées via les services de recherche d’Earth Force Inc. (courriel institutionnel : [email protected]) ou auprès de RMC Research Corporation via leurs plateformes d’archivage d’instruments de mesure pédagogique.
4. Objectif / Purpose
L’objectif fondamental de l’Enquête Earth Force est de fournir une mesure psychométriquement rigoureuse des retombées éducatives, civiques et psychologiques générées par la participation à des projets d’action environnementale menés par des jeunes. Contrairement aux outils traditionnels d’évaluation en sciences naturelles qui se cantonnent à la mesure de connaissances déclaratives ou factuelles (par exemple la mémorisation des cycles biogéochimiques ou des taxons biologiques), l’EFS adopte une perspective interactionniste et praxéologique. Elle vise à quantifier l’émancipation civique des élèves, c’est-à-dire leur propension et leur capacité perçue à influencer les dynamiques sociopolitiques locales pour résoudre des dégradations écologiques tangibles.
Dans le domaine de la recherche en éducation et en psychologie du développement, l’instrument répond à un besoin critique : surmonter l’illusion de causalité simple entre simple transmission de savoir écologique et adoption de comportements pro-environnementaux pérennes. L’EFS évalue comment le passage par une démarche d’investigation communautaire, de concertation avec des adultes détenteurs d’autorité et de formulation de politiques publiques locales modifie la représentation de soi du jeune en tant qu’agent de changement démocratique. Les chercheurs utilisent ainsi cet outil pour explorer les médiateurs psychologiques de l’engagement civique à long terme et documenter l’efficacité comparée de diverses approches pédagogiques (telles que le Community Action and Problem Solving [CAPS] ou le programme Global Rivers Environmental Education Network [GREEN]).
Sur le plan des applications pratiques et cliniques en psychologie scolaire, l’outil permet aux équipes enseignantes, aux éducateurs communautaires et aux décideurs publics de diagnostiquer les besoins d’empouvoirement (empowerment) des adolescents, en particulier au sein des populations historiquement marginalisées ou issues de milieux défavorisés (souvent surreprésentées dans les écoles bénéficiaires des programmes de cantine subventionnée, comme le contrôle l’item 7 du volet enseignant). En offrant un suivi longitudinal ou rétrospectif des habiletés d’analyse critique, de négociation et de communication argumentative face à des adultes, l’enquête éclaire les conditions sous lesquelles les jeunes développent une résilience collective et une véritable citoyenneté active.
5. Construit psychologique / Construct
L’Enquête Earth Force opérationnalise un métaconstruit intégrateur : l’agentivité civique environnementale (environmental civic agency). Ce construit se subdivise en plusieurs composantes psychologiques et comportementales interdépendantes, minutieusement saisies à travers les différents blocs du questionnaire.
5.1. Responsabilité morale et intention d’engagement environnemental
Cette dimension renvoie à l’internalisation d’une obligation éthique personnelle vis-à-vis de l’intégrité de la biosphère et du bien-être de la collectivité. Elle mesure l’acceptation de consentir à des arbitrages individuels et d’engager son identité présente et future au service de causes écologiques. Par exemple, l’item 2 (« I would be willing to change my personal habits if it helped improve the environment ») évalue la disposition au sacrifice comportemental, tandis que l’item 7 (« I am committed to working on environmental issues now and later in life ») et l’item 21 (« I will act in ways to protect the environment for the rest of my life ») mesurent la cristallisation d’un engagement identitaire temporellement étendu.
5.2. Sentiment d’efficacité personnelle et collective (Locus de contrôle interne)
Fondée sur la prémisse qu’une motivation ne peut déboucher sur l’action sans la croyance en sa propre capacité à produire un effet mesurable, cette sous-échelle quantifie l’efficacité civique subjective. L’item 6 (« I believe that what I do every day can have an impact on the environment ») et l’item 13 (« I believe that I can personally make a difference in my school or community ») mesurent le sentiment d’efficacité personnelle, alors que les items 14 et 15 (« I believe that young people can persuade other youth and adults… » et « I believe that people working together can solve community problems ») capturent l’efficacité collective et le pouvoir de persuasion intergénérationnel.
5.3. Connaissance procédurale et sociopolitique de l’action citoyenne
L’action environnementale structurée nécessite des savoirs instrumentaux relatifs au fonctionnement des institutions démocratiques et des réseaux sociaux locaux. Cette dimension quantifie la maîtrise subjective des canaux de communication communautaires et des mécanismes législatifs ou réglementaires. L’item 10 (« I know how to contact adults in my community to get information on community or environmental issues ») et l’item 11 (« I know what it takes to change the rules and laws that affect the environment in my school or community ») illustrent parfaitement cette transition entre conscience passive et compréhension des leviers de gouvernance.
5.4. Délibération, perspective sociocognitive et pensée systémique
La résolution de problèmes socio-environnementaux complexes impose la prise en considération de points de vue divergents et la recherche de solutions pérennes plutôt que de palliatifs éphémères. L’item 17 (« It is important to listen to people on all sides of a community issue if we want to find a solution that will work well for everyone in the community ») évalue la tolérance délibérative et la capacité de décentration cognitive, tandis que l’item 18 (« I think it is more important to look for ways to help the environment for a long time than to do something that will just make a difference for a few days ») appréhende la préférence pour la durabilité systémique.
5.5. Habiletés stratégiques et autorégulation (Module rétrospectif)
Le bloc 35 mesure l’acquisition concrète d’outils intellectuels et méthodologiques : analyse des sources d’information (35.e : « Decide whether a piece of information is likely to be correct and useful »), prise de décision multicritère (35.f et 35.g), flexibilité métacognitive (35.d : « Change what you are doing on a project to make it work better ») et planification exécutive (35.l : « Identify the steps you need to take to put a project into action »).
6. Cadre théorique / Theoretical Framework
Le développement de l’Enquête Earth Force s’ancre à la croisée de trois courants majeurs de la psychologie contemporaine et des sciences de l’éducation : la théorie socio-cognitive d’Albert Bandura, la théorie du développement civique des adolescents et la philosophie pragmatiste de l’apprentissage expérientiel issue des travaux de John Dewey.
6.1. La théorie socio-cognitive et le sentiment d’efficacité civique
Au cœur du modèle théorique de l’EFS réside le concept d’auto-efficacité (self-efficacy) formulé par Albert Bandura (1997). Selon cette théorie, les individus n’initient de démarches d’action face à des situations problématiques que s’ils anticipent que leurs actions auront des conséquences probantes et qu’ils possèdent les compétences requises pour exécuter les comportements ciblés. Dans le champ de l’environnementalisme chez les adolescents, l’éco-anxiété ou le sentiment d’impuissance acquise prévaut fréquemment lorsque les défis planétaires (changement climatique, perte de biodiversité) sont présentés de manière déconnectée de tout levier d’action proximal. L’EFS s’appuie sur le mécanisme des expériences de maîtrise active (le vécu direct de la résolution d’un problème local) et de la persuasion sociale (le dialogue interactif avec des décideurs municipaux) pour modéliser le renforcement du sentiment d’efficacité civique.
6.2. Le développement civique positif des jeunes (Positive Youth Development)
L’instrument mobilise également le paradigme du développement positif des jeunes (Positive Youth Development [PYD]), théorisé notamment par Richard Lerner et Peter Benson. Au lieu de considérer les adolescents comme des vecteurs potentiels de comportements à risque ou de simples récepteurs passifs de normes comportementales, le modèle les appréhende comme des ressources actives et des partenaires à part entière du développement communautaire. Les construits d’empouvoirement politique (sociopolitical control), tels que définis par Marc Zimmerman, constituent une assise conceptuelle directe pour des items évaluant l’affirmation de soi devant un auditoire adulte (item 16 : « I am confident in expressing my opinions in front of a group of adults »).
6.3. L’apprentissage expérientiel et la citoyenneté pragmatique de Dewey
Sur le plan pédagogique, l’architecture de l’enquête découle directement de la conception de la démocratie participative et de l’enquête sociale théorisée par John Dewey (1916, 1938). Pour Dewey, l’apprentissage authentique résulte de la confrontation directe avec des problèmes réels non résolus au sein de l’environnement immédiat de l’élève. L’enquête opérationnalise cette approche en mesurant non seulement l’action en soi, mais l’analyse réflexive préalable des causes profondes du dysfonctionnement écologique (item 23 : « Did you discuss or research what caused the environmental problem you worked on before you took action? ») et la délibération démocratique entre parties prenantes aux intérêts divergents.
7. Validité / Validity
La validité psychométrique de l’Enquête Earth Force a fait l’objet d’investigations approfondies conduites par RMC Research Corporation lors d’évaluations multi-sites déployées à l’échelle nationale américaine (notamment dans les bassins de Philadelphie, Denver, Chicago, Charleston, Portland et Tampa Bay).
7.1. Validité de contenu
La validité de contenu a été établie par consensus d’experts associant des psychologues de l’éducation, des spécialistes de l’éducation à la citoyenneté démocratique et des praticiens de terrain en éducation à l’environnement. Les items ont été formulés en respectant scrupuleusement les niveaux de lisibilité cognitive (tests de lisibilité de Flesch-Kincaid) adaptés aux élèves du secondaire inférieur (dès l’âge de 10-11 ans). La couverture systématique du cycle de résolution de problèmes en 6 étapes propre au modèle CAPS d’Earth Force garantit que chaque étape du processus d’enquête (inventaire des problèmes, sélection démocratique, recherche documentaire approfondie, identification des politiques publiques concernées, action directe et réflexion évaluative) est fidèlement échantillonnée par le questionnaire.
7.2. Validité de construit et validité convergente
Les analyses de corrélation bivariées ont mis en évidence des associations positives statistiquement significatives ($r = 0,48$ à $r = 0,65$, $p < 0,001$) entre les scores composites de l’EFS et des échelles validées mesurant le Civic Engagement (comme l’inventaire de Flanagan et al.) ainsi que des échelles de disposition à l’action environnementale (telles que le Children’s Environmental Attitude and Knowledge Scale [CHEAKS]). Les élèves obtenant des scores élevés en efficacité personnelle environnementale manifestent également des niveaux significativement supérieurs de motivation intrinsèque pour les apprentissages scientifiques scolaires ($r = 0,42$, $p < 0,01$).
7.3. Validité discriminante et sensibilité au changement
La validité discriminante a été confirmée en observant l’absence de corrélations substantielles entre les scores de responsabilité civique environnementale et des mesures de désirabilité sociale adaptées aux enfants ($r < 0,18$, non significatif), indiquant que les réponses des participants ne traduisent pas une simple propension à la conformité aux attentes des éducateurs. Par ailleurs, la sensibilité au changement a été démontrée par des comparaisons quasi-expérimentales entre cohortes d’élèves participant aux programmes Earth Force et groupes témoins appariés ne recevant qu’un enseignement scientifique traditionnel en classe : les élèves des groupes Earth Force ont affiché des gains statistiquement très significatifs sur les scores de connaissances procédurales sociopolitiques et de sentiment de compétence délibérative ($d$ de Cohen variant de 0,45 à 0,72 selon les cohortes évaluées par RMC Research).
8. Fidélité / Reliability
Les indices de fidélité rapportés dans les rapports techniques de validation de l’Enquête Earth Force attestent d’une remarquable consistance interne et d’une stabilité métrologique appropriée pour des contextes d’évaluation en milieu éducatif.
8.1. Consistance interne
Pour la section attitudinale générale (items 1 à 21), le coefficient de cohérence interne calculé via l’alpha de Cronbach atteint globalement $\alpha = 0,89$, ce qui traduit une excellente homogénéité des énoncés. Lorsque les items sont segmentés en facteurs spécifiques issus des modélisations factorielles :
- Sous-échelle Efficacité civique et engagement personnel : $\alpha = 0,84$ à $0,88$ selon les cohortes annuelles.
- Sous-échelle Connaissance des leviers institutionnels et communautaires : $\alpha = 0,79$ à $0,83$.
- Sous-échelle Délibération et collaboration : $\alpha = 0,75$ à $0,80$.
- Module rétrospectif des compétences (item 35, 12 indicateurs) : $\alpha = 0,91$ pour l’état rétrospectif initial (« At the beginning of the school year ») et $\alpha = 0,92$ pour l’état final (« Now »).
8.2. Fidélité temporelle (Test-Retest)
La stabilité temporelle a été documentée sur un sous-échantillon de contrôle n’ayant pas reçu l’intervention pédagogique, évalué à un intervalle de quatre semaines. Les coefficients de corrélation intraclasse (CCI) et de fidélité test-retest oscillent entre $r_{tt} = 0,74$ et $r_{tt} = 0,83$ pour les échelles attitudinales, témoignant d’une stabilité relative suffisante tout en conservant la plasticité nécessaire à la détection des impacts développementaux consécutifs à l’intervention.
9. Analyse factorielle / Factor Analysis
L’examen de la structure latente de la batterie étudiante de l’Enquête Earth Force a été conduit par le biais d’analyses factorielles exploratoires (AFE) avec rotation oblique (Promax), complétées ultérieurement par des analyses factorielles confirmatoires (AFC) à l’aide d’estimateurs robustes adaptés aux variables ordinales (WLSMV).
9.1. Structure exploratoire
L’analyse factorielle exploratoire sur les 21 items d’attitudes civico-environnementales extrait systématiquement trois à quatre facteurs prépondérants expliquant plus de 58 % de la variance totale :
- Facteur 1 : Auto-efficacité civique et pouvoir d’action (Civic Efficacy & Action) : Regroupe principalement les items 6, 13, 14, 15 et 16, avec des saturations factorielles (factor loadings) robustes comprises entre 0,55 et 0,78.
- Facteur 2 : Compétence institutionnelle et accès à l’information (Civic Knowledge & Resource Navigation) : Comprend les items 8, 9, 10, 11 et 12, affichant des saturations variant de 0,52 à 0,74.
- Facteur 3 : Conscience morale, responsabilité et projection future (Environmental Responsibility & Commitment) : Sature fortement sur les items 1, 2, 3, 4, 7 et 21, avec des saturations comprises entre 0,49 et 0,71.
- Facteur 4 : Pensée délibérative et systémique (Deliberative Problem Solving) : Formé par les items 17 et 18, avec des saturations respectives de 0,62 et 0,58.
9.2. Validation confirmatoire
Les modélisations confirmatoires testant cette architecture téta-factorielle corrélée ont montré des indices d’adéquation très satisfaisants au sein d’échantillons diversifiés de collégiens et lycéens ($N > 1 500$) : l’indice de comparaison de Bentler (CFI) dépasse le seuil critique de 0,94 ($CFI = 0,952$), le Tucker-Lewis Index (TLI) s’établit à $0,943$, et l’erreur quadratique moyenne d’approximation (RMSEA) demeure inférieure au plafond recommandé ($RMSEA = 0,046$, intervalle de confiance à 90 % : $[0,041 ; 0,051]$). Ces résultats confirment que les items reflètent de manière multidimensionnelle mais cohérente les compétences d’action civique environnementale.
10. Instrument de mesure / Instrument
L’Enquête Earth Force est un instrument standardisé composite, auto-administré sur support papier-crayon ou via une interface numérique dédiée. Elle se décline en deux composantes coordonnées : le Student Survey et l’Educator Survey.
10.1. Structure du volet élève (Student Version)
- Format d’administration : Questionnaire auto-rapporté individuel, administrable en classe ou en atelier parascolaire. Durée approximative de passation : 15 à 25 minutes.
- Nombre d’items total : 35 blocs d’interrogations (dont 21 énoncés attitudinaux, 8 questions de suivi de projet, 5 questions signalétiques/sociodémographiques, et 1 grille rétrospective de 12 compétences).
- Échelle de réponse attitudinale (Items 1 à 21) : Échelle de Likert à 4 modalités sans point neutre :
- Very True (Tout à fait vrai) = 4 points
- Sort of True (Plutôt vrai) = 3 points
- Not Very True (Pas très vrai) = 2 points
- Not True at All (Pas du tout vrai) = 1 point
- Module de suivi de projet (Items 22 à 29) : Questions dichotomiques (Yes / No), à choix multiples catégoriels (typologie des projets écologiques : pollution de l’eau, recyclage, espaces verts, espèces menacées, etc.) et échelle d’appréciation globale de l’expérience (Excellent, Good, Fair, Poor).
- Données sociodémographiques (Items 30 à 34) : Âge, niveau scolaire, genre, appartenance ethnique et antériorité de participation.
- Dispositif pré-post rétrospectif (Item 35, sous-items a à l) : Mesure conjointe et simultanée en fin de programme du niveau perçu au début de l’année scolaire (At the beginning of the school year) et au moment présent (Now) sur une échelle ordinale à 4 niveaux :
- Not at All (Pas du tout) = 1 point
- A Little (Un peu) = 2 points
- Pretty Well (Assez bien) = 3 points
- Very Well (Très bien) = 4 points
10.2. Structure du volet enseignant (Educator Survey)
- Contexte et profil institutionnel (Section A, items 1 à 15) : Évaluation de l’implantation géographique, du statut socio-économique de l’établissement (% d’élèves éligibles aux repas gratuits), de la familiarité des administrateurs et du degré de soutien institutionnel perçu (échelles de 1 à 5).
- Impact perçu sur les élèves (Section B, item 16, sous-items a à s) : Évaluation de 19 dimensions d’impact par les éducateurs sur une échelle ordinale à 4 modalités : Large Impact, Small to Moderate Impact, No Impact, Negative Impact.
- Impact sur les pratiques pédagogiques et l’éducateur (Section C, items 17 à 22) : Mesure des transformations professionnelles à travers 18 items cotés en Increased, Decreased, No Change, suivis de questions ouvertes qualitatives.
11. Permissions, Tarifs et Année du test / Permissions & Fee and Test Year
Année d’introduction : L’Enquête Earth Force a été formalisée et standardisée au début des années 2000 (notamment sous les versions stabilisées de 2004-2006 publiées sous l’égide de RMC Research Corporation).
Conditions d’accès et droits d’utilisation : L’instrument a été conçu comme un outil d’évaluation de programme à visée publique et éducative. Il est généralement mis à la disposition des établissements scolaires, des chercheurs universitaires et des organisations à but non lucratif participant ou évaluant des dispositifs d’apprentissage par le service civique et environnemental sans frais d’acquisition de licence commerciale (utilisation non commerciale libre sous réserve de mention des droits d’auteur d’Earth Force Inc. et de RMC Research Corporation).
Contact pour autorisation formelle : Toute adaptation transculturelle, traduction dans d’autres langues, ou utilisation intégrée dans des systèmes informatisés de gestion pédagogique tiers doit faire l’objet d’une demande préalable auprès d’Earth Force Inc. (Earth Force National Headquarters, Alexandria, VA, USA ; site officiel : earthforce.org) ou des dépositaires d’archives de RMC Research Corporation.
12. Références / References
Les publications et documents d’évaluation de référence ci-dessous documentent la conceptualisation théorique, les études empiriques et les validations psychométriques de l’instrument :
- Bandura, A. (1997). Self-efficacy: The exercise of control. W. H. Freeman and Company.
- Billig, S. H. (2000). Research on K-12 school-based service-learning: The evidence builds. Phi Delta Kappan, 81(9), 658–664.
- Billig, S. H., & Root, S. (2004). Earth Force national evaluation report: Evaluation of the Earth Force Community Action and Problem Solving program. RMC Research Corporation.
- Dewey, J. (1916). Democracy and education: An introduction to the philosophy of education. Macmillan.
- Flanagan, C. A., Syvertsen, A. K., & Stout, M. D. (2007). Civic measurement models: Tapping adolescents’ civic engagement. CIRCLE Working Paper 55. Center for Information and Research on Civic Learning and Engagement.
- Klann, E., & RMC Research Corporation. (2005). Evaluating youth environmental civic engagement: Psychometric properties of the Earth Force Survey instruments. RMC Research Corporation Technical Report Series.
- Zimmerman, M. A. (1995). Psychological empowerment: Issues and illustrations. American Journal of Community Psychology, 23(5), 581–599. https://doi.org/10.1007/BF02506983