Formulaire d’auto-évaluation et d’évaluation par les pairs

1. Résumé / Abstract

Le Formulaire d’auto-évaluation et d’évaluation par les pairs (en anglais : Self and Peer Assessment Form, SPAF) constitue un instrument psychométrique et docimologique développé initialement par Judy Goldfinch et Robert Raeside (1990, 1994) à l’Université Napier d’Édimbourg. Cet outil a été élaboré pour répondre à l’un des défis majeurs de l’évaluation du travail en groupe dans l’enseignement supérieur et les contextes organisationnels : la différenciation équitable des notes individuelles au sein d’une production collective et l’atténuation du phénomène de « passager clandestin » (free-riding ou paresse sociale).

L’échelle opérationnalise l’apport individuel au fonctionnement d’équipe à travers huit dimensions critiques : la participation au groupe (Group Participation), la gestion du temps et la responsabilité (Time Management & Responsibility), l’adaptabilité (Adaptability), la créativité et l’originalité (Creativity/Originality), les compétences communicationnelles (Communication Skills), les compétences générales de travail en équipe (General Team Skills), les compétences techniques (Technical Skills), et la contribution spécifique au produit final (Contribution to Final Product). Chaque dimension est évaluée sur une échelle ordinale relative à 4 niveaux d’ancrage (0 = Aucune aide apportée au groupe ; 1 = Moins bon que la majorité du groupe ; 2 = Proche de la moyenne du groupe ; 3 = Meilleur que la majorité du groupe).

Les propriétés psychométriques de l’instrument ont fait l’objet d’investigations empiriques approfondies, notamment synthétisées dans la méta-analyse séminale de Falchikov et Goldfinch (2000) portant sur l’évaluation par les pairs dans l’enseignement supérieur. Les données attestent d’une cohérence interne robuste (coefficients alpha de Cronbach oscillant généralement entre 0,82 et 0,91 selon les échantillons) ainsi que d’une validité de critère remarquable, marquée par de fortes corrélations (variant de r = 0,60 à r = 0,75) entre les scores composites attribués par les pairs et les jugements d’experts indépendants ou d’enseignants. L’analyse factorielle met généralement en exergue une structure bifactorielle distinguant les compétences techniques/orientées tâche des compétences interpersonnelles/orientées processus, bien qu’un modèle unidimensionnel d’« efficacité collaborative perçue » soit couramment utilisé pour le calcul du facteur de pondération individuelle.

2. Mots-clés / Keywords

Évaluation par les pairs, auto-évaluation, travail d’équipe, compétences collaboratives, notation individualisée, paresse sociale, psychométrie éducative, fidélité inter-juges, évaluation formative, docimologie.

3. Auteurs / Authors

L’instrument et ses fondements méthodologiques ont été développés et affinés par plusieurs chercheurs de premier plan en sciences de l’éducation et en statistique appliquée :

• Judy Goldfinch : Chercheuse et statisticienne à l’École de mathématiques et de sciences informatiques, Edinburgh Napier University (Écosse, Royaume-Uni). Pionnière dans la modélisation mathématique des facteurs de correction individuels issus du jugement des pairs.
• Robert Raeside : Professeur émérite en statistiques appliquées et démographie sociale, Employment Research Institute, Edinburgh Napier University (Écosse, Royaume-Uni). Spécialiste des modèles quantitatifs de mesure de la performance collective.
• Nancy Falchikov : Chercheuse au département des sciences de l’éducation de l’University of Edinburgh (Écosse, Royaume-Uni). Auteure de travaux fondamentaux et de méta-analyses majeures sur les processus d’évaluation formative et par les pairs.
• Mark Lejk & Michael Wyvill : Chercheurs à l’University of Sunderland (Royaume-Uni), ayant documenté l’impact de l’inclusion de l’auto-évaluation combinée à l’évaluation par les pairs sous conditions anonymes ou consensuelles.

4. Objectif / Purpose

Le Formulaire d’auto-évaluation et d’évaluation par les pairs (SPAF) a été conçu pour résoudre un problème structurel et docimologique persistant dans les dispositifs d’apprentissage par projet et les dynamiques de travail en petits groupes : la disparité d’engagement individuel au sein d’une tâche collective recevant une note unique. Dans le schéma traditionnel de l’évaluation de projet, l’attribution d’une note commune à tous les membres d’une équipe masque l’hétérogénéité des contributions, pénalise indûment les individus à fort investissement et génère une prime au désengagement pour les membres passifs.

L’objectif fondamental du SPAF est double :

• Objectif sommatique et docimologique : Générer un multiplicateur d’ajustement individuel (Individual Weighting Factor) scientifiquement fondé, permettant de moduler la note collective globale du groupe en une note individualisée équitable, reflétant fidèlement l’effort et la qualité de la contribution de chaque membre.
• Objectif formatif et psychologique : Favoriser chez les participants le développement de la réflexivité métacognitive, la prise de responsabilité personnelle (accountability) et les compétences d’auto-évaluation critique. En explicitant les critères d’une collaboration efficace (gestion du temps, adaptabilité, résolution créative de conflits), l’instrument opère comme un guide normatif guidant les comportements attendus au cours du cycle de vie du projet.

En contexte organisationnel et clinique (notamment dans la formation interprofessionnelle en santé publique, comme l’illustre l’adoption du SPAF par l’École de santé publique de l’Université de Boston), l’outil sert à identifier les dysfonctionnements d’équipe, les asymétries relationnelles et les zones de rupture dans la communication interpersonnelle. Il fournit un cadre standardisé pour collecter des données multi-sources (évaluation à 360 degrés) utiles pour les bilans de compétences, la remédiation pédagogique et l’optimisation des dynamiques groupales.

5. Construit psychologique / Construct

Le SPAF opérationnalise le construit psychologique de la contribution individuelle au travail collaboratif (Individual Contribution to Team Performance). Ce construit latent complexe ne se réduit pas à une production quantitative d’écrits ou de code ; il englobe un ensemble synergique de comportements axés sur la tâche, de compétences interpersonnelles et d’attitudes d’autorégulation collective.

L’instrument décompose ce construit en huit dimensions interdépendantes :

1. Participation au groupe (Group Participation)

Cette dimension mesure l’assiduité, la régularité et la ponctualité physique ou virtuelle de l’individu aux réunions planifiées. Elle reflète l’engagement comportemental de base et la présence active requise pour maintenir la cohésion de l’équipe. Un score élevé indique un membre ponctuel, toujours disponible lors des jalons cruciaux, tandis qu’un score nul signale un absentéisme chronique déstabilisant la planification collective.

2. Gestion du temps et responsabilité (Time Management & Responsibility)

Ce volet évalue la fiabilité opérationnelle et l’équité dans la prise en charge de la charge de travail. Il mesure la propension de l’individu à accepter une part équitable des tâches requises et à respecter scrupuleusement les échéances intermédiaires sans nécessiter de relances constantes par ses pairs. Cette dimension est directement liée au concept de conscience professionnelle (Conscientiousness) issu du modèle des Big Five.

3. Adaptabilité (Adaptability)

L’adaptabilité mesure la flexibilité cognitive et comportementale du sujet face aux imprévus du projet, aux pivots stratégiques et aux réorientations imposées par le client ou l’enseignant. Elle capture également la réceptivité constructive à la critique formulée par les pairs et la volonté d’acquérir de nouvelles compétences nécessaires au succès de la mission collective.

4. Créativité / Originalité (Creativity/Originality)

Cette composante cognitive opérationnalise la capacité du sujet à générer des solutions innovantes face aux impasses techniques ou conceptuelles. Elle évalue l’initiative dans l’introduction de perspectives nouvelles, la résolution créative de problèmes et l’impulsion de décisions novatrices lorsque l’équipe se trouve bloquée dans une routine inefficace.

5. Compétences communicationnelles (Communication Skills)

La dimension communicationnelle englobe à la fois les habiletés d’expression et d’écoute active. Elle évalue l’efficacité du sujet lors des discussions collégiales, son aptitude à écouter les points de vue divergents sans interruption hostile, sa capacité à présenter clairement des arguments et sa maîtrise de la documentation technique, des schémas et de la mise en forme des idées.

6. Compétences générales de travail en équipe (General Team Skills)

Ce facteur socio-émotionnel capte le climat relationnel instauré par l’individu. Il comprend le maintien d’une attitude positive, l’encouragement et la motivation des pairs, le soutien actif aux décisions collégiales prises à la majorité, l’aide à l’émergence d’un consensus et la médiation proactive lors des conflits interpersonnels émergents.

7. Compétences techniques (Technical Skills)

Ce critère évalue l’expertise instrumentale et la compétence disciplinaire directe appliquée au projet. Il mesure la capacité à créer, concevoir et développer des matériaux (code informatique, protocoles de laboratoire, modèles financiers, rapports statistiques) de sa propre initiative, en apportant des réponses techniques rigoureuses aux problèmes posés.

8. Contribution au produit final (Contribution to Final Product)

Cette dimension synthèse invite les évaluateurs à documenter spécifiquement et quantitativement la part directe de travail tangible fournie pour le livrable définitif, en évaluant la juste distribution de la charge globale. Elle confronte les promesses initiales aux résultats réels matérialisés dans le rapport ou prototype final.

6. Cadre théorique / Theoretical Framework

Le développement du SPAF s’enracine dans la convergence de trois courants théoriques majeurs de la psychologie sociale, de la psychologie cognitive et des sciences de l’évaluation :

La théorie de la paresse sociale et de la diffusion de responsabilité

Les travaux fondateurs de Bibb Latané, Kipling Williams et Stephen Harkins (1979) sur la paresse sociale (social loafing) ont démontré que les individus fournissent un effort moindre lorsqu’ils travaillent collectivement comparativement à une situation où leur production est individuellement identifiable. En introduisant une procédure structurée d’évaluation par les pairs, le SPAF rend chaque contribution univoquement identifiable et transparente. L’anticipation d’une évaluation par les pairs désamorce l’illusion d’anonymat, réduit l’effet de « passager clandestin » et neutralise la peur d’être dupé (sucker effect), incitant ainsi tous les membres à maintenir un haut niveau d’effort.

L’apprentissage coopératif et la théorie de l’interdépendance sociale

Développée par Morton Deutsch puis étendue par David et Roger Johnson (1989), la théorie de l’interdépendance sociale postule que la coopération structurée génère des interactions promotrices où les individus s’encouragent et facilitent mutuellement leurs efforts. Pour que cette interdépendance positive produise des gains cognitifs maximaux, les auteurs insistent sur la nécessité d’une responsabilité individuelle absolue (individual accountability) couplée à un traitement régulier du fonctionnement du groupe (group processing). Le SPAF opérationnalise précisément ce mécanisme d’analyse réflexive du fonctionnement groupal.

L’apprentissage autorégulé et la métacognition sociale

Sur le plan cognitif, le SPAF s’appuie sur le modèle de l’apprentissage autorégulé de Barry Zimmerman et les théories socio-constructivistes dérivées de Lev Vygotski. L’évaluation par les pairs force l’étudiant à externaliser ses critères de qualité, à comparer ses propres normes de travail à celles de sa communauté de pratique et à calibrer son auto-évaluation par le regard de l’autre. Le croisement des scores d’auto-évaluation et d’évaluation par les pairs génère une dissonance cognitive constructive chez les participants sous-performants ou surévaluant leurs mérites, stimulant ainsi la métacognition et l’ajustement comportemental adaptatif.

7. Validité / Validity

La validité psychométrique du SPAF a été rigoureusement éprouvée au fil de trois décennies de recherches empiriques et d’analyses méta-analytiques :

Validité de contenu (Content Validity)

La représentativité des huit critères a été établie par des panels d’enseignants-chercheurs et de praticiens en ingénierie de projet (Goldfinch & Raeside, 1990). L’exhaustivité de la grille couvre l’ensemble des compétences clés du travail collaboratif recommandées par les organismes d’accréditation internationaux (tels que l’ABET pour l’ingénierie). La définition opérationnelle claire associée à chaque critère réduit substantiellement les biais de halo et l’ambiguïté interprétative chez les étudiants évaluateurs.

Validité convergente et de critère (Criterion & Convergent Validity)

Dans leur méta-analyse majeure regroupant 48 études quantitatives, Falchikov et Goldfinch (2000) ont établi que les évaluations par les pairs affichent une corrélation globale robuste de r = 0,69 avec les évaluations conduites par les enseignants ou des experts académiques indépendants. Cette convergence s’avère particulièrement prononcée lorsque les critères sont multidimensionnels, explicites et basés sur des comportements observables plutôt que sur des jugements globaux indifférenciés. Le SPAF présente une validité convergente supérieure aux échelles holistiques non structurées, la corrélation avec les résultats des examens finaux individuels atteignant des valeurs comprises entre 0,45 et 0,58 (Goldfinch, 1994).

Validité discriminante et effets de biais

Les recherches menées par Lejk et Wyvill (2001) ont démontré que les conditions de passation (anonymat des réponses versus évaluation ouverte négociée au sein du groupe) influencent la variance discriminante. Lorsque l’évaluation est confidentielle, le SPAF montre une excellente capacité à discriminer les contributeurs marginaux des contributeurs majeurs, avec des distributions de scores s’étalant sur l’ensemble de l’échelle (de 0 à 3). En revanche, l’évaluation ouverte non anonymisée a tendance à compacter la variance autour de la moyenne (biais d’indulgence ou de complaisance sociale). L’utilisation de scores centrés sur la moyenne du groupe (où 2 représente la norme de référence) préserve la validité discriminante intrinsèque du système de cotation.

8. Fidélité / Reliability

La consistance métrologique du SPAF a été documentée à travers plusieurs indicateurs de fidélité :

Cohérence interne (Internal Consistency)

Les estimations de la cohérence interne via l’alpha de Cronbach pour l’ensemble des 8 dimensions du SPAF rapportent de manière constante des coefficients élevés. Les études menées en contextes universitaires (Goldfinch, 1994 ; Lejk & Wyvill, 2001) rapportent des valeurs d’alpha se situant généralement entre 0,82 et 0,91. Ces chiffres confirment que, bien que les huit items mesurent des facettes distinctes du fonctionnement collaboratif, ils convergent de manière cohérente vers un macro-construit unifié d’efficacité partenariale.

Accord et fidélité inter-juges (Inter-Rater Reliability)

L’accord entre pairs au sein d’une même équipe constitue l’indice critique de fidélité pour une telle échelle. À travers le calcul des coefficients de corrélation intra-classe (ICC pour modèles à effets mixtes à deux facteurs), la concordance entre pairs évaluant une même cible oscille entre 0,72 et 0,86 pour des groupes composés de 4 à 6 membres. Ces valeurs dépassent le seuil standard de recevabilité scientifique (0,70) établi pour les jugements subjectifs inter-juges.

Effet de l’auto-évaluation sur la fidélité globale

Les analyses docimologiques de Lejk et Wyvill (2001) ont spécifiquement modélisé l’impact de l’inclusion du score d’auto-évaluation dans le calcul final. Leurs résultats indiquent que si les étudiants ont une légère tendance à s’auto-attribuer des notes supérieures de 5 % à 8 % à celles accordées par leurs pairs (biais d’auto-complaisance), l’exclusion de l’auto-évaluation ou sa pondération conjointe avec les notes des pairs n’altère pas significativement la fidélité globale de l’ordonnancement si au moins trois pairs contribuent à l’évaluation.

9. Analyse factorielle / Factor Analysis

Les investigations en analyse factorielle exploratoire (AFE) et confirmatoire (AFC) appliquées aux données du SPAF mettent en lumière des modèles structuraux bien définis :

Structure bifactorielle : Tâche vs Processus socio-émotionnel

Dans la plupart des analyses factorielles exploratoires conduites avec rotation oblique (Promax ou Oblimin direct), une structure à deux facteurs corrélés émerge de façon nette (expliquant généralement entre 58 % et 67 % de la variance totale) :

• Facteur 1 : Compétences orientées Tâche et Réalisation technique (Task Performance Factor)
  
  Ce facteur regroupe les items relatifs aux compétences techniques (saturations factorielles typiques entre 0,74 et 0,85), à la gestion du temps et la responsabilité (saturations entre 0,70 et 0,81) et à la contribution au produit final (saturations entre 0,68 et 0,79). Il reflète la capacité de l’individu à exécuter le travail attendu dans les délais impartis.
• Facteur 2 : Compétences relationnelles et Processus d’équipe (Contextual / Social Facilitation Factor)
  
  Ce second facteur est saturé par les compétences générales d’équipe (0,72 à 0,84), les compétences communicationnelles (0,69 à 0,78), l’adaptabilité (0,62 à 0,74) et la créativité/originalité (0,55 à 0,68). Il mesure la facilitation sociale, le climat affectif et la résilience collective du groupe.

Modèle unidimensionnel hiérarchique

En dépit de cette dualité factorielle, la corrélation modérée à forte observée entre ces deux facteurs (r oscillant entre 0,55 et 0,68) justifie l’utilisation d’un modèle factoriel de second ordre, où un facteur général de « Contribution globale au projet » (Global Project Contribution) sous-tend l’ensemble des huit critères. En pratique docimologique, ce facteur général légitime l’agrégation des scores sous la forme d’un score moyen global utilisé pour générer le coefficient de pondération individuelle de Goldfinch.

10. Instrument de mesure / Instrument

Le SPAF est un instrument d’évaluation structuré multi-sources administré individuellement à chaque membre d’un groupe de projet. Les caractéristiques techniques de passation et de dépouillement se présentent comme suit :

• Type d’évaluation : Instrument combiné d’auto-évaluation (self-assessment) et d’évaluation par les pairs (peer assessment), basé sur le jugement de comportements observables.
• Format : Formulaire papier ou numérique (souvent intégré dans des plateformes LMS comme Moodle, Canvas ou Qualtrics), administré individuellement et sous couvert de stricte confidentialité (sauf disposition pédagogique contraire).
• Nombre de dimensions / critères : 8 critères analytiques prédéfinis.
• Échelle de réponse : Échelle de notation relative à 4 points discrets ordonnés :
  • 3 = Meilleur que la majorité du groupe à cet égard (Better than most of the group in this respect)
  • 2 = Proche de la moyenne du groupe à cet égard (About average for the group in this respect)
  • 1 = Moins bon que la majorité du groupe à cet égard (Not as good as most of the group in this respect)
  • 0 = Aucune aide apportée au groupe à cet égard (No help at all to the group in this respect)
• Procédure de calcul et cotation (Algorithme de Goldfinch) :
  • Chaque participant évalue l’ensemble des membres de l’équipe (y compris lui-même ou en excluant l’auto-évaluation selon le protocole retenu) sur les 8 critères.
  • Un score total brut est calculé pour chaque individu en sommant les points attribués par chaque pair (score théorique allant de 0 à 24 points par évaluateur).
  • Le score moyen attribué à un individu par ses pairs est ensuite calculé : Score Individuel Moyen (SIM).
  • La moyenne globale de l’ensemble des scores reçus par tous les membres du groupe est déterminée : Moyenne Globale du Groupe (MGG).
  • Le Facteur d’Ajustement Individuel (FAI) est déterminé par le ratio : FAI = SIM / MGG.
  • La note individuelle finale de l’étudiant est obtenue en multipliant la note attribuée au livrable collectif par ce facteur FAI (souvent encadré par des bornes maximales et minimales de régulation, par exemple ±20 %, pour éviter des pénalisations excessives).

11. Permissions, Tarifs et Année du test / Permissions & Fee and Test Year

• Année de publication initiale : 1990 (version préliminaire par Goldfinch & Raeside) ; développements complémentaires et standardisation en 1994.
• Statut des droits d’auteur et propriété intellectuelle : Le concept de l’échelle et les formulations associées ont été publiés dans des revues académiques à comité de lecture sous le droit de citation scientifique. La forme opérationnelle SPAF est largement partagée dans le domaine public académique et éducatif en libre accès sous licence ouverte (notamment via des dépôts institutionnels universitaires tels que l’Université de Boston).
• Tarifs d’utilisation : Gratuit pour toute utilisation pédagogique, universitaire, formative et de recherche non commerciale. Aucune redevance n’est exigée pour la reproduction ou l’informatisation des grilles dans un cadre éducatif.
• Conditions d’utilisation : Mention explicite obligatoire des auteurs originaux (Goldfinch & Raeside, 1990 ; Falchikov & Goldfinch, 2000) dans les publications de recherche, syllabus de cours ou interfaces numériques de passation.

12. Références / References

• Falchikov, N., & Goldfinch, J. (2000). Student peer assessment in higher education: A meta-analysis comparing peer and teacher marks. Review of Educational Research, 70(3), 287–322. https://doi.org/10.3102/00346543070003287
• Goldfinch, J. (1994). Further developments in peer assessment of group projects. Assessment & Evaluation in Higher Education, 19(1), 29–35. https://doi.org/10.1080/0260293940190103
• Goldfinch, J., & Raeside, R. (1990). Development of a peer assessment technique for obtaining individual marks on a group project. Assessment and Evaluation in Higher Education, 15(3), 210–225. https://doi.org/10.1080/0260293900150304
• Johnson, D. W., & Johnson, R. T. (1989). Cooperation and competition: Theory and research. Interaction Book Company.
• Latané, B., Williams, K., & Harkins, S. (1979). Many hands make light the work: The causes and consequences of social loafing. Journal of Personality and Social Psychology, 37(6), 822–832. https://doi.org/10.1037/0022-3514.37.6.822
• Lejk, M., & Wyvill, M. (2001). The effect of the inclusion of self-assessment with peer assessment of contributions to a group project: A quantitative study of secret and agreed assessments. Assessment & Evaluation in Higher Education, 26(6), 551–561. https://doi.org/10.1080/02602930120093887

13. Questions et items du questionnaire / Scale Items