1. Résumé / Abstract
L’Outil de rétroaction pour les examens de développement des forces de secours (en allemand : Feedback-Instrument zur Rettungskräfte-Entwicklung bei Prüfungen, abrégé FIRE-P) constitue un instrument psychométrique standardisé spécialement conçu pour évaluer la qualité perçue des examens écrits administrés dans le cadre de la formation et du perfectionnement des intervenants d’urgence, particulièrement au sein des corps de sapeurs-pompiers. Développé en collaboration entre l’Institut des sapeurs-pompiers de Rhénanie-du-Nord-Westphalie (IdF NRW) et le département de psychologie organisationnelle et économique de l’Université de Münster (WWU Münster), cet outil répond à une lacune empirique majeure concernant l’évaluation pédagogique et docimologique en milieu professionnel à haut risque.
L’architecture opérationnelle du noyau central du FIRE-P se compose de 12 items obligatoires répartis selon une structure factorielle tridimensionnelle robuste : la Préparation (Vorbereitung, 4 items), la Conception (Gestaltung, 5 items) et la Charge perçue (Belastung, 3 items). Douze items supplémentaires optionnels (items 13 à 24) permettent de documenter les conditions environnementales d’examen, les variables de biais d’évaluation, ainsi que des rétroactions qualitatives et une note globale d’appréciation. L’évaluation s’effectue sur une échelle de réponse de type Likert en sept points (allant de 1 = « pas du tout d’accord » à 7 = « tout à fait d’accord »), assortie d’une option neutre et d’une catégorie « non évaluable de manière pertinente ».
Les investigations psychométriques menées auprès de cohortes d’aspirants chefs de groupe et chefs de colonne (N total = 729 évaluations lors des études de validation) démontrent des qualités métrologiques remarquables. L’analyse factorielle confirmatoire corrobore l’ajustement du modèle à trois composantes. La consistance interne des échelles s’avère satisfaisante à excellente, avec des coefficients alpha de Cronbach oscillant entre .76 et .86 selon les études. Des preuves substantielles de validité de contenu, de validité convergente et de validité critériée ont été établies en examinant les corrélations avec des mesures d’anxiété d’évaluation, d’auto-efficacité, de sentiment de stress et d’engagement organisationnel. Le FIRE-P représente ainsi un dispositif scientifique de référence pour l’assurance qualité et l’optimisation continue des épreuves de sélection et de certification des cadres de secours.
2. Mots-clés / Keywords
FIRE-P, évaluation des examens, sapeurs-pompiers, forces de secours, docimologie, psychométrie, formation des cadres, assurance qualité, stress d’examen, validité factorielle, charge cognitive, Institut der Feuerwehr NRW.
3. Auteurs / Authors
Le développement psychométrique et la validation de l’échelle FIRE-P ont été conduits conjointement par des chercheurs en psychologie du travail et des organisations et des experts opérationnels de la formation des services de secours :
- Dr. Meinald T. Thielsch — Professeur associé et directeur de recherche en psychologie organisationnelle et économique au sein de l’Institut de psychologie de l’Université de Münster (Westfälische Wilhelms-Universität Münster), Allemagne. Expertise en évaluation en ligne, ergonomie des interfaces et psychométrie appliquée. Courriel institutionnel : [email protected].
- M.Sc. Carina Busjan — Psychologue organisationnelle, Université de Münster. Travaux pionniers sur l’analyse qualitative des critères de qualité des épreuves chez les intervenants de secours (Étude I et III).
- M.Sc. Ann-Kathrin Frerichs — Psychologue, chercheuse associée à l’Université de Münster. Investigations approfondies sur la structure factorielle confirmatoire et la validité de construit du FIRE-P (Études II et IV).
- Institut der Feuerwehr Nordrhein-Westfalen (IdF NRW) — Plus grand établissement public de formation des sapeurs-pompiers en Allemagne (Münster), ayant fourni l’expertise de terrain, les commissions d’examinateurs et les cohortes de stagiaires des filières de commandement.
4. Objectif / Purpose
Dans les environnements d’intervention d’urgence, la prise de décision tactique et la gestion des crises réclament une maîtrise technique irréprochable et un sang-froid opérationnel absolu. Les formations dispensées aux sapeurs-pompiers, et tout particulièrement aux officiers et sous-officiers occupant les fonctions de chefs d’agrès, chefs de groupe (Gruppenführer) ou chefs de colonne (Zugführer), sont sanctionnées par des examens théoriques et pratiques déterminants pour la sécurité publique. Malgré les risques considérables inhérents à ces missions, la qualité intrinsèque, l’équité docimologique et la pertinence formative des instruments d’évaluation sommative n’avaient jusqu’alors que rarement fait l’objet d’examens psychométriques standardisés.
Le FIRE-P a été développé pour pallier cette lacune institutionnelle. Son but premier est de mesurer la qualité perçue des examens écrits directement auprès des apprenants à l’issue immédiate de l’épreuve. L’instrument permet d’objectiver la perception des stagiaires à travers trois composantes critiques : la préparation pédagogique en amont, la qualité de formulation et de conception de l’épreuve, et la charge psychologique ou cognitive ressentie. Sur le plan pratique, l’utilisation du FIRE-P répond à plusieurs finalités :
- Assurance et amélioration de la qualité pédagogique : Fournir aux équipes de conception pédagogique et aux formateurs un retour direct et standardisé pour identifier les épreuves dont les consignes manquent de clarté, dont le calibrage temporel est inadéquat ou dont la représentativité par rapport au programme enseigné est défaillante.
- Diagnostic docimologique différentiel : Évaluer l’impact des réformes curriculaires. Lors de la refonte des concepts d’examen des chefs de groupe et de colonne à l’IdF NRW en 2016/2017, le FIRE-P a servi de moniteur empirique pour comparer les anciens et nouveaux formats d’épreuve.
- Préservation de l’équité et de la justice procédurale : Garantir que la sélection des futurs officiers repose sur des épreuves transparentes, exemptes d’ambiguïtés linguistiques ou de facteurs de perturbation logistique.
- Recherche translationnelle en psychométrie appliquée : Transposer les modèles d’évaluation de l’enseignement supérieur (tels que le MFE-K) aux contextes rigides des organisations de haute fiabilité (High Reliability Organizations).
5. Construit psychologique / Construct
Le construit mesuré par le FIRE-P est la qualité perçue d’un examen écrit dans la formation des forces de secours. L’opérationnalisation de ce construit multidimensionnel repose sur les résultats de recherches docimologiques et d’analyses thématiques de terrain, formalisées à travers trois dimensions fondamentales complétées par des indicateurs contextuels :
1. La Préparation (Vorbereitung — 4 items)
Cette sous-échelle évalue l’adéquation perçue entre les activités d’enseignement dispensées durant le stage et les exigences réelles de l’examen sommatoire. Elle capture l’alignement pédagogique constructif (constructive alignment) :
- La fourniture de supports didactiques pertinents et en quantité suffisante (ex. examens blancs, exercices d’entraînement représentatifs).
- La transparence préalable des objectifs d’apprentissage et des barèmes d’évaluation attendus.
- La transférabilité du savoir : la capacité concrète de l’apprenant à mobiliser et appliquer en situation d’épreuve les connaissances théoriques transmises pendant le cours.
2. La Conception de l’épreuve (Gestaltung — 5 items)
Cette dimension renvoie à la qualité ergonomique, formelle et linguistique de l’instrument d’évaluation écrit :
- La clarté, la précision et le caractère univoque des libellés de questions et des consignes de travail.
- La lisibilité de la structure d’ensemble, le découpage thématique et la mise en page de l’épreuve.
- L’adéquation cognitive du format de réponse retenu (questions à choix multiples, réponses ouvertes courtes, études de cas tactiques).
- La validité écologique et professionnelle apparente : le sentiment que le contenu évalué présente une pertinence opérationnelle directe pour l’exercice futur des fonctions de commandement sur le terrain.
3. La Charge perçue (Belastung — 3 items)
Cette échelle mesure la pression psychologique et cognitive anormale imposée par l’examen, laquelle risque d’induire une variance d’erreur non reliée aux compétences réelles de l’apprenant :
- Le sentiment d’une difficulté excessive de l’examen par rapport au niveau du stage.
- L’étendue démesurée du volume de révision requis (surcharge de contenu).
- L’effet de saturation induit par l’accumulation des épreuves sommatives au cours du cursus de formation.
Dans une perspective docimologique idéale, les institutions de formation visent des scores élevés sur les dimensions Préparation et Conception, et des scores faibles à modérés sur la dimension Charge.
Indicateurs complémentaires et variables parasites (Items 13 à 24)
Au-delà du triptyque structural, le FIRE-P intègre des indicateurs spécifiques destinés à contrôler les sources potentielles d’injustice ou de biais d’évaluation :
- Conditions-cadres environnementales : Absence de bruits parasites, climat instauré par les surveillants, matériel disponible, droit de poser des questions de clarification.
- Variables d’attitudes individuelles (biais) : Intérêt intrinsèque pour la matière, importance de l’examen pour l’avancement professionnel, niveau d’aspiration minimaliste (« viser juste la moyenne »), satisfaction relative à sa propre performance.
- Jugement sommatif global : Attribution d’une note scolaire globale à l’épreuve (selon le système germanique de 1 = très bien à 6 = insuffisant).
6. Cadre théorique / Theoretical Framework
L’assise conceptuelle du FIRE-P s’ancre au confluent de la docimologie moderne, de la psychologie de l’éducation et des théories des organisations à haute fiabilité (High Reliability Organizations – HRO). Les services d’incendie et de secours opèrent sous une contrainte temporelle extrême, dans un environnement hostile et volatile. Selon la doctrine de commandement des sapeurs-pompiers (notamment la réglementation allemande Feuerwehr-Dienstvorschrift 100, FwDV 100), le chef de groupe ou de colonne assume une responsabilité juridique et opérationnelle totale à l’égard de la vie de ses subordonnés et des citoyens. L’évaluation sommative ne constitue donc pas une simple formalité académique, mais une décision sélective à fort impact (high-stakes testing).
Dans l’enseignement supérieur, l’évaluation des enseignements et des examens par les étudiants a fait l’objet de travaux approfondis. Le modèle précurseur ayant directement inspiré le FIRE-P est le MFE-K (Münsteraner Fragebogen zur Evaluation von Klausuren), développé par Froncek, Hirschfeld et Thielsch (2014). Le MFE-K avait démontré que la qualité d’une épreuve écrite s’articule autour de la transparence des attentes, de la qualité formelle de conception et du niveau de contrainte imposé aux étudiants. Toutefois, les spécificités des services de secours — prédominance masculine, formation continue d’adultes expérimentés, culture d’entreprise axée sur l’action concrète et hiérarchie rigide — imposaient une adaptation théorique et sémantique rigoureuse.
Le cadre théorique intègre également :
- La théorie de la charge cognitive (Cognitive Load Theory de Sweller) : L’examen doit mesurer la maîtrise des schémas mentaux tactiques pertinents (charge cognitive intrinsèque et pertinente), sans générer une surcharge extrinsèque due à des formulations ambiguës, une typographie confuse ou des conditions matérielles délétères.
- La théorie de l’alignement constructif de Biggs : L’efficacité d’un dispositif d’apprentissage exige une concordance parfaite entre les objectifs pédagogiques visés, les activités didactiques d’entraînement et les tâches requises lors de la validation sommative.
- La théorie de la justice organisationnelle (Colquitt) : L’équité perçue de l’examen (justice procédurale et informationnelle) conditionne l’adhésion des agents aux décisions de nomination et leur sentiment d’auto-efficacité professionnelle.
7. Validité / Validity
La validation empirique du FIRE-P a été menée selon un protocole rigoureux en quatre phases successives (Busjan, 2016 ; Frerichs, 2017), garantissant des preuves solides de validité sous ses multiples facettes psychométriques :
Validité de contenu et d’apparence (Études I & II)
Dans l’Étude I, une approche qualitative inductive menée auprès de 61 personnes (11 entretiens semi-directifs approfondis avec 6 stagiaires et 5 formateurs/examinateurs, complétés par une enquête qualitative auprès de 50 participants) a permis d’extraire huit dimensions fondamentales de la qualité des épreuves : préparation, transparence, orientation pratique, conception, rétroaction, charge, équité et conditions d’examen. Sur la base d’un premier pool de 46 items dérivés de ces thématiques et du MFE-K, un pré-test (Étude II, N = 22 stagiaires chefs de groupe) a confirmé la clarté linguistique et la pertinence pratique perçue des items, conduisant à l’élagage des énoncés redondants ou jugés non informatifs.
Validité de construit factorielle (Études III & IV)
L’administration de la batterie auprès de 428 participants (Étude III) puis de 301 stagiaires (Étude IV) a permis de confirmer empiriquement l’indépendance et la cohérence des trois facteurs postulés. Les intercorrélations entre les trois échelles révèlent des relations théoriquement cohérentes (voir Tableau des corrélations ci-dessous). Notamment, après inversion des items de l’échelle Charge (de sorte qu’un score élevé reflète une faible charge subie), la charge perçue corrèle positivement avec la bonne préparation (r = .48 dans l’Étude III ; r = .56 dans l’Étude IV) et avec la qualité de conception (r = .47 dans l’Étude III ; r = .62 dans l’Étude IV).
Validité convergente, concurrente et discriminante (Étude IV)
En l’absence d’autre instrument validé pour les examens de pompiers, des variables procuratoires (proxies) et des inventaires de personnalité validés ont été administrés conjointement (N = 268 complets) :
- Relations avec le jugement global (Item 24) : Comme prédit, les échelles Préparation et Conception présentent de fortes corrélations positives avec l’appréciation globale sommative de l’examen, tandis que l’échelle Charge (non inversée) corrèle négativement.
- Auto-efficacité (ASKU) et Conscienciosité (BFI-S) : Des associations positives significatives ont été observées entre le sentiment d’auto-efficacité, la conscienciosité et le score de Préparation, corroborant les données méta-analytiques montrant que les individus méticuleux investissent davantage d’efforts structurés de révision.
- Lieu de contrôle externe et Pessimisme (SOP2) : Les sujets présentant un lieu de contrôle externe marqué ou un pessimisme dispositionnel évaluent de manière significativement plus défavorable la qualité de la préparation reçue, anticipant un échec lié à des facteurs structurels extérieurs.
- Résilience (CD-RISC) et Tolérance au stress : Les apprenants affichant des niveaux de résilience élevés rapportent une charge émotionnelle et une difficulté perçue nettement plus modérées lors de l’examen.
8. Fidélité / Reliability
La consistance interne des échelles du FIRE-P a fait l’objet d’estimations précises à travers le calcul du coefficient Alpha de Cronbach au cours de deux études d’envergure indépendantes : l’Étude III (N = 428 évaluations) et l’Étude IV (N = 301 évaluations).
| Sous-échelle du FIRE-P | Nombre d’items | Alpha de Cronbach (Étude III, N = 428) | Alpha de Cronbach (Étude IV, N = 301) |
|---|---|---|---|
| Préparation (Vorbereitung) | 4 | 0.84 | 0.82 |
| Conception (Gestaltung) | 5 | 0.81 | 0.86 |
| Charge perçue (Belastung) | 3 | 0.79 | 0.76 |
Ces coefficients (.76 à .86) témoignent d’une homogénéité satisfaisante à excellente selon les standards de Nunnally. Étant donné que le FIRE-P est destiné à une exploitation agrégée au niveau des promotions ou des cours (évaluation de la qualité globale d’une promotion plutôt qu’un diagnostic différentiel individuel), ces niveaux de consistance interne excèdent largement les seuils méthodologiques requis.
Les indices de discrimination des items (corrélations item-total corrigées, Trennschärfe) calculés dans l’Étude III s’échelonnent entre .49 et .77, traduisant une excellente capacité de chaque item à discriminer la tendance générale du trait latent sous-jacent.
9. Analyse factorielle / Factor Analysis
L’architecture factorielle du FIRE-P a été examinée par le biais d’analyses factorielles exploratoires (AFE) dans l’Étude III, puis validée par analyse factorielle confirmatoire (AFC) dans l’Étude IV.
Analyse factorielle exploratoire (Étude III)
Une analyse en axes principaux avec rotation oblique Promax a été conduite sur 24 items sélectionnés. Les critères d’extraction traditionnels (règle de Kaiser-Guttman des valeurs propres supérieures à 1, Scree-test de Cattell et test MAP de Velicer) convergeaient initialement vers une solution à quatre facteurs :
- Facteur 1 (Valeur propre = 9.35) : 38.95 % de la variance expliquée.
- Facteur 2 (Valeur propre = 2.15) : 8.96 % de la variance expliquée.
- Facteur 3 (Valeur propre = 1.54) : 6.42 % de la variance expliquée.
- Facteur 4 (Valeur propre = 1.49) : 6.19 % de la variance expliquée.
Cependant, l’analyse minutieuse des saturations croisées a révélé qu’à l’exception d’un seul item, l’ensemble des énoncés du quatrième facteur présentaient des doubles saturations supérieures à .30 ou des non-convergences théoriques. Sur la base d’arguments docimologiques et statistiques, ces items ont été purgés, réduisant le modèle à trois facteurs stables représentant un modèle final de 15 items à l’issue de l’Étude III.
Analyse factorielle confirmatoire et modèle final à 12 items (Étude IV)
Dans l’Étude IV (N = 301), une AFC a été conduite pour tester l’adéquation empirique de la structure tridimensionnelle. Les indices d’ajustement globaux (model fit) se sont révélés acceptables à très satisfaisants. Trois items supplémentaires présentant des saturations factorielles marginales (λ ≤ 0.50) ou une variance d’erreur trop élevée (ε > 0.70) ont été exclus. L’inventaire définitif du FIRE-P a ainsi été condensé à 12 items.
| Sous-échelle / Item | M (Étude III) | SD (Étude III) | Saturation AFE | M (Étude IV) | SD (Étude IV) | Saturation AFC (λ) |
|---|---|---|---|---|---|---|
| Sous-échelle 1 : Préparation (Vorbereitung) | ||||||
| Item 1 | 4.97 | 1.45 | 0.81 | 5.82 | 1.24 | 0.79 |
| Item 2 | 3.96 | 1.82 | 0.77 | 4.75 | 1.73 | 0.62 |
| Item 3 | 4.50 | 1.52 | 0.79 | 5.46 | 1.36 | 0.77 |
| Item 8 | 5.17 | 1.30 | 0.51 | 5.86 | 1.09 | 0.80 |
| Sous-échelle 2 : Conception (Gestaltung) | ||||||
| Item 4 | 3.66 | 1.78 | 0.68 | 5.00 | 1.56 | 0.78 |
| Item 5 | 5.01 | 1.54 | 0.64 | 5.46 | 1.38 | 0.79 |
| Item 6 | 4.36 | 1.70 | 0.81 | 5.19 | 1.38 | 0.75 |
| Item 7 | 5.55 | 1.16 | 0.61 | 5.76 | 1.16 | 0.80 |
| Item 9 | 5.21 | 1.28 | 0.47 | 5.60 | 1.37 | 0.64 |
| Sous-échelle 3 : Charge perçue (Belastung) | ||||||
| Item 10 | 4.46 | 1.44 | 0.72 | 2.95 | 1.48 | 0.76 |
| Item 11 | 4.40 | 1.45 | 0.78 | 1.05 | 1.50 | 0.74 |
| Item 12 | 4.76 | 1.57 | 0.67 | 2.71 | 1.57 | 0.66 |
10. Instrument de mesure / Instrument
- Dénomination de l’outil : Outil de rétroaction pour les examens de développement des forces de secours (FIRE-P / Feedback-Instrument zur Rettungskräfte-Entwicklung bei Prüfungen).
- Nature de l’instrument : Questionnaire d’évaluation docimologique standardisé auto-administré immédiatement après la passation d’une épreuve écrite.
- Population cible : Stagiaires et candidats aux examens de qualification et de commandement des services d’incendie, de secours et de protection civile (transposable avec vérifications préalables à d’autres filières techniques d’urgence).
- Composition du test :
- Échelle principale obligatoire : 12 items fermés mesurant les trois dimensions factorielles validées (Préparation, Conception, Charge).
- Items optionnels (Items 13 à 24) : 12 items complémentaires mobilisables selon les besoins institutionnels (conditions matérielles, variables parasites de motivation, questions ouvertes de rétroaction qualitative, note scolaire globale).
- Format des réponses :
- Items 1 à 15 et 18 à 22 : Échelle de Likert en 7 points (1 = pas du tout d’accord [stimme gar nicht zu], 2 = pas d’accord, 3 = plutôt pas d’accord, 4 = neutre, 5 = plutôt d’accord, 6 = d’accord, 7 = tout à fait d’accord [stimme vollkommen zu]). Une case supplémentaire permet de cocher « non évaluable de manière pertinente » (nicht sinnvoll beantwortbar).
- Items 16 et 23 : Format ouvert textuel / numérique.
- Item 17 : Format dichotomique (Oui / Non).
- Item 24 : Échelle de notation scolaire en 6 points (1 = très bien [sehr gut], 2 = bien, 3 = satisfaisant, 4 = suffisant, 5 = insuffisant, 6 = très insuffisant [ungenügend]).
- Calcul des scores et cotation :
- Le score de la dimension Préparation est obtenu en calculant la moyenne arithmétique des items 1, 2, 3 et 8.
- Le score de la dimension Conception correspond à la moyenne arithmétique des items 4, 5, 6, 7 et 9.
- Le score de la dimension Charge correspond à la moyenne arithmétique des items 10, 11 et 12.
- Gestion des valeurs manquantes : Toute réponse cochée comme « non évaluable » est codée comme valeur manquante. Pour les passations papier-crayon, il est recommandé d’exclure tout protocole comportant 3 omissions ou plus parmi les 12 items obligatoires.
- Interprétation des scores : Des scores élevés traduisent une excellente qualité pour la Préparation et la Conception. Pour la Charge, des valeurs faibles à modérées constituent la cible docimologique recherchée.
11. Permissions, Tarifs et Année du test / Permissions & Fee and Test Year
- Année d’introduction officielle : 2017 (travaux de validation conduits entre 2016 et 2017 ; documentation psychométrique établie par Busjan, Frerichs et Thielsch).
- Statut des droits d’auteur : Propriété intellectuelle de l’Université de Münster (département de psychologie organisationnelle) et de l’Institut der Feuerwehr Nordrhein-Westfalen (IdF NRW).
- Tarification et accessibilité : L’outil est mis à disposition gratuitement à des fins de recherche académique et d’assurance qualité institutionnelle dans les centres de secours publics.
- Autorisation d’usage : L’utilisation dans le cadre de formations au sein des corps de sapeurs-pompiers et des services de secours est autorisée sous réserve de citer la source scientifique originale et de maintenir le libellé standardisé des échelles. Une adaptation ou traduction dans d’autres langues nécessite une nouvelle démarche de validation transculturelle.
12. Références / References
Bechler, C., & Thielsch, M. T. (2012). Feedback im Studium: Der Einsatz von Evaluationen zur Qualitätsverbesserung der Lehre. Waxmann.
Beierlein, C., Kovaleva, A., Kemper, C. J., & Rammstedt, B. (2014). Ein Messinstrument zur Erfassung subjektiver Kompetenzerwartungen: Allgemeine Selbstwirksamkeit Kurzskala (ASKU). Methods, Data, Analyses, 8(1), 35-74. https://doi.org/10.12758/mda.2014.002
Bühner, M. (2011). Einführung in die Test- und Fragebogenkonstruktion (3. Aufl.). Pearson Studium.
Busjan, C. (2016). Konstruktion und Evaluation eines Fragebogens zur Prüfungsevaluation an der Feuerwehrhochschule NRW (Unveröffentlichte Masterarbeit). Westfälische Wilhelms-Universität Münster.
Colquitt, J. A., LePine, J. A., & Noe, R. A. (2000). Toward an integrative theory of training motivation: A meta-analytic path analysis of 20 years of research. Journal of Applied Psychology, 85(5), 678–707. https://doi.org/10.1037/0021-9010.85.5.678
Felfe, J., Six, B., Schmook, R., & Knorz, C. (2014). Commitment Organisation, Beruf und Beschäftigungsform (COBB). In Danner, D., & Glöckner-Rist, A. (Hrsg.), Zusammenstellung sozialwissenschaftlicher Items und Skalen (ZIS). https://doi.org/10.6102/zis59
Frerichs, A.-K. (2017). Validierung eines Instruments zur Evaluation von schriftlichen Prüfungen im Rettungswesen (Unveröffentlichte Masterarbeit). Westfälische Wilhelms-Universität Münster.
Froncek, B., Hirschfeld, G., & Thielsch, M. T. (2014). Münsteraner Fragebogen zur Evaluation von Klausuren (MFE-K). Diagnostica, 60(4), 216–227. https://doi.org/10.1026/0012-1924/a000124
Froncek, B., & Thielsch, M. T. (2014). Evaluation von Klausuren an Hochschulen: Entwicklung und Validierung des MFE-K. Zeitschrift für Hochschulentwicklung, 9(2), 53–71. https://doi.org/10.3217/zfhe-9-02/05
Hagemann, V. (2011). Teamtraining in High-Risk-Organisationen. Verlag Dr. Kovač.
Jäger, R. S. (2004). Von der Beobachtung zur Notengebung: Ein Lehrbuch zur schulischen Leistungsbeurteilung (4. Aufl.). Empirische Pädagogik.
Jakoby, N., & Jacob, R. (2014). Messung von internen und externen Kontrollüberzeugungen: Die Kurzskalen Kontrollüberzeugung I+E-4. In Danner, D., & Glöckner-Rist, A. (Hrsg.), Zusammenstellung sozialwissenschaftlicher Items und Skalen (ZIS). https://doi.org/10.6102/zis173
Kemper, C. J., Beierlein, C., Kovaleva, A., & Rammstedt, B. (2014). Skala Optimismus-Pessimismus-2 (SOP2). In Danner, D., & Glöckner-Rist, A. (Hrsg.), Zusammenstellung sozialwissenschaftlicher Items und Skalen (ZIS). https://doi.org/10.6102/zis174
Lee, S. H., & Olshfski, D. (2002). Employee commitment and fire fighters: It’s my job. Public Administration Review, 62(s1), 108–114. https://doi.org/10.1111/1540-6210.62.s1.18
Mummendey, H. D., & Grau, I. (2014). Die Fragebogen-Methode: Grundlagen und Anwendung in Persönlichkeits-, Einstellungs- und Sozialforschung (6. Aufl.). Hogrefe.
Sarubin, N., Gutt, D., Giegling, I., Bühner, M., Hermisson, I., Köhncke, Y., Hartmann, A. M., Konte, B., & Rujescu, D. (2015). Erste Analyse der psychometrischen Eigenschaften der deutschsprachigen 10- und 25-Item Version der Connor-Davidson Resilience Scale (CD-RISC). Zeitschrift für Klinische Psychologie und Psychotherapie, 44(4), 263–274. https://doi.org/10.1026/1616-3443/a000334
Schuler, H., & Prochaska, M. (2001). Leistungsmotivationsinventar (LMI). Hogrefe.
Schulte, C., & Thielsch, M. T. (in press). Führungskräfteausbildung im Rettungswesen. Bevölkerungsschutz.
Schupp, J., & Gerlitz, J.-Y. (2014). Big Five Inventory-SOEP (BFI-S). In Danner, D., & Glöckner-Rist, A. (Hrsg.), Zusammenstellung sozialwissenschaftlicher Items und Skalen (ZIS). https://doi.org/10.6102/zis67
Smith, T. D., & Dyal, M. A. (2016). Examining the relationship between work-family conflict, job satisfaction, and turnover intentions among firefighter paramedics. Journal of Emergency Dispatch, 18(2), 14–21.
Spooren, P., Brockx, B., & Mortelmans, D. (2013). On the validity of student evaluation of teaching: The state of the art. Review of Educational Research, 83(4), 598–642. https://doi.org/10.3102/0034654313496870
Wachtel, H. K. (1998). Student evaluation of college teaching effectiveness: A brief review. Assessment & Evaluation in Higher Education, 23(2), 191–212. https://doi.org/10.1080/0260293980230207
West, S. G., Finch, J. F., & Curran, P. J. (1995). Structural equation models with nonnormal variables: Problems and remedies. In R. H. Hoyle (Ed.), Structural equation modeling: Concepts, issues, and applications (pp. 56–75). Sage Publications.
Young, K. M., & Cooper, C. L. (1995). Occupational stress in the ambulance service: A review of the literature. Stress Medicine, 11(3), 151–164. https://doi.org/10.1002/smi.2460110303
13. Questions et items du questionnaire / Scale Items
Instruktion für die Teilnehmenden:
Liebe/r Lehrgangsteilnehmer/in,
wir danken Ihnen, dass Sie an der Befragung teilnehmen! Im nachfolgenden Teil wird es darum gehen, wie Sie die schriftliche Prüfung bewerten. Sie helfen uns damit, die Qualität der Prüfungen in der Rettungskräfteausbildung zu beurteilen und gegebenenfalls zu verbessern. Wir werden Ihnen nachfolgend zuerst einige Aussagen präsentieren. Bitte teilen Sie uns für jede Aussage mit, wie sehr Sie dieser zustimmen. Kreuzen Sie für jede Aussage das Feld an, das den Grad Ihrer Zustimmung am besten wiedergibt.
Anschließend präsentieren wir Ihnen auch einige Fragen, die Sie gerne stichpunktartig beantworten können. Generell gilt dabei: Es gibt bei dieser Befragung keine richtigen oder falschen Antworten. Vielmehr interessieren wir uns für Ihre ganz persönliche Meinung.
Ihre Teilnahme an der Befragung ist freiwillig. Zudem erfolgt die Befragung selbstverständlich anonym. Die Ergebnisse werden nur in gesammelter Form, das heißt beispielsweise in Form von Mittelwerten aller befragten Lehrgänge, an die Schulungseinrichtung zurückgemeldet. Ein Rückschluss auf Ihre Person ist damit ausgeschlossen.
Antwortskala (Items 1–12, Kernfragebogen):
Siebenstufiges Antwortformat mit den Optionen:
1 = stimme gar nicht zu
2 = stimme nicht zu
3 = stimme eher nicht zu
4 = neutral
5 = stimme eher zu
6 = stimme zu
7 = stimme vollkommen zu
(Zusatzoption: [ ] nicht sinnvoll beantwortbar)
Kernitems des FIRE-P (Pflichtitems 1–12)
- Ich wurde im Lehrgang sehr gut auf die Prüfung vorbereitet. [Subskala: Vorbereitung]
- Vorbereitungsmaterial (Probeklausur, Beispielaufgaben, o. ä.) wurde vor der Prüfung in ausreichender Menge zur Verfügung gestellt. [Subskala: Vorbereitung]
- Die Anforderungen waren vor der Prüfung transparent. [Subskala: Vorbereitung]
- Ich finde, die Aufgaben waren präzise und eindeutig formuliert. [Subskala: Gestaltung]
- Ich finde, die Arbeitsanweisungen zur Beantwortung der Aufgaben waren eindeutig. [Subskala: Gestaltung]
- Mit dem Antwortformat dieser Prüfung bin ich gut zurechtgekommen. [Subskala: Gestaltung]
- Ich finde, die Prüfung war übersichtlich gegliedert. [Subskala: Gestaltung]
- In der Prüfung konnte ich das vermittelte Wissen anwenden. [Subskala: Vorbereitung]
- Die Inhalte der Prüfung sind relevant für meine Tätigkeit. [Subskala: Gestaltung]
- Die Prüfung war zu schwierig für mich. [Subskala: Belastung]
- Ich finde, der Umfang des Prüfungsstoffs für diese Prüfung war zu hoch. [Subskala: Belastung]
- Die Anzahl der Prüfungen in diesem Lehrgang stellt eine große Belastung für mich da. [Subskala: Belastung]
Optionale Zusatzitems (Je nach Evaluationskontext, Items 13–24)
Antwortskala für Items 13–15 und 18–22 : Identisches siebenstufiges Format (1 = stimme gar nicht zu bis 7 = stimme vollkommen zu, zzgl. « nicht sinnvoll beantwortbar »).
- Die Prüfung konnte ohne Störfaktoren (Lärm, Ablenkung) durchgeführt werden. [Fokus: Rahmenbedingungen]
- Die PrüferInnen haben versucht, eine angenehme Atmosphäre zu schaffen. [Fokus: Rahmenbedingungen]
- Prüfungsmaterial wurde in ausreichender Menge gestellt. [Fokus: Rahmenbedingungen]
- Zu wie viel Prozent wurden die Inhalte der Prüfung im Lehrgang vermittelt?
[Offenes Antwortformat: ______ %] [Fokus: Rahmenbedingungen] - Ich hatte während der Prüfung die Möglichkeit, Fragen zu stellen.
[Dichotomes Antwortformat: ( ) Ja / ( ) Nein] [Fokus: Rahmenbedingungen] - Die Inhalte des Lehrgangs interessieren mich sehr. [Fokus: Bias-Variable]
- Ich brauche diese Prüfung für meinen weiteren beruflichen Werdegang. [Fokus: Bias-Variable]
- Ich wollte diese Prüfung nur bestehen, egal mit welcher Leistung. [Fokus: Bias-Variable]
- Ich bin zufrieden damit, wie ich die Aufgabe(n) gelöst habe. [Fokus: Bias-Variable]
- Eine Nachbesprechung der Prüfung finde ich wichtig. [Fokus: Feedback]
- Hier ist Platz für weitere Anmerkungen. Was hat Ihnen an der schriftlichen Prüfung, unabhängig von Ihrer eigenen Leistung, gut gefallen? Was kann aus Ihrer Sicht noch verbessert werden?
[Offenes Antwortformat / Textfeld] [Fokus: Feedback] - Insgesamt würde ich die schriftliche Prüfung, unabhängig von meiner eigenen Leistung, mit folgender Schulnote bewerten:
[Sechsstufiges Antwortformat: 1 = sehr gut, 2 = gut, 3 = befriedigend, 4 = ausreichend, 5 = mangelhaft, 6 = ungenügend] [Fokus: Globalurteil]