Comment créer et interpréter une courbe ROC dans Stata

Dans le domaine de l’épidémiologie clinique, de la biomédecine et des sciences computationnelles appliquées à la santé, la modélisation prédictive d’événements dichotomiques constitue un pilier fondamental de la prise de décision. Qu’il s’agisse de poser un diagnostic précoce face à une pathologie complexe, de quantifier le risque d’admission aux soins intensifs ou d’identifier des profils psychologiques vulnérables, la modélisation statistique ne peut se limiter à l’estimation de coefficients d’association. Elle exige une évaluation métrologique rigoureuse de la capacité discriminante des modèles élaborés. C’est précisément au confluent de la probabilité mathématique et de l’utilité diagnostique que s’impose la courbe ROC (Receiver Operating Characteristic), un outil graphique et quantitatif universellement reconnu pour jauger la précision globale d’un classifieur binaire.

L’environnement logiciel Stata s’est établi au fil des décennies comme une référence internationale auprès des biostatisticiens, des économètres et des chercheurs en santé publique en raison de son architecture analytique robuste, de sa reproductibilité documentaire et de ses modules intégrés dédiés à l’épidémiologie diagnostique. Loin de se réduire à une simple routine graphique, la construction d’une courbe ROC dans Stata mobilise une succession d’étapes conceptuelles et programmatiques articulées : de l’ajustement du modèle de régression logistique sous-jacent à la dérivation de l’aire sous la courbe (AUC), en passant par le calibrage du seuil décisionnel optimal et la comparaison formelle de classifieurs concurrents au moyen de tests non paramétriques. La maîtrise de ces mécanismes constitue une compétence méthodologique indispensable pour tout chercheur aspirant à publier des résultats conformes aux exigences éditoriales contemporaines.

Ce guide exhaustif a pour vocation d’accompagner les analystes et chercheurs à travers les fondements théoriques, les commandes logicielles et les subtilités interprétatives de l’analyse ROC sous Stata. En partant des principes du modèle logit et de la théorie de détection du signal, nous explorerons pas à pas la syntaxe opérationnelle sur des données biomédicales réelles, détaillerons les calculs d’inférence statistique et décortiquerons les pièges méthodologiques fréquents tels que l’impact du déséquilibre des classes ou la confusion entre discrimination et calibration. L’objectif est de fournir un cadre d’analyse complet, rigoureux et immédiatement applicable pour transformer des sorties informatiques brutes en inférences scientifiques publiables.

1. Fondements théoriques de la régression logistique et de la classification binaire

1.1 Principes du modèle logit en recherche quantitative

La modélisation de variables dichotomiques, fréquentes en biomédecine et en santé mentale, pose un défi mathématique immédiat au modèle de régression linéaire classique. Lorsque la variable dépendante ne peut prendre que deux valeurs discrètes (conventionnellement notées 0 et 1), l’utilisation des moindres carrés ordinaires enfreint les hypothèses de normalité des résidus et d’homoscédasticité, tout en générant des prédictions non bornées susceptibles de déborder de l’intervalle probabiliste naturel [0, 1]. Pour pallier cette impasse, la régression logistique fait intervenir la fonction de lien logit, qui applique le logarithme népérien au rapport des cotes (odds), établissant ainsi une relation linéaire entre les covariables et la transformation de la probabilité sous-jacente.

Sur le plan mathématique, pour une observation donnée possédant un vecteur de prédicteurs, la probabilité d’occurrence de l’événement s’exprime par le biais de la fonction sigmoïde. Cette formulation garantit que, quelle que soit la valeur linéaire issue de la combinaison des prédicteurs, la probabilité prédite demeure strictement confinée entre 0 et 1. Cette modélisation s’avère particulièrement adaptée à l’évaluation de risques cliniques, comme la rechute dépressive, l’apparition d’un événement cardiovasculaire indésirable ou la réponse à un protocole thérapeutique ciblé.

Il demeure toutefois crucial d’opérer une distinction conceptuelle fondamentale entre la probabilité continue générée par le modèle logistique et la décision catégorielle de classification. Le modèle logit n’assigne pas directement une étiquette de classe aux individus ; il quantifie un niveau de certitude sous forme d’une probabilité conditionnelle a posteriori. Transformer cette probabilité continue en une décision d’action binaire (traiter ou ne pas traiter, hospitaliser ou maintenir en observation ambulatoire) exige l’intervention explicite d’une règle de décision et d’un seuil de coupure.

1.2 Métriques de validation : sensibilité, spécificité et taux d’erreur

Une fois qu’un seuil probabiliste arbitraire ou justifié est fixé, chaque individu prédit peut être confronté à son statut réel observable via une table de contingence binaire (ou matrice de confusion). De cette confrontation découlent quatre catégories mutuellement exclusives : les vrais positifs (VP), les faux positifs (FP), les vrais négatifs (VN) et les faux négatifs (FN). L’évaluation des propriétés d’un test s’appuie historiquement sur deux métriques fondamentales dépendantes de la répartition de ces effectifs : la sensibilité et la spécificité.

La sensibilité représente la probabilité conditionnelle que le modèle prédise un résultat positif sachant que l’individu est réellement porteur de la condition d’intérêt (taux de vrais positifs). Formellement, elle se calcule comme le ratio des vrais positifs sur l’ensemble des sujets effectivement malades (VP / [VP + FN]). À l’inverse, la spécificité mesure la capacité du modèle à identifier correctement l’absence d’anomalie parmi la population saine ou témoin (taux de vrais négatifs), calculée par la proportion des vrais négatifs sur le total des non-malades (VN / [VN + FP]).

Ces deux paramètres entretiennent un arbitrage systématique et mécanique : abaisser le seuil d’alerte accroît la sensibilité en captant un maximum de cas réels, mais expose inévitablement l’échantillon à une hausse des faux positifs, dégradant ainsi la spécificité. Dans le contexte de la pratique médicale et psychiatrique, cet arbitrage induit des répercussions humaines et financières considérables. Un faux négatif dans le dépistage d’une idéation suicidaire aiguë ou d’un cancer foudroyant peut entraîner un décès évitable, tandis qu’un faux positif peut provoquer des traumatismes psychologiques majeurs, des examens invasifs iatrogènes et des coûts hospitaliers excessifs.

1.3 La nécessité d’un seuil de décision dynamique

Dans la pratique courante de l’analyse automatisée de données, un seuil probabiliste par défaut de 0,50 est fréquemment appliqué de façon mécanique par les logiciels statistiques pour départager les classes prédites. Cette convention implicite repose sur l’hypothèse sous-jacente que les coûts associés aux erreurs de classification sont rigoureusement symétriques et que la prévalence des classes est équilibrée. Or, en recherche translationnelle, cette double hypothèse se révèle presque universellement erronée.

Si la prévalence de l’événement étudié dans la cohorte est marginale (par exemple 2 %), un classifieur attribuant systématiquement la classe 0 à tous les sujets affichera une exactitude globale trompeuse de 98 %, tout en démontrant une sensibilité diagnostique rigoureusement nulle. De surcroît, le coût clinique d’un faux négatif surpasse généralement de plusieurs ordres de grandeur le coût logistique d’un faux positif. Fixer un point de césure statique et universel à 0,50 revient à ignorer la réalité pragmatique de l’aide à la décision.

La performance intrinsèque d’un algorithme de classification ne saurait dès lors être jugée sur la base d’un tableau de contingence figé à un seuil particulier. Il s’avère indispensable d’adopter une perspective dynamique et holistique, consistant à évaluer les fluctuations des couples (sensibilité, spécificité) sur l’ensemble du spectre continu des seuils concevables, depuis 0 jusqu’à 1. C’est précisément cette transition conceptuelle, de la contingence statique à l’évaluation paramétrique continue, qui fonde la justification théorique de la courbe ROC.

2. Origine conceptuelle et fonctionnement graphique de la courbe ROC

2.1 Genèse historique et théorie de détection du signal

La formalisation méthodologique de la courbe ROC ne trouve point ses racines initiales dans la biomédecine, mais dans les problématiques d’ingénierie militaire de la Seconde Guerre mondiale. À la suite des attaques survenues à Pearl Harbor, les forces alliées ont cherché à optimiser l’interprétation des signaux issus des radars de détection aérienne. Les opérateurs radar étaient confrontés au défi de distinguer le « signal » réel émis par des escadrilles d’avions ennemis du « bruit » électromagnétique aléatoire causé par des interférences atmosphériques, des réflexions maritimes ou des nuées d’oiseaux.

Cette problématique a conduit des mathématiciens et des psychophysiciens à élaborer la théorie de détection du signal (SDT). Celle-ci visait à formaliser mathématiquement l’aptitude d’un observateur (humain ou machinal) à séparer l’information utile du bruit parasite, indépendamment de son biais subjectif d’arbitrage. La courbe caractérisant l’opérateur de réception, désignée en anglais sous le vocable de Receiver Operating Characteristic, est ainsi née pour synthétiser la performance opérationnelle du radar quel que soit le niveau de sensibilité paramétré.

Durant les décennies 1960 et 1970, ces travaux théoriques ont été introduits avec succès en psychophysique pour cartographier la perception sensorielle humaine, avant d’être progressivement adoptés par les radiologues, les épidémiologistes et les biostatisticiens. La discipline a reconnu dans cette approche une réponse élégante pour caractériser la performance diagnostique des tests de laboratoire, des biomarqueurs sanguins et, plus largement, de l’ensemble des algorithmes prédictifs probabilistes contemporains.

2.2 Anatomie géométrique de la courbe ROC

Sur le plan géométrique, la courbe ROC s’inscrit au sein d’un repère cartésien bidimensionnel unitaire délimité par l’intervalle [0, 1] sur chaque axe. L’axe des ordonnées (axe vertical, Y) représente la sensibilité, désignée de manière équivalente sous le terme de taux de vrais positifs (TVP). Cet axe quantifie la proportion d’individus malades ou cibles qui sont correctement identifiés comme tels par l’outil de diagnostic en fonction du seuil considéré.

L’axe des abscisses (axe horizontal, X) représente quant à lui le complémentaire arithmétique de la spécificité, soit (1 – spécificité), également désigné sous l’appellation de taux de faux positifs (TFP). Cette grandeur reflète la proportion de sujets sains qui sont incorrectement classés comme porteurs de l’anomalie. La graduation des deux axes varie strictement de 0 à 1, conférant à l’espace ROC une superficie totale de 1,0 unité carrée.

La ligne diagonale reliant l’origine (0, 0) au sommet opposé (1, 1) constitue la diagonale de référence, ou ligne de non-discrimination. Tout modèle prédictif dont la courbe se confond avec cette bissectrice offre une précision strictement équivalente à celle d’un tirage à pile ou face aléatoire. À l’opposé, un classifieur binaire parfait s’élèverait verticalement depuis l’origine (0, 0) jusqu’au coin supérieur gauche (0, 1) — capturant 100 % des vrais positifs sans aucun faux positif — avant de rejoindre horizontalement le point (1, 1). Ainsi, plus la trajectoire empirique d’une courbe s’incurve en direction de l’angle supérieur gauche, plus l’efficacité discriminante globale de l’instrument évalué est considérée comme puissante.

2.3 Avantages comparatifs par rapport aux tables de contingence classiques

La prépondérance de la courbe ROC dans la littérature scientifique s’explique par plusieurs supériorités méthodologiques majeures comparativement aux métriques tabulaires conventionnelles. En premier lieu, la sensibilité et la spécificité sont des propriétés mathématiques intrinsèquement indépendantes de la prévalence de la pathologie dans la population échantillonnée (à condition que le spectre phénotypique demeure stable). Il en découle que la courbe ROC et sa métrique agrégée ne subissent pas la volatilité artificielle propre aux valeurs prédictives positives et négatives lorsque la rareté du phénomène étudié fluctue.

En second lieu, la courbe ROC transcende la rigidité inhérente aux tables de contingence 2×2. Au lieu de contraindre l’analyste à sélectionner un seuil décisionnel a priori sans en connaître les répercussions empiriques, la courbe matérialise le spectre complet des arbitrages opérationnels disponibles. Elle offre une vue d’ensemble continue sur les compromis diagnostiques, facilitant le choix ultérieur d’un seuil ciblé adapté aux impératifs médico-économiques du projet.

Enfin, la métrique synthétique dérivée de ce tracé offre un cadre métrique standardisé et sans unité, permettant la comparaison directe et rigoureuse d’outils d’évaluation hétérogènes. Un chercheur peut ainsi superposer et confronter sur un même référentiel l’exactitude d’un score psychométrique complexe mesuré sur une échelle de Likert, le dosage plasmatique continu d’une cytokine inflammatoire et les probabilités estimées d’un modèle d’apprentissage automatique multivarié.

3. Préparation de l’environnement Stata et exploration des données

3.1 Importation et inspection du jeu de données de référence

Pour illustrer l’implémentation pratique de l’analyse ROC sous Stata, nous mobilisons le jeu de données biomédical classique relatif au faible poids de naissance (Low Birth Weight Study), documenté initialement par Hosmer et Lemeshow. Ce jeu de données présente l’intérêt pédagogique d’associer un statut clinique binaire franc à un mélange réaliste de prédicteurs physiologiques continus et de facteurs de risque comportementaux catégoriels. Il est accessible nativement via les serveurs officiels du logiciel.

L’initialisation de l’environnement requiert le chargement du fichier par l’instruction standardisée webuse lbw, clear. L’échantillon comprend N = 189 observations relatives à des accouchements survenus au sein d’un centre hospitalier universitaire américain. Dès le chargement effectué, une inspection systématique de la structure tabulaire s’impose au moyen de la commande describe, qui détaille la liste des variables, leur format de stockage (entier, octet ou réel) ainsi que leurs étiquettes descriptives associées.

L’exécution complémentaire de l’instruction codebook permet d’auditer l’intégrité du dictionnaire de données. Cette commande permet de vérifier qu’aucun codage erroné, aucune valeur hors limite et aucun problème d’étiquetage n’affectent les variables analytiques principales avant de débuter les procédures de modélisation mathématique.

3.2 Définition opérationnelle des variables de l’étude

La formalisation du protocole de modélisation exige une définition opérationnelle précise des variables mobilisées. La variable dépendante de référence est low, un indicateur dichotomique prenant la valeur 1 lorsque le nouveau-né présente un poids de naissance strictement inférieur au seuil clinique standard de 2500 grammes, et la valeur 0 si le poids à la naissance est égal ou supérieur à ce seuil protecteur. Il s’agit du résultat clinique défavorable que le modèle statistique tentera de classifier.

Dans le cadre de cette démonstration méthodologique, nous sélectionnons deux covariables prédictives représentatives : d’une part, l’âge biologique de la mère au moment de la conception, étiqueté age, mesuré de manière continue en années révolues ; d’autre part, le statut tabagique de la mère durant la gestation, consigné sous la variable smoke, codée 1 pour les mères fumeuses actives et 0 pour les mères non fumeuses.

Afin de garantir une lisibilité optimale des sorties informatiques et de prévenir toute inversion d’interprétation lors des étapes d’inférence, il est vivement recommandé d’attacher formellement des étiquettes de valeurs (value labels) claires au moyen des commandes Stata dédiées :

label define lbl_smoke 0 "Non-fumeuse" 1 "Fumeuse"
label values smoke lbl_smoke
label define lbl_low 0 "Poids normal" 1 "Faible poids"
label values low lbl_low

3.3 Contrôle de la qualité des données et nettoyage statistique

L’étape préalable à toute régression logistique consiste à s’assurer de l’absence de données manquantes et d’aberrations de mesure au sein des variables sélectionnées. Sous Stata, l’instruction misstable summarize low age smoke permet de confirmer rapidement qu’aucune observation de la cohorte ne présente de cellule vide, assurant ainsi la comparabilité des effectifs entre les modèles emboîtés ultérieurs.

La distribution marginale de la variable de réponse doit ensuite être examinée au moyen de la commande tabulate low. Sur les 189 naissances répertoriées, l’échantillon met en évidence 59 cas de faible poids de naissance (31,22 %) contre 130 nouveau-nés de poids normal (68,78 %). Cette prévalence de 31,2 % garantit une masse d’événements suffisante pour autoriser un ajustement stable des paramètres de régression sans risque imminent de séparation quasi-complète des données.

Enfin, une exploration bivariée liminaire permet d’examiner la plausibilité des associations empiriques. L’exécution de tabulate smoke low, row chi2 démontre une surreprésentation statistiquement significative du faible poids chez les mères fumeuses, tandis que l’inspection de la distribution d’âge par classe via l’instruction mean age, over(low) met en évidence un âge maternel moyen légèrement inférieur chez les patientes dont le nourrisson est né sous le seuil des 2500 grammes.

4. Ajustement du modèle de régression logistique sous Stata

4.1 Syntaxe et exécution de la commande logistic

Le logiciel Stata propose deux commandes fondamentales pour calibrer un modèle logistique binaire : logit et logistic. Bien que ces deux procédures s’appuient sur un algorithme d’optimisation numérique rigoureusement identique par maximisation de la log-vraisemblance (méthode de Newton-Raphson), elles divergent dans la restitution standard de leurs sorties. La commande logit affiche les coefficients de régression non standardisés (exprimés en unités de log-odds), tandis que la commande logistic rapporte directement les résultats sous la forme de rapports de cotes (Odds Ratios, OR).

Pour des impératifs d’intelligibilité clinique, nous privilégions la syntaxe :

logistic low age i.smoke

Le recours explicite au préfixe factoriel i. devant la variable smoke informe le moteur d’estimation de Stata de la nature catégorielle du prédicteur, désignant formellement la modalité 0 (non-fumeuse) comme catégorie de référence. Cette convention de codage garantit la bonne formulation des contrastes et protège le chercheur contre les erreurs de spécification de dimension matricielle.

4.2 Interprétation statistique des coefficients et des Odds Ratios

La lecture du tableau d’estimation généré par la commande logistic révèle des indicateurs quantitatifs majeurs pour la compréhension des facteurs de risque périnataux. Le rapport de cotes associé à la variable smoke s’élève à approximativement 2,02. Ce paramètre signifie que, pour un âge maternel équivalent, les femmes ayant fumé durant leur grossesse affichent des cotes de donner naissance à un enfant d’un poids inférieur à 2500 grammes multipliées par deux par rapport aux mères non fumeuses.

L’intervalle de confiance à 95 % entourant cet Odds Ratio s’établit approximativement de 1,08 à 3,78, et s’accompagne d’une valeur p (p-value) de 0,028. L’exclusion de la valeur unitaire (1,00) au sein de la borne inférieure de cet intervalle de confiance permet de rejeter l’hypothèse nulle d’indépendance statistique au seuil d’erreur alpha conventionnel de 5 %.

Concernant le prédicteur continu age, le rapport de cotes s’établit à 0,96 (IC à 95 % : [0,89 ; 1,02] ; p = 0,183). L’estimation suggère une réduction d’environ 4 % des cotes de faible poids pour chaque année de maturité maternelle supplémentaire. Toutefois, le niveau de significativité statistique n’atteignant pas le seuil canonique de p < 0,05, l’âge maternel ne peut être qualifié isolément de facteur protecteur autonome hautement discriminant au sein de cet échantillon précis.

4.3 Évaluation de la qualité d’ajustement global

Au-delà de la significativité individuelle des coefficients, la qualité de l’ajustement global du modèle doit faire l’objet d’un examen attentif. La valeur de la log-vraisemblance finale (Log likelihood), stabilisée après convergence des itérations, est comparée à la log-vraisemblance du modèle ne contenant que la constante (intercept-only model). Cette confrontation génère le test du rapport de vraisemblance (LR chi2) qui teste l’hypothèse nulle selon laquelle l’ensemble des prédicteurs inclus présente un effet simultanément nul.

Le test du rapport de vraisemblance (LR chi2(2) = 6,71 ; p = 0,0349) confirme que l’adjonction conjointe du tabagisme et de l’âge améliore significativement l’ajustement comparativement au modèle nul. Le pseudo-R² de McFadden, affiché par Stata à la valeur de 0,0286, ne doit pas être interprété comme un pourcentage direct de variance expliquée au sens classique de la régression linéaire. Cette métrique demeure naturellement basse dans les modèles logistiques binaires, renforçant l’obligation méthodologique de recourir à l’analyse ROC pour apprécier le réel pouvoir de discrimination pratique.

Pour finaliser cette séquence analytique, nous extrayons et mémorisons au sein de la table de données les probabilités individuelles prédites par le modèle au moyen de la commande de post-estimation :

predict prob_modele1, pr

Cette nouvelle variable continue servira ultérieurement d’assise aux validations non paramétriques et aux comparaisons graphiques avancées.

5. Génération de la courbe ROC avec la commande lroc

5.1 Mise en œuvre immédiate en post-estimation

L’une des fonctionnalités les plus directes et élégantes de Stata réside dans sa commande de post-estimation lroc (acronyme de Logistic ROC). Immédiatement après la convergence d’une commande logistic ou logit, l’utilisateur exécute simplement l’instruction dans la console :

lroc

Cette commande lit les informations résidant temporairement dans la mémoire active du logiciel (enregistrées sous les macros système e()). Sans qu’il soit nécessaire de calculer manuellement les probabilités individuelles, Stata extrait la variable dépendante ainsi que les valeurs prédites par la dernière régression logistique, déploie un algorithme de balayage de tous les seuils possibles et trace instantanément la courbe ROC sur une interface graphique dédiée.

Simultanément au tracé de la courbe, la commande lroc calcule et affiche sous la figure l’aire exacte située sous le tracé, désignée sous l’étiquette Area under ROC curve (AUC). Par défaut, Stata applique la règle trapézoïdale non paramétrique pour quantifier cette superficie et ajoute automatiquement la ligne pointillée diagonale marquant la référence du classifieur aléatoire à 0,50.

5.2 Personnalisation graphique du tracé

Pour satisfaire aux critères de lisibilité requis par les comités de lecture des revues scientifiques, la figure brute générée par lroc requiert fréquemment une personnalisation esthétique et sémantique. Le moteur graphique de Stata permet un contrôle typographique et vectoriel poussé grâce à un jeu d’options graphiques dédiées.

Il est notamment envisageable d’ajuster les titres, de modifier l’apparence de la ligne de référence diagonale via rlopts() et de reformuler le tracé principal de la courbe grâce à l’option plotopts(). La ligne de commande ci-dessous illustre une syntaxe de niveau éditorial :

lroc, title("Performance diagnostique du modèle prédictif", size(medium)) ///
subtitle("Prédiction de l'insuffisance pondérale néonatale (N=189)", size(small)) ///
ytitle("Sensibilité (Taux de vrais positifs)") ///
xtitle("1 - Spécificité (Taux de faux positifs)") ///
plotopts(lcolor(navy) lwidth(medthick)) ///
rlopts(lcolor(cranberry) lpattern(dash) lwidth(medium)) ///
graphregion(color(white)) bgcolor(white)

Une fois le graphique finalisé, la commande graph export "Figure_ROC.png", as(png) width(2400) replace garantit une exportation matricielle à ultra-haute résolution, convenant aux exigences de publication.

5.3 Limites inhérentes à la commande lroc

En dépit de son ergonomie et de sa célérité de mise en œuvre, la commande lroc comporte des contraintes méthodologiques structurelles que tout biostatisticien doit garder à l’esprit. La première limite concerne sa dépendance séquentielle stricte : lroc ne peut fonctionner qu’immédiatement après une estimation logistique active. Si la mémoire est réinitialisée ou si une autre commande d’analyse intervient entre-temps, l’instruction échoue et renvoie un message d’erreur d’estimation.

La seconde faiblesse réside dans l’absence native de calcul d’un intervalle de confiance probabiliste ou d’une erreur standard pour l’AUC affichée. La routine se borne à rapporter la valeur ponctuelle de l’aire sans fournir immédiatement le cadre inférentiel (erreur type, bornes de Wald) nécessaire pour évaluer la précision de la mesure au sein du rapport textuel.

Enfin, lroc est structurellement incapable de superposer ou de comparer directement plusieurs courbes ROC au sein d’une seule et même fenêtre graphique. Elle ne permet pas de confronter un modèle univarié à un modèle multivarié, incitant le chercheur à se tourner vers des outils plus sophistiqués tels que roctab, rocreg et roccomp.

6. Approches alternatives : les commandes roctab et rocreg

6.1 Analyse non paramétrique univariée avec roctab

Pour contourner les restrictions imposées par lroc, la commande roctab propose une architecture entièrement non paramétrique dédiée à l’évaluation diagnostique univariée d’une variable prédictive continue ou ordinale face à un critère de référence dichotomique. Sa syntaxe élémentaire s’articule comme suit :

roctab var_cible var_predicteur [if] [in], [options]

L’exécution de roctab low age, detail produit une sortie tabulaire particulièrement riche. Le tableau énumère chaque point de coupure observable de l’âge maternel, et calcule pour chacune de ces valeurs la sensibilité exacte, la spécificité, le pourcentage d’individus correctement classés, ainsi que les rapports de vraisemblance positif (LR+) et négatif (LR-). Cette granularité analytique permet d’identifier manuellement et de façon exhaustive les points d’inflexion du pouvoir discriminant.

De surcroît, adjoindre l’option graph génère le tracé géométrique indépendant, tandis que l’option summary délivre automatiquement l’erreur standard asymptotique ainsi que l’intervalle de confiance à 95 % de l’AUC calculés selon l’algorithme de Hanley et McNeil. L’analyste dispose ainsi immédiatement des bornes statistiques requises pour ses rapports de recherche sans recourir à des calculs manuels externes.

6.2 Modélisation avancée avec rocreg

Face à des questions d’évaluation diagnostique plus complexes, la commande avancée rocreg offre un cadre de modélisation semi-paramétrique et non-paramétrique particulièrement développé. Cette procédure permet non seulement d’estimer l’aire sous la courbe d’un test, mais surtout d’ajuster la performance diagnostique globale en fonction de covariables d’intérêt (par exemple, ajuster la capacité prédictive d’un biomarqueur selon le sexe ou la tranche d’âge des participants).

La commande gère avec rigueur les méthodes de rééchantillonnage par bootstrap pour dériver des intervalles de confiance robustes lorsque les hypothèses de normalité bivariée ne sont pas raisonnablement tenues. Une syntaxe représentative mobilisant le rééchantillonnage s’énonce ainsi :

rocreg low age, bseed(12345) bstrap(1000) prob

Par ce procédé, Stata génère 1000 sous-échantillons avec remise afin de cartographier la distribution empirique de l’AUC. Cette approche protège l’analyste contre les biais d’inférence induits par des queues de distribution asymétriques ou des échantillons d’effectifs restreints fréquemment rencontrés en recherche translationnelle.

6.3 Comparaison méthodologique des commandes Stata

Le choix entre lroc, roctab et rocreg repose sur une adéquation rigoureuse entre l’objectif scientifique visé et la nature des données traitées. Le tableau conceptuel suivant formalise les divergences fonctionnelles majeures caractérisant ces trois modules natifs de Stata :

• lroc : Idéal pour une vérification diagnostique rapide et visuelle immédiatement consécutive à une régression logistique multivariée. Ne fournit pas d’intervalles de confiance pour l’AUC et ne permet pas l’analyse d’une variable continue brute sans modélisation préalable.
• roctab : Privilégié pour l’évaluation empirique directe d’un biomarqueur unique ou d’une probabilité pré-calculée. Fournit des tables exhaustives de sensibilité et spécificité par seuil, assorties d’intervalles de confiance exacts ou asymptotiques basés sur la statistique de Wilcoxon-Mann-Whitney.
• rocreg : Destiné aux analyses épidémiologiques complexes requérant un ajustement par covariables (effets modérateurs sur la précision du test), la comparaison semi-paramétrique et des inférences avancées par bootstrap non paramétrique.

Il convient de souligner que le traitement des ex-aequo (ties dans la distribution prédictive) est résolu de manière convergente par lroc et roctab via l’attribution d’un rang moyen équitable. Cela garantit une concordance mathématique stricte entre l’AUC obtenue par lroc après régression et l’AUC produite par roctab sur les probabilités prédites.

7. Interprétation quantitative approfondie de l’Aire Sous la Courbe (AUC)

7.1 Fondement probabiliste de la statistique C

L’aire sous la courbe ROC (généralement abrégée en AUC pour Area Under the Curve) constitue la métrique globale standardisée la plus employée pour quantifier le pouvoir discriminant d’un classifieur binaire. Dans les champs de la biostatistique et de l’économétrie, cette métrique est rigoureusement équivalente à la statistique C (C-statistic ou indice de concordance) formalisée dans l’analyse de survie et les modèles de régression à variables ordonnées.

Sur le plan fondamental, l’AUC possède une signification probabiliste concrète : elle correspond à la probabilité qu’une paire d’individus tirés au sort de manière indépendante — l’un présentant l’événement pathologique (classe 1) et l’autre ne le présentant point (classe 0) — soit classée dans le bon ordre par le modèle prédictif. En d’autres termes, il s’agit de la probabilité que le sujet malade obtienne un score de risque ou une probabilité prédite plus élevé que le sujet sain. Cette équivalence démontre que l’AUC est strictement égale à la statistique U non paramétrique du test de Wilcoxon-Mann-Whitney normalisée par le produit des effectifs des deux groupes.

Une AUC de 0,50 correspond géométriquement à la diagonale unitaire et théoriquement à un modèle totalement dépourvu de pouvoir séparateur : l’algorithme équivaut à un tirage à pile ou face non informatif. À l’inverse, une valeur d’AUC de 1,00 caractérise une discrimination parfaite, où la distribution des probabilités des cas positifs ne présente aucun chevauchement avec celle des cas négatifs, permettant un isolement complet et sans faille des deux populations.

7.2 Grilles de classification de la précision discriminante

Bien que la discrimination doive systématiquement être interprétée au regard du contexte clinique propre à chaque discipline, la communauté biomédicale applique couramment la taxonomie empirique formalisée par Hosmer, Lemeshow et Sturdivant pour catégoriser la performance des modèles :

• AUC = 0,50 : Aucune capacité discriminante (modèle non informatif).
• 0,50 < AUC < 0,70 : Discrimination faible ou médiocre. L’instrument est insuffisant pour guider une décision clinique isolée, bien qu’il puisse apporter un signal statistique diffus au sein d’un score composite.
• 0,70 ≤ AUC < 0,80 : Discrimination acceptable. La plupart des biomarqueurs sanguins et des instruments de dépistage psychométrique se situent dans cette fourchette opérationnelle.
• 0,80 ≤ AUC < 0,90 : Discrimination excellente. L’outil sépare avec une forte régularité les cas pathologiques des témoins sains.
• AUC ≥ 0,90 : Discrimination exceptionnelle. Ces valeurs sont rarement observées hors d’imageries de haute technicité, d’analyses génétiques ciblées ou de modèles exposés à des risques méthodologiques de surapprentissage.

Il importe toutefois de contextualiser ces paliers conventionnels. Dans le champ des sciences du comportement et de la psychiatrie, où les frontières phénotypiques sont intrinsèquement poreuses et hétérogènes, une AUC de 0,74 peut constituer une avancée diagnostique majeure. Inversement, dans le contrôle qualité d’un test sérologique en phase épidémique aiguë, une valeur d’AUC inférieure à 0,95 peut justifier un rejet du dispositif en raison de la multiplication inacceptable de cas contaminants non détectés.

7.3 Inférence statistique et intervalles de confiance

La présentation exclusive d’une estimation ponctuelle de l’AUC dans un article scientifique s’avère insuffisante et contraire aux bonnes pratiques méthodologiques. L’estimation de l’aire calculée sur un échantillon empirique est tributaire de la variance d’échantillonnage et doit être systématiquement accompagnée de son erreur standard (SE) et de son intervalle de confiance à 95 % (IC à 95 %).

Sous Stata, l’erreur standard asymptotique d’une courbe ROC univariée est généralement calculée via l’algorithme classique de Hanley et McNeil (1982). Cette approche intègre la corrélation théorique liant deux paires discordantes partageant un même sujet témoin ou malade. L’intervalle de confiance asymptotique de Wald prend alors la forme canonique : AUC ± 1,96 × SE(AUC).

Pour notre modèle prédictif du faible poids associant l’âge et le tabagisme maternel, la commande roctab low prob_modele1 révèle une AUC estimée à 0,6422 avec une erreur standard de 0,0415, aboutissant à un intervalle de confiance à 95 % s’étalant de 0,5609 à 0,7235. La borne inférieure de cet intervalle demeurant strictement supérieure au seuil neutre de 0,50, nous pouvons rejeter l’hypothèse nulle d’absence totale de discrimination au seuil de signification de 5 %, tout en actant le caractère modeste de la performance globale de ce modèle bivarié.

8. Détermination empirique du seuil optimal de classification

8.1 L’indice de Youden et méthodes de maximisation

La courbe ROC décrit la performance d’un classifieur sur l’ensemble du continuum de décision, mais l’application pragmatique d’un modèle en clinique exige l’identification d’un seuil de coupure opérationnel précis (cut-off point, noté c*). L’une des approches d’optimisation mathématique les plus répandues en épidémiologie est celle formalisée par l’indice de Youden (Youden’s J statistic).

L’indice J capture la distance verticale maximale séparant la courbe ROC empirique de la diagonale de non-discrimination. Sa formulation arithmétique s’exprime par :

J = Sensibilité(c) + Spécificité(c) - 1

La valeur de l’indice J oscille entre 0 (aucun pouvoir diagnostique) et 1 (test idéal). Déterminer le seuil optimal via cette méthode revient à identifier la valeur de coupure c* qui maximise la somme conjointe de la sensibilité et de la spécificité, conférant implicitement un poids mathématique rigoureusement identique aux erreurs de classification par faux positifs et par faux négatifs.

Une seconde approche géométrique fréquente consiste à repérer le point sur la courbe ROC minimisant la distance euclidienne par rapport au coin parfait situé aux coordonnées (0, 1), matérialisé par l’expression :

d² = (1 - Sensibilité)² + (1 - Spécificité)²

Bien que conceptuellement distinctes, ces deux méthodes convergent généralement vers des points de césure très proches en l’absence d’asymétries marquées de distribution.

8.2 Exploration post-estimation avec la commande lstat

Le logiciel Stata met à la disposition des utilisateurs la commande lstat (ou son synonyme estat classification), qui génère la matrice de confusion et l’ensemble des métriques associées pour un seuil probabiliste défini.

Par défaut, l’instruction estat classification calcule les résultats pour un seuil standard de c = 0,50. Cependant, il est possible d’explorer des seuils alternatifs en renseignant l’option cutoff(). À titre d’illustration, l’instruction :

estat classification, cutoff(0.35)

affiche une table détaillée articulée autour des rubriques suivantes :

• Le nombre de vrais positifs (True D avec résultat de test +) et de vrais négatifs (True ~D avec résultat -).
• Le taux de sensibilité diagnostique pour le seuil sélectionné.
• Le taux de spécificité correspondant.
• Le taux global de classification correcte (accuracy), représentant le pourcentage total de décisions exactes rapporté à l’échantillon complet.
• La valeur prédictive positive (VPP) : probabilité conditionnelle que le patient soit effectivement atteint sachant que le test est revenu positif.
• La valeur prédictive négative (VPN) : probabilité conditionnelle de santé confirmée lorsque le résultat du test s’avère négatif.

Cette commande permet d’observer concrètement l’évolution de la sensibilité et de la spécificité à mesure que l’analyste déplace manuellement le point de césure le long de l’espace probabiliste.

8.3 Pondération clinique et coût asymétrique des erreurs

L’optimisation aveugle par l’indice de Youden ou la commande lstat au seuil standard de 0,50 présente une lacune majeure : elle occulte les réalités pragmatiques du coût différentiel des erreurs médicales. En épidémiologie clinique, l’analyste ne peut se contenter d’une optimisation mathématiquement neutre ; il doit paramétrer le seuil de décision au regard de la matrice des gains et des pertes réels.

Considérons le cadre d’un algorithme de dépistage d’une pathologie létale mais curable si traitée précocement (comme une détresse néonatale sévère ou une infection méningée). Dans ce scénario, commettre un faux négatif entraîne une perte de chance dramatique, voire fatale. Le coût associé au faux négatif surpasse considérablement celui d’un faux positif, qui n’occasionne qu’un examen de confirmation biologique indolore. Dès lors, le biostatisticien doit volontairement abaisser le seuil de décision (par exemple à c = 0,20), acceptant une spécificité médiocre et une pluie de fausses alertes afin de garantir une sensibilité maximale proche de 95 % ou 99 %.

À l’inverse, dans le cadre d’un traitement lourd, onéreux et hautement toxique (telle qu’une chimiothérapie agressive ou une neurochirurgie ablative), délivrer une thérapie à un patient sain sur la foi d’un faux positif s’avère iatrogène et inacceptable. Dans cette situation, le clinicien élèvera drastiquement le point de coupure (par exemple à c = 0,80) pour exiger un niveau élevé de spécificité, quitte à tolérer un taux significatif de faux négatifs parmi les cas ambigus.

9. Comparaison statistique de courbes ROC multiples dans Stata

9.1 Évaluation du gain incrémental de nouveaux biomarqueurs ou variables

En recherche étiologique et translationnelle, une problématique récurrente réside dans la démonstration de l’utilité ajoutée (incremental value) d’un nouvel examen de laboratoire, d’une signature génétique ou d’une échelle psychologique par rapport aux modèles pronostiques usuels préexistants. Il s’agit d’apporter la preuve empirique que l’intégration du nouveau marqueur accroît significativement la précision discriminante du modèle standard.

Soit l’hypothèse d’une confrontation clinique au sein de notre jeu de données : un premier modèle basique s’appuie uniquement sur l’âge de la mère (age) pour prédire le risque de faible poids néonatal. Un modèle augmenté concurrent combine quant à lui l’âge maternel et l’exposition active au tabagisme (age + smoke). La question scientifique est formulée ainsi : l’adjonction de l’information tabagique apporte-t-elle un gain statistiquement quantifiable dans la capacité à distinguer les enfants vulnérables des enfants sains ?

Pour répondre avec rigueur à cette interrogation, il est méthodologiquement erroné de se fier uniquement à l’apparition d’un astérisque de significativité sur le coefficient de régression de la variable ajoutée ou à une légère progression du pseudo-R². Une élévation minime d’une probabilité logistique peut n’avoir aucune conséquence sur la réorganisation des rangs individuels. Il s’avère donc impératif de réaliser une comparaison statistique directe des aires sous la courbe dérivées de ces deux spécifications concurrentes.

9.2 Mise en œuvre de la commande roccomp

Stata dispose d’un module analytique performant spécialement conçu pour tester l’égalité formelle de multiples aires sous la courbe issues de données appariées ou indépendantes : la commande roccomp. Pour déployer ce test, il convient en premier lieu d’ajuster séparément chaque modèle et de mémoriser les probabilités prédictives respectives au sein du tableau de données :

quietly logistic low age
predict pr_base, pr
quietly logistic low age i.smoke
predict pr_augmente, pr

Une fois les variables prédictives continues générées, la commande comparative est exécutée selon la syntaxe :

roccomp low pr_base pr_augmente

Par défaut, lorsque les prédicteurs sont évalués sur la même cohorte de sujets (ce qui constitue la norme lors de l’évaluation de modèles emboîtés), Stata applique le test non paramétrique de DeLong, DeLong et Clarke-Pearson (1988). Cet algorithme calcule la matrice de covariance empirique des statistiques U de Mann-Whitney dérivées de modèles corrélés, s’affranchissant de toute hypothèse restrictive de distribution binormale.

La sortie produite détaille l’AUC individuelle de chaque modèle, son erreur standard respective, son intervalle de confiance à 95 %, puis synthétise l’estimation par une statistique globale de test du Chi-carré (chi2) et la valeur p associée testant l’hypothèse nulle d’égalité stricte des aires (H0 : AUC_base = AUC_augmente).

9.3 Tracé graphique comparatif superposé

L’adjonction de l’option graph au sein de la syntaxe de roccomp permet d’associer la démonstration inférentielle à une illustration graphique superposée. Cette visualisation permet de localiser précisément les plages de seuils où les performances des deux classifieurs divergent :

roccomp low pr_base pr_augmente, graph ///
title("Comparaison des modèles prédictifs", size(medium)) ///
legend(order(1 "Modèle de base (Âge seul)" 2 "Modèle augmenté (Âge + Tabagisme)")) ///
plot1opts(lcolor(gs8) lpattern(dash)) ///
plot2opts(lcolor(navy) lwidth(medthick)) ///
scheme(s2color)

L’inspection du graphique superposé permet d’observer la trajectoire relative des courbes. Si la courbe du modèle augmenté se maintient continuellement au-dessus de celle du modèle de base à travers toute l’étendue de l’axe des faux positifs, l’analyste conclut à une supériorité absolue de l’instrument enrichi. Si en revanche les courbes se croisent à certains niveaux de spécificité, cela met en évidence que l’utilité ajoutée du nouveau prédicteur est dépendante du domaine décisionnel choisi.

10. Techniques de validation, robustesse et contrôle du surajustement

10.1 Le biais d’optimisme dans l’évaluation ROC

Une erreur méthodologique majeure rencontrée dans les manuscrits soumis aux revues quantitatives consiste à évaluer l’AUC d’un modèle sur l’échantillon même ayant servi à l’estimation des coefficients de régression. Cette pratique entraîne l’émergence d’un biais d’optimisme systématique : le modèle statistique capitalise sur le bruit aléatoire et les singularités idiosyncrasiques de la cohorte d’entraînement pour maximiser sa vraisemblance, conduisant au phénomène classique de surapprentissage (overfitting).

L’aire sous la courbe ainsi calculée, qualifiée d’AUC apparente, surestime structurellement la capacité réelle de généralisation de l’algorithme face à de futurs patients non observés. Cette inflation artificielle de la performance diagnostique est particulièrement prononcée lorsque la taille d’échantillon est restreinte ou que le ratio entre le nombre de prédicteurs candidats et le volume d’événements observés est disproportionné (violation de la règle empirique des 10 à 15 événements par variable, ou EPV).

Il est donc essentiel de distinguer la validité interne d’un outil prédictif — qui quantifie sa reproductibilité technique au sein de la population source — de sa validité externe, qui sanctionne son transportabilité géographique, temporelle ou contextuelle au sein de cohortes indépendantes issues de centres de soins tiers.

10.2 Validation croisée et bootstrap sous Stata

Pour corriger ce biais d’optimisme et dériver une estimation intègre de l’AUC sans nécessairement disposer d’une cohorte de validation externe d’envergure, les biostatisticiens emploient des stratégies de rééchantillonnage interne avancées, parmi lesquelles la validation croisée à k-blocs (k-fold cross-validation) et le bootstrap d’optimisme formalisé par Frank Harrell.

La validation croisée à 10 blocs consiste à scinder aléatoirement l’échantillon global en dix sous-ensembles d’effectifs égaux. Pour chaque itération, neuf blocs sont agrégés pour estimer les coefficients logistiques, puis les probabilités sont calculées hors-échantillon sur le dixième bloc résiduel ayant fait office de jeu de test. L’AUC finale est dérivée de l’ensemble des prédictions générées hors apprentissage. Cette opération peut être orchestrée sous Stata par le biais de boucles programmées au sein de scripts do-file ou via des modules complémentaires certifiés tels que crossfold.

L’approche par bootstrap d’optimisme est plus rigoureuse encore : elle extrait un millier d’échantillons avec remise de taille N, calibre le modèle logistique complet sur chaque réplique bootstrap, mesure l’AUC sur cet échantillon artificiel, puis l’évalue immédiatement sur le jeu de données observationnel initial. La différence moyenne observée entre ces deux estimations quantifie le degré d’optimisme, qui est ensuite retranché de l’AUC apparente pour fournir une performance discriminante corrigée, considérée par les méthodologistes comme une référence de validation interne.

10.3 Analyse d’influence et points aberrants

La robustesse mathématique d’une courbe ROC peut être déstabilisée par la présence d’observations extrêmes ou aberrantes au sein de l’espace multivarié des prédicteurs. Un sujet atypique présentant un fort effet de levier peut déformer les coefficients du modèle logistique, et par conséquent affecter l’ensemble des probabilités prédites et la trajectoire de l’AUC.

L’arsenal analytique de post-estimation de Stata propose des outils diagnostiques pour identifier ces cas influents. Après avoir ajusté le modèle, l’analyste peut générer les résidus de Pearson, les résidus de déviance et les statistiques de levier (hat values) à l’aide des commandes standardisées :

predict res_pearson, rpearson
predict res_deviance, rdeviance
predict levier, hat
predict dbeta, dbeta

La mesure dbeta quantifie le déplacement global du vecteur des coefficients de régression consécutif à l’exclusion séquentielle de chaque individu de l’échantillon. En isolant les observations dont le dbeta dépasse le seuil conventionnel de 1 ou dont les résidus de déviance absolus excèdent 2,5, le chercheur peut conduire une analyse de sensibilité rigoureuse : réestimer le modèle, recalculer l’AUC via roctab et vérifier la stabilité de la trajectoire discriminante pour s’assurer que les conclusions de l’étude ne reposent pas sur une poignée d’observations singulières.

11. Directives de publication académique et normes APA

11.1 Formatage et exportation des figures selon les standards éditoriaux

La publication d’une courbe ROC au sein d’une revue scientifique à fort facteur d’impact requiert une exécution typographique et graphique respectant des normes strictes de lisibilité. Les figures doivent être conçues selon une résolution graphique minimale de 300 à 600 points par pouce (DPI), afin d’éviter toute pixelisation à l’impression ou à la consultation numérique au format PDF.

Les recommandations visuelles contemporaines encouragent l’utilisation de palettes chromatiques universelles accessibles aux personnes présentant des déficiences de la vision des couleurs (telles que les échelles viridis ou les contrastes bleu-orange marqués), ou la distinction formelle des tracés par des textures géométriques contrastées (traits pleins, tirets longs, pointillés réguliers) :

graph set window fontface "Arial"
roccomp low pr_base pr_augmente, graph ///
plot1opts(lcolor(black) lpattern(dash) lwidth(medium)) ///
plot2opts(lcolor(black) lpattern(solid) lwidth(medthick)) ///
rlopts(lcolor(gs10) lpattern(shortdash)) ///
aspectratio(1) scale(1.1) ///
graphexport "Figure1_ROC_Modele.eps", as(eps) replace

L’utilisation du ratio d’aspect unitaire (aspectratio(1)) garantit que l’espace d’affichage forme un carré parfait, évitant les déformations d’interprétation visuelle de la pente de la courbe. L’exportation directe en format vectoriel Encapsulated PostScript (.eps) ou au format PDF assure une préservation sans faille des tracés lors de l’intégration dans les flux éditoriaux.

11.2 Structuration textuelle et tabulaire des résultats

Dans la section « Résultats » d’un manuscrit scientifique conforme aux normes de publication de l’American Psychological Association (APA 7e édition) ou aux directives STARD (Standards for Reporting of Diagnostic Accuracy Studies), le texte ne doit pas se contenter d’une mention descriptive superficielle. Il doit rapporter méthodiquement l’estimation de l’aire, son intervalle de confiance, la statistique de test associée et son degré de liberté.

Un modèle de rédaction standardisé prend la forme suivante :

« L’aptitude discriminante globale du modèle bivarié associant l’âge et le tabagisme maternel s’est avérée statistiquement supérieure au hasard, bien que de magnitude modeste, avec une aire sous la courbe ROC (AUC) estimée à 0,642 (IC à 95 % [0,561 ; 0,724], SE = 0,041, p = 0,001). La confrontation formelle de ce modèle avec le modèle univarié fondé sur l’âge maternel seul (AUC = 0,559, IC à 95 % [0,473 ; 0,645]) au moyen du test non paramétrique de DeLong a révélé un accroissement significatif de la performance diagnostique après inclusion du tabagisme, χ²(1, N = 189) = 4,82, p = 0,028. »

Parallèlement, la soumission gagne à intégrer une table synthétique récapitulative détaillant, pour chaque instrument prédictif ou seuil d’intérêt : l’AUC ajustée, la sensibilité, la spécificité, la valeur prédictive positive, la valeur prédictive négative, ainsi que les rapports de vraisemblance positif (LR+) et négatif (LR-).

11.3 Documentation de la syntaxe et reproductibilité

L’intégrité de la science translationnelle repose sur la reproductibilité absolue des calculs publiés. Les revues de premier plan exigent désormais fréquemment le dépôt public ou la mise à disposition des scripts d’analyse sur des plateformes ouvertes comme Zenodo ou l’Open Science Framework (OSF). Tout projet sous Stata doit impérativement être consigné au sein d’un fichier de commandes rigoureusement documenté (do-file).

Le script doit débuter par l’enregistrement des conditions initiales : déclaration de la version de l’interpréteur Stata mobilisée (ex. version 17 ou version 18), réinitialisation de la mémoire (clear all), verrouillage de la graine aléatoire pour les tirages de validation (set seed 12345) et ouverture systématique d’un fichier journal d’audit :

log using "Analyse_ROC_Reproductible.log", text replace

Chaque manipulation de variable, recodage ou calcul de post-estimation doit être scrupuleusement étayé par des lignes de commentaires explicatives débutant par un double slash (//). Cette rigueur documentaire assure qu’un relecteur, un co-auteur ou l’analyste lui-même plusieurs années après la publication, puisse réexécuter l’intégralité du pipeline méthodologique et obtenir des résultats rigoureusement identiques au millième de décimale près.

12. Pièges fréquents, alternatives méthodologiques et synthèse pratique

12.1 Impact du déséquilibre des classes (Class Imbalance)

L’un des pièges d’interprétation les plus trompeurs de l’analyse ROC réside dans sa robustesse apparente face au déséquilibre d’effectifs entre les classes (class imbalance problem). Dans les situations épidémiologiques où l’événement cible est rare — par exemple le suicide en population générale (prévalence inférieure à 0,1 %) ou des anomalies génétiques rarissimes — la métrique de l’AUC peut afficher une valeur flatteuse supérieure à 0,85 ou 0,90 alors même que le modèle est incapable d’identifier correctement les sujets atteints en pratique courante.

Ce paradoxe découle de la formule mathématique de l’abscisse de la courbe : le taux de faux positifs (1 – spécificité = FP / [FP + VN]). Lorsque la classe négative (VN) est extrêmement volumineuse, l’accroissement substantiel du nombre absolu de faux positifs n’induit qu’une variation négligeable du dénominateur, maintenant artificiellement la valeur de (1 – spécificité) à un niveau bas. Le modèle semble ainsi afficher d’excellentes caractéristiques opératoires alors que sa précision réelle s’effondre.

Face à ce scénario de rareté des cas, les biostatisticiens doivent impérativement compléter ou supplanter l’évaluation ROC par l’analyse de la courbe Précision-Rappel (Precision-Recall Curve, PRC). En confrontant la précision (valeur prédictive positive) au rappel (sensibilité), la courbe PRC élimine le groupe massif des vrais négatifs de ses équations, dévoilant ainsi sans artifice la dégradation des performances diagnostiques dans les contextes de prévalence asymétrique. Des modules non-officiels sous Stata développés par la communauté, tels que le package prcurve, permettent d’implémenter ces visualisations complémentaires.

12.2 Distinction cruciale entre discrimination et calibration

Une confusion méthodologique persiste entre les concepts de discrimination et de calibration d’un modèle pronostique. La discrimination, mesurée par l’AUC de la courbe ROC, quantifie uniquement l’aptitude de l’algorithme à séparer les rangs des sujets sains et malades : le modèle attribue-t-il un score systématiquement plus haut aux individus porteurs de la condition ?

En revanche, la calibration évalue la concordance numérique absolue entre les probabilités prédites par le modèle et les taux de survenue réels observés sur le terrain. Un algorithme présentant une excellente AUC de 0,88 peut souffrir d’une calibration désastreuse : il peut attribuer une probabilité de 80 % à des patients dont le groupe n’affiche en réalité qu’une incidence empirique de 20 %, surestimant considérablement le risque individuel et induisant de graves dérives de sur-médication.

Par conséquent, l’analyse d’une courbe ROC ne saurait à elle seule valider l’adéquation d’un modèle statistique. Elle doit impérativement être secondée par un audit de la calibration, mobilisant le test de qualité d’ajustement de Hosmer-Lemeshow exécuté via la commande Stata :

estat gof, group(10)

Une valeur p non significative (p > 0,05) soutient l’hypothèse d’une calibration adéquate à travers les déciles de risque. Pour une inspection plus approfondie, le recours à des graphiques de calibration dédiés (courbes de calibration comparant prédictions moyennes et fréquences observées via des lisseurs locaux spline) constitue un standard méthodologique indispensable.

12.3 Check-list opérationnelle pour l’analyse ROC sous Stata

Pour accompagner le chercheur lors de la réalisation et du contrôle qualité d’une analyse de discrimination sous Stata, l’arbre de décision méthodologique suivant récapitule les étapes incontournables à valider :

• Vérification de la directionnalité : S’assurer scrupuleusement que la modalité 1 de la variable cible correspond bien à l’événement défavorable d’intérêt et que des valeurs élevées du score/prédicteur signalent une probabilité de risque accrue (sous peine d’obtenir une courbe inversée sous la diagonale avec une AUC < 0,50).
• Audit de séparation complète : Vérifier via des tableaux croisés préliminaires qu’aucune sous-catégorie ne comporte zéro événement, ce qui provoquerait une instabilité des variances et des estimations d’AUC infiniment biaisées.
• Choix de la commande adaptée : Mobiliser lroc pour un audit immédiat en post-estimation, roctab pour une analyse descriptive univariée avec tableau de seuils exhaustif, rocreg pour l’ajustement par des covariables et roccomp pour les comparaisons directes de modèles.
• Inférence systématique : Ne jamais rapporter d’estimation ponctuelle d’AUC sans son erreur standard, son intervalle de confiance à 95 % et sa valeur p issue du test de DeLong ou d’un rééchantillonnage par bootstrap.
• Optimisation pondérée du seuil : Ne pas adopter par réflexe le seuil c = 0,50 ; confronter l’indice de Youden aux coûts cliniques réels et à l’asymétrie des conséquences entre faux positifs et faux négatifs.
• Contrôle du surajustement : Intégrer une validation croisée à 10 blocs ou un bootstrap d’optimisme pour dériver l’AUC corrigée avant toute extrapolation hors de la cohorte d’entraînement.
• Complémentarité discrimination-calibration : Systématiser l’évaluation conjointe de la calibration (test de Hosmer-Lemeshow) et s’interroger sur la pertinence d’une analyse Précision-Rappel si la prévalence de l’événement est inférieure à 5 %.

En observant cette rigueur méthodologique à chacune des phases de son analyse, le praticien ou chercheur garantit que ses interprétations sous Stata transcenderont le formalisme informatique brut pour s’ériger en éléments de preuve scientifique solides, transparents et immédiatement valorisables dans la communauté biomédicale internationale.

Références

• DeLong, E. R., DeLong, D. M., & Clarke-Pearson, D. L. (1988). Comparing the areas under two or more correlated receiver operating characteristic curves: A nonparametric approach. Biometrics, 44(3), 837–845. https://pubmed.ncbi.nlm.nih.gov/3203128/
• Green, D. M., & Swets, J. A. (1966). Signal detection theory and psychophysics. John Wiley & Sons.
• Hanley, J. A., & McNeil, B. J. (1982). The meaning and use of the area under a receiver operating characteristic (ROC) curve. Radiology, 143(1), 29–36. https://pubmed.ncbi.nlm.nih.gov/7063747/
• Harrell, F. E. (2015). Regression modeling strategies: With applications to linear models, logistic and ordinal regression, and survival analysis (2nd ed.). Springer. https://doi.org/10.1007/978-3-319-19425-7
• Hosmer, D. W., Lemeshow, S., & Sturdivant, R. X. (2013). Applied logistic regression (3rd ed.). John Wiley & Sons. https://doi.org/10.1002/9781118548387
• Pepe, M. S. (2003). The statistical evaluation of medical tests for classification and prediction. Oxford University Press.
• Saito, T., & Rehmsmeier, M. (2015). The precision-recall plot is more informative than the ROC plot when evaluating binary classifiers on imbalanced datasets. PLOS ONE, 10(3), Article e0118432. https://doi.org/10.1371/journal.pone.0118432
• StataCorp. (2023). Stata base reference manual: Release 18. Stata Press. https://www.stata.com/manuals/r.pdf
• Youden, W. J. (1950). Index for rating diagnostic tests. Cancer, 3(1), 32–35. <a href="https://doi.org/10.1002/1097-0142(1950)3:13.0.co;2-3″ target= »_blank » rel= »noopener noreferrer »>https://doi.org/10.1002/1097-0142(1950)3:1<32::aid-cncr2820030106>3.0.co;2-3