Régression vs Classification : Quelle est la différence ?

Au cœur de la révolution contemporaine de l’intelligence artificielle et de la science des données, l’apprentissage automatique supervisé s’impose comme le cadre méthodologique prédominant pour modéliser des phénomènes complexes, extraire des régularités empiriques et formuler des prédictions robustes. Qu’il s’agisse d’anticiper la trajectoire évolutive d’une pathologie neurodégénérative, d’estimer la valeur marchande d’un actif financier, de diagnostiquer un trouble psychiatrique ou d’identifier des motifs de percolation dans des réseaux sociaux, les chercheurs et praticiens mobilisent des architectures algorithmiques sophistiquées. Toutefois, sous la foisonnante diversité des bibliothèques de calcul et des modèles prédictifs, une dichotomie fondamentale gouverne l’ensemble de cette discipline : la distinction irréductible entre la régression et la classification. Cette ligne de partage, loin de constituer un simple détail d’implémentation logicielle, engage des fondements ontologiques, mathématiques et épistémologiques distincts qui conditionnent l’ensemble de la chaîne de traitement analytique.

La confusion entre régression et classification représente l’un des écueils méthodologiques les plus pernicieux en modélisation statistique. Bien que ces deux paradigmes partagent une armature conceptuelle commune fondée sur l’optimisation paramétrique et la minimisation du risque empirique, ils divergent radicalement quant à la topologie de leur espace d’arrivée, aux fonctions de perte mobilisées pour calibrer leurs paramètres, et aux critères d’évaluation de leurs performances. Réduire une variable continue à des classes arbitraires par souci de simplification ou, inversement, projeter une structure intrinsèquement nominale sur une droite numérique sans justification métrique engendre des distorsions prédictives majeures, une déperdition d’information irréversible et des biais d’inférence substantiels. La rigueur scientifique exige dès lors une compréhension intime des propriétés de la variable d’intérêt, ainsi que des hypothèses formelles qui sous-tendent chaque classe d’algorithmes.

Cet article propose une analyse exhaustive et approfondie de la frontière séparant la régression de la classification dans le contexte de l’apprentissage supervisé. En explorant successivement les bases mathématiques de chaque paradigme, la typologie des variables cibles, les familles algorithmiques représentatives, les métriques d’évaluation spécialisées ainsi que les cas hybrides à l’interface des deux approches, nous fournirons aux chercheurs, data scientists et statisticiens les clés théoriques et pratiques nécessaires pour concevoir des architectures prédictives optimales. À travers des illustrations issues notamment des sciences cognitives, de la psychométrie et de la recherche clinique, nous mettrons en lumière les enjeux critiques liés au choix de la formulation du problème, guidant ainsi le lecteur vers des décisions méthodologiques éclairées et rigoureuses.

1. Fondements théoriques de l’apprentissage supervisé

1.1 Définition et paradigme de l’apprentissage supervisé

L’apprentissage supervisé constitue l’une des branches maîtresses de la théorie de l’apprentissage statistique formalisée par Vladimir Vapnik. Sur le plan mathématique, ce paradigme postule l’existence d’un espace d’entrée mesurable noté $\mathcal{X} \subset \mathbb{R}^d$, représentant l’ensemble des vecteurs de caractéristiques ou prédicteurs, et d’un espace de sortie mesurable noté $\mathcal{Y}$, représentant la variable dépendante ou cible. Les données observées sont générées par une distribution de probabilité conjointe sous-jacente, fixe mais inconnue, notée $P(X, Y)$ définie sur l’espace produit $\mathcal{X} \times \mathcal{Y}$. L’analyste dispose d’un ensemble d’entraînement constitué de $n$ couples d’observations identiquement et indépendamment distribuées (i.i.d.) :

$$\mathcal{D}_n = {(x_1, y_1), (x_2, y_2), dots, (x_n, y_n)} in (\mathcal{X} \times \mathcal{Y})^n$$

Le rôle des données étiquetées est central dans ce cadre : elles constituent la vérité terrain servant de guide à l’optimisation des paramètres du modèle. L’objectif fondamental consiste à induire, à partir de cet échantillon fini $\mathcal{D}_n$, une fonction de prédiction mesurable $f : \mathcal{X} \rightarrow \mathcal{Y}$, choisie au sein d’un espace d’hypothèses prédéfini $\mathcal{H}$, capable d’estimer avec exactitude la valeur de $Y$ associée à un nouveau vecteur d’entrée $X$ issu de la même distribution conjointe.

D’un point de vue épistémologique, une distinction radicale s’opère selon la nature de l’espace d’arrivée $\mathcal{Y}$. Lorsque $\mathcal{Y}$ est un sous-ensemble continu de la droite réelle ($\mathcal{Y} \subseteq \mathbb{R}$), l’apprentissage relève de la prédiction quantitative, où le modèle cherche à capturer une intensité, une magnitude ou une grandeur physique continue. En revanche, lorsque $\mathcal{Y}$ est un ensemble discret et fini d’étiquettes non ordonnées ou ordonnées ($\mathcal{Y} = {c_1, c_2, dots, c_K}$), la tâche devient une affectation catégorielle, visant à partitionner l’espace vectoriel des entrées en bassins d’attraction correspondant à des entités qualitatives distinctes.

Dans les deux configurations, le critère d’optimalité ultime repose sur la théorie de la généralisation. Plutôt que de chercher une mémorisation parfaite des données observées, l’algorithme doit minimiser le risque théorique ou risque réel, défini comme l’espérance de la perte subie lors de la prédiction :

$$R(f) = \mathbb{E}_{(X, Y) \sim P}[L(f(X), Y)] = \int_{\mathcal{X} \times \mathcal{Y}} L(f(x), y) , dP(x, y)$$

où $L : \mathcal{Y} \times \mathcal{Y} \rightarrow \mathbb{R}^+$ représente la fonction de coût mesurant le désaccord entre la prédiction du modèle $f(x)$ et la valeur observée $y$. La distribution $P(X,Y)$ étant par essence inaccessible, l’apprentissage machine opérationnalise ce principe par la minimisation du risque empirique (MRE), corrigée par des mécanismes de régularisation pour prévenir le surajustement (overfitting) et garantir une robustesse prédictive hors échantillon.

1.2 Taxonomie structurelle des problèmes prédictifs

La taxonomie des problèmes prédictifs en apprentissage automatique est structurée par la nature de la variable cible $Y$. Cette dualité fondamentale — variables d’intérêt continues versus variables discrètes — scinde le champ méthodologique en deux grands domaines opératoires. L’échelle de mesure de la variable dépendante dicte la topologie de l’espace de sortie, ce qui impose des contraintes mathématiques directes sur les architectures algorithmiques admissibles. Un algorithme ne peut traiter une grandeur continue et une modalité discrète avec les mêmes opérations vectorielles sans opérer au préalable des transformations d’espace qui altèrent substantiellement la géométrie intrinsèque des données.

Le conditionnement des données d’entraînement exerce une influence déterminante sur la tractabilité du problème. Dans le cas continu, les données d’entraînement peuvent être affectées par des bruits de mesure gaussiens, des dérives de calibration instrumentale, de l’hétéroscédasticité ou des censures d’échelle à gauche et à droite. Dans le cas discret, les difficultés structurales se manifestent sous la forme de déséquilibres sévères de prévalence entre classes (class imbalance), d’ambiguïtés d’étiquetage (label noise) dues à la subjectivité des annotateurs humains, ou de séparabilité géométrique imparfaite au sein de l’espace des descripteurs.

Ces disparités conditionnent la nature formelle des espaces d’hypothèses $\mathcal{H}$. En régression, $\mathcal{H}$ est traditionnellement composé de familles d’opérateurs continus, différentiables et lisses, telles que les hyperplans affines, les splines de lissage ou les surfaces de régression générées par des combinaisons linéaires de fonctions de base dans un espace de Hilbert à noyau reproduisant (RKHS). En classification, l’espace d’hypothèses s’apparente à un ensemble d’opérateurs de partitionnement conçus pour tracer des frontières de décision — linéaires ou hautement non linéaires — divisant l’espace $\mathcal{X}$ en régions disjointes associées chacune à un indice catégoriel spécifique.

1.3 L’importance de la formulation du problème de recherche

La formulation initiale de la question scientifique constitue l’étape la plus critique du cycle de modélisation prédictive. Une erreur d’inscription algorithmique — c’est-à-dire le choix inapproprié d’un paradigme de classification là où une régression s’impose, ou inversement — vicie irrémédiablement la validité interne et externe des conclusions tirées des données. Cette inadéquation conceptuelle conduit fréquemment les praticiens à forcer la réalité empirique dans un moule algorithmique incompatible avec les processus générateurs sous-jacents du phénomène étudié.

Les conséquences d’une mauvaise spécification de la variable cible sont substantielles. Supposons qu’un chercheur souhaite prédire le niveau de détresse psychologique d’un individu. S’il transforme un score continu d’échelle clinique validée (variant par exemple de 0 à 100) en une variable binaire arbitraire (« sain » versus « pathologique ») en appliquant un seuil de coupure standardisé, il détruit instantanément la variance interindividuelle située de part et d’autre de ce seuil. Deux sujets présentant des scores respectifs de 49 et de 51 seront traités comme diamétralement opposés, tandis que deux sujets ayant des scores de 51 et 98 seront assimilés à une même catégorie homogène. Cette dichotomisation artificielle induit une dégradation sévère de la puissance statistique, une majoration artificielle des risques d’erreur de type I et II, et l’impossibilité d’évaluer la sévérité graduelle du tableau clinique.

Dans les sciences empiriques et particulièrement en psychométrie quantitative, les variables observées sont fréquemment le reflet indirect de variables latentes continues non observables (l’intelligence fluide, le névrosisme, la charge cognitive). Modéliser ces construits exige une cohérence formelle absolue entre l’appareil métrologique utilisé pour la collecte des données et la structure fonctionnelle de l’algorithme d’apprentissage automatique retenu pour l’inférence. Le choix entre classification et régression doit découler d’une analyse épistémologique du phénomène plutôt que de considérations de commodité logicielle ou de conventions disciplinaires non interrogées.

2. Comprendre la régression : Concepts fondamentaux et modélisation continue

2.1 Définition mathématique et conceptuelle de la régression

La régression, dans le cadre de la théorie statistique moderne, a pour dessein primordial de modéliser l’espérance conditionnelle d’une variable aléatoire continue $Y in \mathbb{R}$ sachant la réalisation d’un vecteur de variables explicatives $X = x in \mathbb{R}^d$. Formellement, il s’agit d’identifier une fonction de régression $m(x)$ définie par :

$$m(x) = \mathbb{E}[Y mid X = x] = \int_{-\infty}^{+\infty} y , p(y mid x) , dy$$

où $p(y mid x)$ désigne la densité conditionnelle de $Y$ sachant $X = x$. Sur le plan géométrique, l’application $x mapsto m(x)$ décrit une surface de réponse au sein de l’espace produit $\mathbb{R}^d \times \mathbb{R}$. Dans le cadre d’un modèle linéaire standard, cette surface est contrainte à être un hyperplan affine de dimension $d$, d’équation générale $m(x) = langle w, x rangle + b$, où $w in \mathbb{R}^d$ est le vecteur des poids directeurs et $b in \mathbb{R}$ représente le biais ou l’ordonnée à l’origine.

L’espace d’arrivée $\mathcal{Y}$ en régression se caractérise par sa continuité topologique : il s’agit d’un ensemble non dénombrable, infini ou semi-infini (par exemple $\mathbb{R}^+$ pour des temps de survie ou des concentrations biochimiques), muni d’une métrique euclidienne naturelle dans laquelle les distances géométriques possèdent une signification directe. Deux prédictions $\hat{y}_1$ et $\hat{y}_2$ peuvent être infiniment proches l’une de l’autre, et l’écart les séparant est directement mesurable et quantifiable dans l’unité de la variable originale.

L’observation empirique s’exprime sous la forme décomposée $Y = m(X) + varepsilon$, où $varepsilon$ symbolise le terme d’erreur ou résidu stochastique. Ce résidu capture l’ensemble des variations infinitésimales non mesurées, le bruit instrumental et l’incomplétude intrinsèque de l’ensemble des descripteurs $X$. Les approches classiques paramétriques postulent souvent que ce résidu suit une loi normale centrée d’écart-type constant $\varepsilon \sim \mathcal{N}(0, \sigma^2)$ (hypothèse d’homoscédasticité), condition indispensable à la validité des tests d’inférence de Student et de Fisher, bien que les méthodes non paramétriques modernes d’apprentissage statistique soient capables de s’affranchir de cette restriction distributionnelle.

2.2 Typologie des variables cibles en régression

Les variables cibles manipulées en modélisation de régression doivent impérativement relever de niveaux de mesure quantitatifs, à savoir les échelles d’intervalles ou les échelles de rapports, selon la classification canonique établie par Stanley Smith Stevens. Une échelle d’intervalles (telle que la température mesurée en degrés Celsius ou certains scores factoriels standardisés issus d’analyses psychométriques) garantit l’égalité des écarts entre les valeurs consécutives, mais possède un point zéro fixé de manière arbitraire. Une échelle de rapports (comme la masse corporelle, la conductance cutanée ou la concentration sérique de cortisol) dispose en revanche d’un zéro absolu, ce qui confère une validité physique aux rapports mathématiques entre observations (dire qu’une grandeur est le double d’une autre y prend tout son sens).

Dans le domaine des neurosciences cognitives et de la psychologie computationnelle, les variables cibles continues englobent par exemple le temps de réaction moteur mesuré à la milliseconde près, la latence des composantes évoquées en électroencéphalographie (telle que l’onde P300), le pourcentage de désaturation en oxygène de l’hémoglobine cérébrale mesuré par imagerie par résonance magnétique fonctionnelle (signal BOLD), ou encore les scores d’habileté cognitive estimés par les modèles de la théorie de la réponse aux items (TRI).

Toutefois, la manipulation de variables cibles quantitatives confronte fréquemment l’analyste au problème de la troncature et des valeurs limites. Les instruments d’évaluation expérimentale présentent souvent des effets de plancher (floor effects) et des effets de plafond (ceiling effects). Par exemple, un questionnaire d’évaluation de la mémoire de travail borné entre 0 et 30 engendre une accumulation non normale de scores à ses extrémités lorsque les sujets sont soit très dégradés, soit hautement performants. Dans de telles situations, les propriétés métriques de continuité absolue sont violées aux frontières du domaine, nécessitant des adaptations algorithmiques spécifiques, à l’image des modèles de régression censurée de Tobit ou de l’estimation par vraisemblance pénalisée sous contraintes d’inégalités.

2.3 Le processus d’estimation en régression

L’ajustement des paramètres d’un modèle de régression procède par minimisation fonctionnelle d’un critère d’écart global entre la réalité mesurée et la réponse prédite par l’algorithme. Dans le cadre canonique des moindres carrés ordinaires (MCO), le processus d’estimation consiste à localiser le vecteur optimal de paramètres $\hat{w}$ qui minimise la somme des carrés des résidus (Residual Sum of Squares, RSS) sur l’ensemble d’entraînement :

$$\text{RSS}(w) = \sum_{i=1}^n (y_i – f(x_i; w))^2 = |y – Xw|_2^2$$

Ce processus algorithmique déploie des capacités d’interpolation géométrique au sein du domaine convexe délimité par l’enveloppe des descripteurs d’entraînement (l’enveloppe convexe de $\mathcal{X}$). L’algorithme apprend à déformer localement ou globalement sa surface de réponse afin d’épouser au mieux la topologie des points d’observation dans l’espace multidimensionnel. En revanche, l’extrapolation — qui consiste à interroger le modèle en dehors des bornes empiriques explorées lors de la phase d’apprentissage — constitue une faiblesse notoire de la régression, où les prédictions linéaires se prolongent à l’infini sans garantie de plausibilité physique, tandis que les algorithmes non linéaires basés sur des partitions récursives s’effondrent souvent en de simples constantes asymptotiques.

Dans un modèle linéaire interprétable, les paramètres estimés $\hat{w}_j$ revêtent une signification scientifique univoque : ils traduisent le taux de variation marginale de la variable dépendante induit par l’accroissement d’une unité de la $j$-ème variable explicative, toutes choses étant égales par ailleurs (condition ceteris paribus). Cette propriété d’interprétabilité métrique directe confère à la régression une valeur explicative et causale inestimable dans les protocoles de recherche expérimentaux, permettant de valider ou d’infirmer des théories formelles relatives aux relations structurales unissant les phénomènes naturels.

3. Comprendre la classification : Structuration et catégorisation des données

3.1 Définition formelle du paradigme de classification

Le paradigme de la classification statistique vise à partitionner l’espace vectoriel des descripteurs $\mathcal{X} \subset \mathbb{R}^d$ en un ensemble fini de $K$ régions de décision mutuellement exclusives et collectivement exhaustives, désignées par $\mathcal{R}_1, \mathcal{R}_2, dots, \mathcal{R}_K$, de telle sorte que :

$$\big\cup_{k=1}^K \mathcal{R}_k = \mathcal{X} \quad \text{a\vec} \quad \mathcal{R}_j \cap \mathcal{R}_k = \emptyset \quad \forall j \neq k$$

À chaque région $\mathcal{R}_k$ est associée une étiquette discrète d’appartenance catégorielle $c_k in \mathcal{Y}$. La fonction de décision $f : \mathcal{X} \rightarrow \mathcal{Y}$ agit comme un opérateur d’assignation qui projette tout vecteur d’entrée $x$ dans l’un de ces sous-espaces. La frontière séparant deux régions contiguës $\mathcal{R}_j$ et $\mathcal{R}_k$ est appelée frontière de décision (decision boundary) ; elle est mathématiquement définie par le lieu géométrique des points $x$ pour lesquels le modèle présente une indécision totale d’attribution entre la classe $j$ et la classe $k$.

Selon l’architecture mise en œuvre, cette frontière de décision peut prendre la forme d’un hyperplan linéaire simple, d’une frontière quadratique, ou d’une hypersurface hautement non linéaire et fragmentée, façonnée par des séparateurs à vaste marge ou des pavages d’arbres décisionnels. Dans les approches dites probabilistes, le classificateur ne délivre pas directement une étiquette dure, mais produit préalablement un vecteur stochastique modélisant la distribution conditionnelle a posteriori :

$$P(Y = c_k mid X = x) \quad \text{a\vec} \quad \sum_{k=1}^K P(Y = c_k mid X = x) = 1$$

L’assignation finale à une classe relève alors d’une règle de décision déterministe, usuellement la règle du maximum a posteriori (MAP) : $\hat{y} = arg\max_{k} P(Y = c_k mid X = x)$.

Sur le plan de l’optimisation, la mesure naturelle de l’erreur en classification est la perte zéro-un (zero-one loss), définie par $L_{0-1}(f(x), y) = \mathbb{I}(f(x) \neq y)$, valant 0 si l’étiquette est correctement prédite et 1 dans le cas contraire. Malheureusement, la fonction de perte zéro-un est non différentiable et non convexe, rendant sa minimisation globale sur un échantillon d’apprentissage NP-difficile. Pour contourner cet obstacle calculatoire, la théorie de l’apprentissage statistique recourt à des pertes substitutives convexes et différentiables (surrogate losses), telles que la log-vraisemblance négative (entropie croisée), la perte charnière (hinge loss) des machines à vecteurs de support, ou la perte exponentielle mobilisée dans les algorithmes d’AdaBoost.

3.2 Typologies des tâches de classification

L’organisation des problèmes de classification se structure en plusieurs configurations canoniques selon la cardinalité et les propriétés fonctionnelles de l’espace d’arrivée $\mathcal{Y}$.

• Classification binaire : Il s’agit de la forme la plus élémentaire et fondamentale de catégorisation, où l’espace de sortie est strictement dichotomique : $\mathcal{Y} = {0, 1}$ ou $\mathcal{Y} = {-1, +1}$. Elle modélise typiquement des problématiques de diagnostic différentiel, de détection d’anomalies, ou de validation d’hypothèses de type présence/absence.
• Classification multiclasse : L’espace cible comporte un nombre fini $K > 2$ d’étiquettes discrètes mutuellement exclusives ($\mathcal{Y} = {1, 2, dots, K}$). Chaque observation $x$ ne peut appartenir qu’à une et une seule classe. Les algorithmes abordent ce problème soit de manière native (via la fonction d’activation Softmax ou des arbres multinociaux), soit par décomposition binaire suivant des stratégies de type « un-contre-tous » (One-vs-Rest) ou « un-contre-un » (One-vs-One).
• Classification multi-étiquettes (Multi-label) : Dans cette configuration, les classes ne s’excluent pas mutuellement. L’espace de sortie est l’ensemble des parties de l’ensemble des étiquettes possibles, de sorte que le vecteur cible pour chaque observation est un vecteur booléen $\mathbf{y} in {0, 1}^K$. Un même sujet ou une même observation peut simultanément manifester une comorbidité clinique multiple, cumulant par exemple un trouble anxieux généralisé, un état dépressif caractérisé et un trouble de l’usage de substances.
• Classification ordinale : Cette variante intermédiaire se caractérise par un ensemble fini de catégories discrètes munies d’un ordre de préséance non métrique ($c_1 prec c_2 prec dots prec c_K$). Bien que l’ordre hiérarchique soit strictly respecté, la distance métrique séparant la classe $c_1$ de $c_2$ n’a aucune raison fondamentale d’être équivalente à celle séparant $c_2$ de $c_3$. Les approches d’apprentissage doivent alors intégrer des pénalités de désaccord graduées reflétant la magnitude des inversions ordinales sans présumer d’une continuité sous-jacente linéaire.

3.3 Exemples appliqués de variables cibles catégorielles

Les sciences biomédicales, la psychiatrie translationnelle et la psychologie expérimentale recourent massivement à la classification pour structurer leurs entités décisionnelles. L’archétype réside dans le diagnostic nosologique catégoriel : un patient est diagnostiqué comme atteint d’un Trouble du Spectre de l’Autisme (TSA) ou comme neurotypique, sur la base des critères établis par des manuels diagnostiques standardisés tels que le DSM-5 ou la CIM-11.

Un deuxième champ d’application réside dans la caractérisation des typologies comportementales et des profils psychologiques. Bien que contestés par les partisans des approches dimensionnelles continues, certains modèles séparent les individus en cohortes distinctes, telles que les styles d’attachement chez l’adulte (sécure, insécure-évitant, insécure-anxieux, désorganisé) déterminés au moyen de l’Adult Attachment Interview. Ces classes constituent des prototypes qualitatifs servant d’étiquettes cibles pour des modèles prédictifs s’appuyant sur des questionnaires psychométriques ou des mesures électrophysiologiques.

Enfin, la reconnaissance automatique des états émotionnels discrets à partir de biomarqueurs physiologiques constitue un exemple probant de classification multiclasse. Les algorithmes d’apprentissage supervisé sont entraînés à classifier des signaux de photopléthysmographie, d’électrocardiographie (variabilité du rythme cardiaque) et d’électromyographie faciale pour discriminer parmi un alphabet d’émotions universelles théorisé par Paul Ekman : joie, tristesse, peur, colère, dégoût et surprise. Chaque état correspond à une configuration neurovégétative catégorielle que le modèle doit identifier sans aucune notion de quantification continue de la joie vers la colère.

4. La nature de la variable cible : Clé de voûte de la distinction

4.1 Comparaison ontologique : Discret versus Continu

L’abîme séparant la régression de la classification s’enracine au cœur des concepts de cardinalité mathématique développés par Georg Cantor. Les cibles de classification relèvent d’ensembles discrets et finis (ou au plus dénombrables), dont la cardinalité est $|\mathcal{Y}| = K in \mathbb{N}$. Les étiquettes y représentent des symboles qualificatifs arbitraires : nommer une classe « 1 » et une autre « 2 » ne confère aucun statut d’ordre, de doublement ou d’addition arithmétique. À l’opposé, les cibles de régression résident dans des ensembles de puissance du continu, dont la cardinalité est celle de la droite réelle $|\mathcal{Y}| = |\mathbb{R}| = 2^{aleph_0}$.

Cette distinction ontologique se répercute directement sur la préservation de la structure métrique. Dans un espace continu, la métrique euclidienne dote l’espace d’une notion objective de proximité : commettre une erreur en prédisant $28$ au lieu de $30$ représente un écart de magnitude modeste ($|28 – 30| = 2$), infiniment moins grave que d’estimer cette valeur à $150$ ($|150 – 30| = 120$). Dans une tâche de classification nominale à classes multiples non ordonnées, attribuer à un sujet souffrant de schizophrénie l’étiquette « trouble bipolaire » ou « sujet sain » constitue sur le plan formel de la fonction de perte zéro-un une erreur strictement équivalente : une mauvaise affectation de classe reste une mauvaise affectation, indépendamment de la proximité phénotypique réelle des troubles.

La discrétisation artificielle d’une variable intrinsèquement continue — une pratique fréquemment observée sous le vocable de « binning » ou découpage en percentiles — entraîne une irréversible perte d’information statistique. Cette troncation rabote la variance naturelle de l’échantillon, gomme les trajectoires subtiles de transition entre états et affaiblit de façon substantielle la puissance statistique des tests ultérieurs. Elle induit également des artéfacts d’estimation à l’approche des frontières artificiellement érigées, altérant la géométrie interne de la relation empirique entre variables explicatives et variable cible.

4.2 Niveaux de mesure selon la taxonomie de Stevens

En 1946, le psychologue Stanley Smith Stevens publiait un article fondateur dans la revue Science introduisant la théorie des niveaux de mesure, classifiant les échelles en quatre catégories fondamentales : nominale, ordinale, d’intervalles et de rapports. Cette typologie structure rigoureusement le choix du paradigme algorithmique adéquat :

• Échelles nominales : Elles ne possèdent aucune propriété mathématique en dehors de l’équivalence et de la non-équivalence ($=$ ou $\neq$). Elles désignent des groupes distincts sans hiérarchie (par exemple : sous-types génétiques, groupes sanguins, typologies de diagnostics). Elles relèvent exclusivement du champ de la classification pure.
• Échelles ordinales : Elles introduisent une relation d’ordre strict ($L(f(x), y)$ que le gradient d'optimisation s'efforce de minimiser au cours de l'entraînement. La structure de cette fonction de coût est le miroir exact de la topologie de l'e\space de sortie.

  En régression, les fonctions de perte sont fondées sur la distance géométrique au sein d'un e\space vectoriel normé. Elles s'articulent principalement autour de la norme $L_2$ (moindres carrés) ou de la norme $L_1$ (moindres écarts absolus). La perte quadratique pénalise l'erreur de manière proportionnelle au carré de la distance métrique : »>$$), mais sans équidistance des intervalles (par exemple : stades de sévérité d’une tumeur de I à IV, scores d’appréciation subjective). Elles doivent être traitées par des modèles d’apprentissage dédiés à la classification ordinale ou au ranking prédictif.

• Échelles d’intervalles et de rapports : Elles autorisent les opérations de soustraction pour les intervalles, et de division pour les rapports (par exemple : temps de latence, concentration d’anticorps, potentiels synaptiques). Elles constituent le territoire d’élection de la régression mathématique standard.

L’une des erreurs méthodologiques les plus omniprésentes en sciences humaines et comportementales consiste à appliquer aveuglément des modèles de régression linéaire à des échelles de Likert à 5 ou 7 points en postulant indûment l’équidistance de leurs barreaux. Traiter l’intervalle subjectif séparant les modalités « Tout à fait d’accord » et « Plutôt d’accord » comme rigoureusement équivalent à celui séparant « Neutre » et « Plutôt en désaccord » constitue une violation flagrante des propriétés axiomatiques des espaces d’arrivée en régression. Si une telle approximation se révèle parfois pragmatiquement tolérable lorsque l’on somme de multiples items formant une échelle composite continue par le théorème central limite, l’analyse d’un item individuel relève sans équivoque de la classification ordinale.

4.3 Répercussions sur les fonctions de coût

La nature de la variable cible gouverne de façon irréversible le choix de la fonction de perte mathématique $L(f(x), y)$ que le gradient d’optimisation s’efforce de minimiser au cours de l’entraînement. La structure de cette fonction de coût est le miroir exact de la topologie de l’e\space de sortie.

En régression, les fonctions de perte sont fondées sur la distance géométrique au sein d’un e\space vectoriel normé. Elles s’articulent principalement autour de la norme $L_2$ (moindres carrés) ou de la norme $L_1$ (moindres écarts absolus). La perte quadratique pénalise l’erreur de manière proportionnelle au carré de la distance métrique :$$L_{text{MSE}}(f(x), y) = (y – f(x))^2$y in {0, 1}$ et une probabilité conditionnelle estimée $\hat{p} = P(Y=1 mid X=x) = f(x)$, la perte s'écrit : »>$$Cette formulation mathématique accorde un poids gigantesque aux résidus de forte amplitude, rendant les modèles de régression extrêmement sensibles à la présence de valeurs aberrantes (outliers) dans la distribution cible. Une seule observation erronée située à plusieurs écarts-types de la moyenne empirique est capable de faire basculer l’hyperplan de régression pour tenter de minimiser son écart quadratique colossal.

En classification probabiliste, la minimisation d’une distance euclidienne n’a pas de cohérence statistique directe lorsque l’on manipule des étiquettes binaires ou qualitatives. L’appareil mathématique s’adosse dès lors à la théorie de l’information et à la notion de divergence statistique, opérationnalisée par la perte logarithmique ou entropie croisée (Cross-Entropy Loss). Pour une cible binaire $y in {0, 1}$ et une probabilité conditionnelle estimée $\hat{p} = P(Y=1 mid X=x) = f(x)$, la perte s’écrit :$$L_{text{CE}}(f(x), y) = – [y log(f(x)) + (1 – y) log(1 – f(x))]$\hat{p} \rightarrow 0$ alors que l'étiquette véritable est $y = 1$, la perte t\end vers l'infini ($-\log(\epsilon) \rightarrow \infty$), infligeant un gradient d'ajustement correctif titanesque aux paramètres internes de l'algorithme.

<h2>5. Algorithmes représentatifs de la régression</h2>

<h3>5.1 Modèles linéaires et extensions régularisées</h3>
Le p\oint de départ historique et conceptuel de l'analyse de régression réside dans la <a href="https://onlinelibrary.wiley.com/doi/book/10.1002/0471725315">régression linéaire</a> par les moindres carrés ordinaires (Ordinary Least Squares, OLS). Sous sa formulation matricielle, l'estimateur s'exprime de façon exacte au moyen de l'équation normale bien connue : »>$$Cette fonction sanctionne sévèrement l’incohérence distributionnelle et la confiance excessive du modèle lorsqu’il commet une erreur de diagnostic. Si le modèle prédit une probabilité $\hat{p} \rightarrow 0$ alors que l’étiquette véritable est $y = 1$, la perte t\end vers l’infini ($-\log(\epsilon) \rightarrow \infty$), infligeant un gradient d’ajustement correctif titanesque aux paramètres internes de l’algorithme.

5. Algorithmes représentatifs de la régression

5.1 Modèles linéaires et extensions régularisées

Le p\oint de départ historique et conceptuel de l’analyse de régression réside dans la régression linéaire par les moindres carrés ordinaires (Ordinary Least Squares, OLS). Sous sa formulation matricielle, l’estimateur s’exprime de façon exacte au moyen de l’équation normale bien connue :$$hat{beta}_{text{OLS}} = (X^T X)^{-1} X^T Y$X in \mathbb{R}^{n \times d}$ est la matrice de dessein et $Y in \mathbb{R}^n$ est le vecteur des réponses continues. En présence de multicolinéarité sévère entre les prédicteurs ou lorsque la dimensionnalité dépasse le nombre d'observations ($d gg n$), la matrice de dispersion empirique $X^T X$ devient quasi-singulière ou non inversible, induisant une instabilité numérique critique et une variance catastrophique des coefficients estimés.

Pour restaurer la stabilité asymptotique et contrôler l'inflation de la variance au prix d'un léger biais méthodologique, la régularisation de Ridge pénalise la norme $L_2$ des coefficients du modèle, modifiant l'équation d'estimation : »>$$où $X in \mathbb{R}^{n \times d}$ est la matrice de dessein et $Y in \mathbb{R}^n$ est le vecteur des réponses continues. En présence de multicolinéarité sévère entre les prédicteurs ou lorsque la dimensionnalité dépasse le nombre d’observations ($d gg n$), la matrice de dispersion empirique $X^T X$ devient quasi-singulière ou non inversible, induisant une instabilité numérique critique et une variance catastrophique des coefficients estimés.

Pour restaurer la stabilité asymptotique et contrôler l’inflation de la variance au prix d’un léger biais méthodologique, la régularisation de Ridge pénalise la norme $L_2$ des coefficients du modèle, modifiant l’équation d’estimation :$$hat{beta}_{text{Ridge}} = argmin_{beta} left{ |Y – Xbeta|_2^2 + lambda |beta|_2^2 right} = (X^T X + lambda I_d)^{-1} X^T Y$\lambda > 0$ comprime de manière continue les coefficients vers zéro sans toutefois jamais les annuler complètement, garantissant une meilleure robustesse face aux prédicteurs corrélés.

À l'opposé, la méthode Lasso (Least Absolute Shrinkage and Selection Operator), développée par Robert Tibshirani, impose une pénalisation de type $L_1$ sur le vecteur des paramètres : »>$$Le paramètre d’hyper-régularisation $\lambda > 0$ comprime de manière continue les coefficients vers zéro sans toutefois jamais les annuler complètement, garantissant une meilleure robustesse face aux prédicteurs corrélés.

À l’opposé, la méthode Lasso (Least Absolute Shrinkage and Selection Operator), développée par Robert Tibshirani, impose une pénalisation de type $L_1$ sur le vecteur des paramètres :$$hat{beta}_{text{Lasso}} = argmin_{beta} left{ frac{1}{2n} |Y – Xbeta|_2^2 + lambda |beta|_1 right}$L_1$, les solutions optimales du Lasso rencontrent fréquemment les coins des contraintes orthogonales, annulant rigoureusement certains coefficients $\beta_j = 0$. Le Lasso opère ainsi une sélection automatique et parcimonieuse des variables pertinentes, fournissant des modèles interprétables dans des espaces d'entrée de grande dimension. L'architecture ElasticNet conjugue harmonieusement les pénalités $L_1$ et $L_2$ au sein d'une même fonctionnelle d'optimisation composite, préservant la capacité de sélection de variables du Lasso tout en stabilisant les groupes de prédicteurs fortement colinéaires grâce à la régularisation Ridge.

<h3>5.2 Modèles non linéaires et algorithmes d'ensemble pour la régression</h3>
Lorsque la relation sous-jacente unissant le vecteur $X$ à la variable quantitative $Y$ dévie substantiellement de la linéarité, la modélisation statistique mobilise des algorithmes d'estimation non paramétriques. La régression à vecteurs de support (Support Vector Regression, SVR) adapte le cadre théorique des machines à vaste marge aux sorties quantitatives continues grâce à l'introduction d'une fonction de perte $varepsilon$-insensible formalisée par Vapnik : »>$$En raison de la géométrie en losange des courbes de niveau de la boule unité associée à la norme $L_1$, les solutions optimales du Lasso rencontrent fréquemment les coins des contraintes orthogonales, annulant rigoureusement certains coefficients $\beta_j = 0$. Le Lasso opère ainsi une sélection automatique et parcimonieuse des variables pertinentes, fournissant des modèles interprétables dans des espaces d’entrée de grande dimension. L’architecture ElasticNet conjugue harmonieusement les pénalités $L_1$ et $L_2$ au sein d’une même fonctionnelle d’optimisation composite, préservant la capacité de sélection de variables du Lasso tout en stabilisant les groupes de prédicteurs fortement colinéaires grâce à la régularisation Ridge.

5.2 Modèles non linéaires et algorithmes d’ensemble pour la régression

Lorsque la relation sous-jacente unissant le vecteur $X$ à la variable quantitative $Y$ dévie substantiellement de la linéarité, la modélisation statistique mobilise des algorithmes d’estimation non paramétriques. La régression à vecteurs de support (Support Vector Regression, SVR) adapte le cadre théorique des machines à vaste marge aux sorties quantitatives continues grâce à l’introduction d’une fonction de perte $varepsilon$-insensible formalisée par Vapnik :$$L_varepsilon(y, f(x)) = max(0, |y – f(x)| – varepsilon)$\varepsilon > 0$ ne sont pas pénalisés ; le modèle construit un tube de tolérance autour de la trajectoire prédictive et ne pr\end en compte que les observations situées sur ou en dehors de ses limites, appelées vecteurs de support. Grâce à l'application de l'astuce du noyau (kernel trick), la SVR projette implicitement les descripteurs dans un e\space vectoriel de dimension arbitrairement élevée (voire infinie dans le cas du noyau gaussien RBF), permettant d'ajuster des surfaces de régression non linéaires complexes d'une remarquable souplesse géométrique.

Les arbres de décision pour la régression, formalisés au sein de l'architecture CART (Classification and Regression Trees) par Breiman et ses collaborateurs, adoptent une stratégie fondamentalement différente fondée sur la subdivision récursive de l'e\space $\mathcal{X}$ en hyperrectangles orthogonaux aux axes. À chaque étape de ramification, l'algorithme sélectionne le prédicteur $j$ et le seuil de coupure $s$ qui maximisent la réduction de la variance intra-nœud de la variable dépendante : »>$$Dans ce paradigme, les écarts résiduels inférieurs au seuil $\varepsilon > 0$ ne sont pas pénalisés ; le modèle construit un tube de tolérance autour de la trajectoire prédictive et ne pr\end en compte que les observations situées sur ou en dehors de ses limites, appelées vecteurs de support. Grâce à l’application de l’astuce du noyau (kernel trick), la SVR projette implicitement les descripteurs dans un e\space vectoriel de dimension arbitrairement élevée (voire infinie dans le cas du noyau gaussien RBF), permettant d’ajuster des surfaces de régression non linéaires complexes d’une remarquable souplesse géométrique.

Les arbres de décision pour la régression, formalisés au sein de l’architecture CART (Classification and Regression Trees) par Breiman et ses collaborateurs, adoptent une stratégie fondamentalement différente fondée sur la subdivision récursive de l’e\space $\mathcal{X}$ en hyperrectangles orthogonaux aux axes. À chaque étape de ramification, l’algorithme sélectionne le prédicteur $j$ et le seuil de coupure $s$ qui maximisent la réduction de la variance intra-nœud de la variable dépendante :$$Delta text{Var} = text{Var}(Y_{text{parent}}) – left( frac{n_{text{gauche}}}{n} text{Var}(Y_{text{gauche}}) + frac{n_{text{droite}}}{n} text{Var}(Y_{text{droite}}) right)$$La prédiction finale dans chaque feuille terminale est égale à la simple moyenne empirique des observations d’entraînement y résidant.

Les forêts aléatoires de régression surpassent les arbres uniques en agrégeant un vaste ensemble de prédicteurs non corrélés via le bagging et le sous-échantillonnage aléatoire des caractéristiques. Chaque arbre génère une estimation continue indépendante, et la prédiction finale de l’ensemble découle du calcul de la moyenne arithmétique globale :$$hat{f}_{text{RF}}(x) = frac{1}{B} sum_{b=1}^B T_b(x)$$Cette agrégation préserve le faible biais des arbres individuels profonds tout en réduisant drastiquement leur variance d’estimation par la loi des grands nombres. Dans une perspective complémentaire, les méthodes de Gradient Boosting (incarnées par des bibliothèques hautement optimisées telles que XGBoost, LightGBM ou CatBoost) procèdent de manière séquentielle et additive. Chaque nouvel arbre de régression est entraîné non pas sur la variable cible d’origine, mais directement sur le pseudo-résidu négatif — c’est-à-dire le gradient de la fonction de perte quadratique par rapport aux prédictions de l’étape précédente :$$r_{im} = – left[ frac{partial L(y_i, f(x_i))}{partial f(x_i)} right]_{f = f_{(m-1)}}$$Cette descente de gradient dans l’e\space fonctionnel génère des modèles prédictifs continus d’une puissance prédictive exceptionnelle, capables de capturer des interactions de variables d’ordre élevé.

5.3 Réseaux de neurones appliqués à l’estimation continue

L’apprentissage profond applique ses capacités d’approximation fonctionnelle universelle à l’estimation continue en configurant méticuleusement la couche de sortie de ses réseaux neuronaux. Contrairement aux tâches de classification qui exigent des projections sur le simplexe des probabilités, un réseau de régression scalaire standard se conclut par un unique neurone de sortie muni d’une fonction d’activation strictement linéaire (fonction identité) :$$hat{y} = f(x; Theta) = W_L^T h_{L-1} + b_L$h_{L-1}$ représente le vecteur d'activation émanant de l'avant-dernière couche cachée, $W_L$ est la matrice des poids de sortie et $b_L$ est le scalaire de biais. Cette absence de transformation non linéaire finale permet au modèle de projeter des valeurs numériques à support infini sur l'ensemble de l'axe réel $\mathbb{R}$, sans plafonnement ni saturation asymptotique.

La structure formelle d'un Perceptron Multicouche (MLP) dédié à la régression repose sur l'enchaînement de représentations latentes intermédiaires : »>$$où $h_{L-1}$ représente le vecteur d’activation émanant de l’avant-dernière couche cachée, $W_L$ est la matrice des poids de sortie et $b_L$ est le scalaire de biais. Cette absence de transformation non linéaire finale permet au modèle de projeter des valeurs numériques à support infini sur l’ensemble de l’axe réel $\mathbb{R}$, sans plafonnement ni saturation asymptotique.

La structure formelle d’un Perceptron Multicouche (MLP) dédié à la régression repose sur l’enchaînement de représentations latentes intermédiaires :$$h_l = sigma(W_l^T h_{l-1} + b_l), quad forall l in {1, dots, L-1}$\sigma(\cdot)$ est une fonction d'activation non linéaire usuelle (telle que la fonction Rectified Linear Unit ou ReLU, définie par $\sigma(z) = \max(0, z)$). Les théorèmes d'approximation universelle de Cybenko (1989) et de Hornik (1991) garantissent qu'un tel réseau de neurones à propagation avant, doté d'un nombre suffisant de neurones et d'une non-linéarité continue, peut approximer toute fonction continue définie sur un sous-ensemble compact de $\mathbb{R}^d$ a\vec une précision arbitrairement fine.

La dynamique de calibrage des paramètres $\Theta = {W_l, b_l}_{l=1}^L$ s'opère par l'algorithme de rétropropagation du gradient fondé sur la règle de dérivation en chaîne. Dans les contextes où les résidus sont modélisés comme normaux, l'optimisation utilise l'erreur quadratique moyenne. Néanmoins, en présence de queues de distribution épaisses ou de fluctuations extrêmes dans la variable cible, les ingénieurs recourent fréquemment à la perte de Huber ou à la fonction de perte pseudo-Huber, qui adoptent un comportement quadratique pour les petites erreurs et linéaire pour les grands écarts résiduels, conjuguant ainsi la convergence rapide des moindres carrés et la robustesse asymptotique de la norme $L_1$.

<h2>6. Algorithmes représentatifs de la classification</h2>

<h3>6.1 Modèles probabilistes et discriminants linéaires</h3>
Dans l'arsenal méthodologique de la classification supervisée, la <a href="https://hastie.su.domains/ElemStatLearn/">régression logistique</a> occupe une position fondatrice singulière. En dépit de son appellation historique trompeuse qui intègre le mot « régression », elle constitue un algorithme de classification binaire par excellence. Sa logique consiste à modéliser la probabilité logistique a posteriori via l'application de la fonction sigmoïde (ou logit inverse) à une combinaison linéaire affine des prédicteurs d'entrée : »>$$où $\sigma(\cdot)$ est une fonction d’activation non linéaire usuelle (telle que la fonction Rectified Linear Unit ou ReLU, définie par $\sigma(z) = \max(0, z)$). Les théorèmes d’approximation universelle de Cybenko (1989) et de Hornik (1991) garantissent qu’un tel réseau de neurones à propagation avant, doté d’un nombre suffisant de neurones et d’une non-linéarité continue, peut approximer toute fonction continue définie sur un sous-ensemble compact de $\mathbb{R}^d$ a\vec une précision arbitrairement fine.

La dynamique de calibrage des paramètres $\Theta = {W_l, b_l}_{l=1}^L$ s’opère par l’algorithme de rétropropagation du gradient fondé sur la règle de dérivation en chaîne. Dans les contextes où les résidus sont modélisés comme normaux, l’optimisation utilise l’erreur quadratique moyenne. Néanmoins, en présence de queues de distribution épaisses ou de fluctuations extrêmes dans la variable cible, les ingénieurs recourent fréquemment à la perte de Huber ou à la fonction de perte pseudo-Huber, qui adoptent un comportement quadratique pour les petites erreurs et linéaire pour les grands écarts résiduels, conjuguant ainsi la convergence rapide des moindres carrés et la robustesse asymptotique de la norme $L_1$.

6. Algorithmes représentatifs de la classification

6.1 Modèles probabilistes et discriminants linéaires

Dans l’arsenal méthodologique de la classification supervisée, la régression logistique occupe une position fondatrice singulière. En dépit de son appellation historique trompeuse qui intègre le mot « régression », elle constitue un algorithme de classification binaire par excellence. Sa logique consiste à modéliser la probabilité logistique a posteriori via l’application de la fonction sigmoïde (ou logit inverse) à une combinaison linéaire affine des prédicteurs d’entrée :$$P(Y = 1 mid X = x) = sigma(w^T x + b) = frac{1}{1 + e^{-(w^T x + b)}}$(-\infty, +\infty)$ sur l'intervalle ouvert des probabilités $(0, 1)$. La frontière de décision séparant les deux classes correspond au plan d'équi-probabilité $P(Y = 1 mid X = x) = 0.5$, ce qui équivaut rigoureusement à l'hyperplan linéaire d'équation $w^T x + b = 0$. Les paramètres sont estimés par maximisation de la log-vraisemblance par des méthodes de Newton-Raphson ou d'optimisation quasi-Newton (telles que l'algorithme L-BFGS).

L'Analyse Discriminante Linéaire (Linear Discriminant Analysis, LDA) formulée par Ronald Fisher adopte une démarche générative complémentaire. Au lieu de modéliser directement la distribution conditionnelle $P(Y mid X)$, elle modélise la distribution conjointe via la formule de Bayes : »>$$La transformation sigmoïde mappe l’axe réel conti\nu des scores non contraints $(-\infty, +\infty)$ sur l’intervalle ouvert des probabilités $(0, 1)$. La frontière de décision séparant les deux classes correspond au plan d’équi-probabilité $P(Y = 1 mid X = x) = 0.5$, ce qui équivaut rigoureusement à l’hyperplan linéaire d’équation $w^T x + b = 0$. Les paramètres sont estimés par maximisation de la log-vraisemblance par des méthodes de Newton-Raphson ou d’optimisation quasi-Newton (telles que l’algorithme L-BFGS).

L’Analyse Discriminante Linéaire (Linear Discriminant Analysis, LDA) formulée par Ronald Fisher adopte une démarche générative complémentaire. Au lieu de modéliser directement la distribution conditionnelle $P(Y mid X)$, elle modélise la distribution conjointe via la formule de Bayes :$$P(Y = k mid X = x) = frac{P(X = x mid Y = k) P(Y = k)}{sum_{j=1}^K P(X = x mid Y = j) P(Y = j)}$k$ est distribuée selon une densité normale multivariée $\mathcal{N}(\mu_k, \Sigma)$ au sein de l'e\space des descripteurs, caractérisée par un vecteur de moyennes propre $\mu_k in \mathbb{R}^d$ mais partageant une unique matrice de covariance commune $\Sigma$ (hypothèse d'homoscédasticité matricielle). L'annulation des termes quadratiques dans le calcul des rapports de vraisemblance produit une surface de séparation strictement linéaire, particulièrement efficace lorsque la normalité des prédicteurs est respectée.

Enfin, le classificateur Naive Bayes applique une hypothèse d'indépendance conditionnelle forte (dite « naïve ») entre l'ensemble des descripteurs sachant la classe cible : »>$$La LDA postule formellement que chaque classe $k$ est distribuée selon une densité normale multivariée $\mathcal{N}(\mu_k, \Sigma)$ au sein de l’e\space des descripteurs, caractérisée par un vecteur de moyennes propre $\mu_k in \mathbb{R}^d$ mais partageant une unique matrice de covariance commune $\Sigma$ (hypothèse d’homoscédasticité matricielle). L’annulation des termes quadratiques dans le calcul des rapports de vraisemblance produit une surface de séparation strictement linéaire, particulièrement efficace lorsque la normalité des prédicteurs est respectée.

Enfin, le classificateur Naive Bayes applique une hypothèse d’indépendance conditionnelle forte (dite « naïve ») entre l’ensemble des descripteurs sachant la classe cible :$$P(X_1, X_2, dots, X_d mid Y = k) = prod_{j=1}^d P(X_j mid Y = k)$$Bien que cette hypothèse d’indépendance mutuelle absolue entre prédicteurs soit presque universellement violée dans les données empiriques réelles, Naive Bayes démontre une efficacité empirique étonnante, notamment dans les tâches de classification textuelle à très haute dimensionnalité ou de catégorisation thématique de dossiers médicaux.

6.2 Séparateurs géométriques et algorithmes non paramétriques

L’un des fleurons de la théorie de l’apprentissage statistique est incarné par les Machines à Vecteurs de Support (Support Vector Machines, SVM). Contrairement aux approches probabilistes qui tentent d’estimer des densités de présence, les SVM abordent la classification binaire sous un angle purement géométrique. Elles visent à identifier l’hyperplan séparateur qui maximise la marge géométrique canonique entre les classes — c’est-à-dire la plus petite distance orthogonale séparant l’hyperplan des points de données les plus proches :$$min_{w, b} frac{1}{2} |w|_2^2 quad text{sujet à} quad y_i (w^T x_i + b) ge 1, quad forall i in {1, dots, n}$\xi_i ge 0$ sont adjointes pour tolérer un certain degré d'empiétement non séparable au prix d'une constante de pénalisation $C$. Grâce à l'emploi de fonctions de noyau reproduisant (noyaux polynomiaux, gaussiens RBF ou sigmoïdes), la SVM opère une projection des données dans un e\space de caractéristiques de dimension supérieure où la séparabilité géométrique des catégories peut être réalisée de manière linéaire sans computation explicite des coordonnées.

L'algorithme des $k$ plus proches voisins ($k$-Nearest Neighbors, $k$-NN) se classe pour sa part parmi les méthodes d'apprentissage paresseux (lazy learning) sans phase d'ajustement paramétrique formel. La prédiction pour un nouveau vecteur $x$ s'opère au moment précis de l'interrogation en identifiant les $k$ observations les plus proches dans l'e\space $\mathcal{X}$ au sens d'une distance métrique prédéfinie (la distance euclidienne ou de Man\hat\tan). L'attribution de la classe s'effectue par un vote de majorité simple ou pondéré par l'inverse de la distance relative : »>$$Dans leur formulation à marge souple (soft-margin SVM), des variables d’écart $\xi_i ge 0$ sont adjointes pour tolérer un certain degré d’empiétement non séparable au prix d’une constante de pénalisation $C$. Grâce à l’emploi de fonctions de noyau reproduisant (noyaux polynomiaux, gaussiens RBF ou sigmoïdes), la SVM opère une projection des données dans un e\space de caractéristiques de dimension supérieure où la séparabilité géométrique des catégories peut être réalisée de manière linéaire sans computation explicite des coordonnées.

L’algorithme des $k$ plus proches voisins ($k$-Nearest Neighbors, $k$-NN) se classe pour sa part parmi les méthodes d’apprentissage paresseux (lazy learning) sans phase d’ajustement paramétrique formel. La prédiction pour un nouveau vecteur $x$ s’opère au moment précis de l’interrogation en identifiant les $k$ observations les plus proches dans l’e\space $\mathcal{X}$ au sens d’une distance métrique prédéfinie (la distance euclidienne ou de Man\hat\tan). L’attribution de la classe s’effectue par un vote de majorité simple ou pondéré par l’inverse de la distance relative :$$hat{y} = argmax_{c} sum_{i in mathcal{N}_k(x)} mathbb{I}(y_i = c)$k$-NN s'effondre de manière dramatique sous le coup du <a href="https://direct.mit.edu/books/book/2478/Foundations-of-Machine-Learning">fléau de la dimensionnalité</a> (curse of dimensionality). Lorsque le nombre de dimensions $d$ croît, le volume de l'e\space vectoriel croît exponentiellement, reléguant l'ensemble des points d'observation à la périphérie du domaine. La notion même de distance métrique de proximité se dissout statistiquement, toutes les observations se trouvant à des distances quasi équivalentes les unes des autres, ce qui anéantit le pouvoir discriminant du vote de voisinage.

<h3>6.3 Ensembles d'arbres et architectures profondes en classification</h3>
Les arbres de décision pour la classification segmentent l'e\space des caractéristiques en utilisant des métriques d'impureté statistique adaptées aux variables nominales. Lors de chaque scission binaire d'un nœud parent en deux sous-nœuds, l'algorithme privilégie la partition qui minimise soit l'indice d'impureté de Gini : »>$$Bien qu’intuitif et conceptuellement élégant, l’algorithme du $k$-NN s’effondre de manière dramatique sous le coup du fléau de la dimensionnalité (curse of dimensionality). Lorsque le nombre de dimensions $d$ croît, le volume de l’e\space vectoriel croît exponentiellement, reléguant l’ensemble des points d’observation à la périphérie du domaine. La notion même de distance métrique de proximité se dissout statistiquement, toutes les observations se trouvant à des distances quasi équivalentes les unes des autres, ce qui anéantit le pouvoir discriminant du vote de voisinage.

6.3 Ensembles d’arbres et architectures profondes en classification

Les arbres de décision pour la classification segmentent l’e\space des caractéristiques en utilisant des métriques d’impureté statistique adaptées aux variables nominales. Lors de chaque scission binaire d’un nœud parent en deux sous-nœuds, l’algorithme privilégie la partition qui minimise soit l’indice d’impureté de Gini :$$I_{text{Gini}}(p) = 1 – sum_{k=1}^K p_k^2$$soit l’entropie de Shannon issue de la théorie de l’information :$$H(p) = – sum_{k=1}^K p_k log_2(p_k)$p_k$ représente la proportion empirique d'observations appartenant à la classe $k$ au sein du nœud considéré. L'arbre progresse récursivement jusqu'à ce que les nœuds terminaux soient parfaitement purs ($I = 0$) ou qu'un critère d'arrêt de profondeur maximale soit atteint.

Les forêts aléatoires de classification assemblent une multitude de ces arbres non élagués en introduisant une double source de stochasticité : le tirage aléatoire a\vec remise d'échantillons de sujets (bootstrapping) et le tirage aléatoire restre\int d'un sous-ensemble de prédicteurs à chaque étape de scission ($\sqrt{d}$ variables retenues par convention). L'assignation finale s'effectue par consensus démocratique (vote majoritaire dur) ou par agrégation et moyennage des distributions probabilistes issues de chaque arbre composant le réseau d'estimateurs.

Dans l'univers de l'apprentissage profond (Deep Learning), les architectures modulaires de réseaux de neurones s'adaptent à la classification multiclasse grâce à l'implémentation, au niveau de leur couche terminale, de l'opérateur non linéaire <a href="https://www.deeplearningbook.org/">Softmax</a> : »>$$où $p_k$ représente la proportion empirique d’observations appartenant à la classe $k$ au sein du nœud considéré. L’arbre progresse récursivement jusqu’à ce que les nœuds terminaux soient parfaitement purs ($I = 0$) ou qu’un critère d’arrêt de profondeur maximale soit atteint.

Les forêts aléatoires de classification assemblent une multitude de ces arbres non élagués en introduisant une double source de stochasticité : le tirage aléatoire a\vec remise d’échantillons de sujets (bootstrapping) et le tirage aléatoire restre\int d’un sous-ensemble de prédicteurs à chaque étape de scission ($\sqrt{d}$ variables retenues par convention). L’assignation finale s’effectue par consensus démocratique (vote majoritaire dur) ou par agrégation et moyennage des distributions probabilistes issues de chaque arbre composant le réseau d’estimateurs.

Dans l’univers de l’apprentissage profond (Deep Learning), les architectures modulaires de réseaux de neurones s’adaptent à la classification multiclasse grâce à l’implémentation, au niveau de leur couche terminale, de l’opérateur non linéaire Softmax :$$hat{p}_k = text{Softmax}(z)_k = frac{e^{z_k}}{sum_{j=1}^K e^{z_j}}, quad forall k in {1, dots, K}$z = (z_1, dots, z_K)^T$ désigne le vecteur des logits linéaires non normalisés délivrés par la dernière transformation tensorielle. L'opérateur Soft\max garantit mathématiquement que la sortie est un vecteur strictement positif dont la somme est unitaire, matérialisant ainsi une véritable distribution de probabilités conditionnelles catégorielles a posteriori. L'apprentissage est piloté par l'entropie croisée catégorielle, optimisée par des algorithmes stochastiques à base d'élan adaptatif tels que l'optimiseur Adam.

<h2>7. Métriques d'évaluation en régression : Quantification de l'erreur d'ajustement</h2>

<h3>7.1 Métriques quadratiques et absolues</h3>
L'évaluation empirique des performances d'un modèle de régression nécessite de quantifier l'amplitude de l'écart scalaire subsistant entre les valeurs prédites $\hat{y}_i = f(x_i)$ et les étiquettes réelles $y_i$ sur un jeu de test indépendant non exploité lors de l'apprentissage. La métrique la plus universellement rapportée est l'<a href="https://scikit-learn.org/stable/modules/model_evaluation.html#regression-metrics">Erreur Quadratique Moyenne (Mean Squared Error, MSE)</a> : »>$$où $z = (z_1, dots, z_K)^T$ désigne le vecteur des logits linéaires non normalisés délivrés par la dernière transformation tensorielle. L’opérateur Soft\max garantit mathématiquement que la sortie est un vecteur strictement positif dont la somme est unitaire, matérialisant ainsi une véritable distribution de probabilités conditionnelles catégorielles a posteriori. L’apprentissage est piloté par l’entropie croisée catégorielle, optimisée par des algorithmes stochastiques à base d’élan adaptatif tels que l’optimiseur Adam.

7. Métriques d’évaluation en régression : Quantification de l’erreur d’ajustement

7.1 Métriques quadratiques et absolues

L’évaluation empirique des performances d’un modèle de régression nécessite de quantifier l’amplitude de l’écart scalaire subsistant entre les valeurs prédites $\hat{y}_i = f(x_i)$ et les étiquettes réelles $y_i$ sur un jeu de test indépendant non exploité lors de l’apprentissage. La métrique la plus universellement rapportée est l’Erreur Quadratique Moyenne (Mean Squared Error, MSE) :$$text{MSE} = frac{1}{n_{text{test}}} sum_{i=1}^{n_{text{test}}} (y_i – hat{y}_i)^2$\text{RMSE} = \sqrt{\text{MSE}}$. La RMSE exprime l'écart-type moyen des résidus de prédiction. Si l'on prédit le score d'un test mnésique gradué en points, la RMSE livre une marge d'incertitude directement exprimée en points d'évaluation clinique.

Lorsque les distributions empiriques comportent des aberrations distributionnelles ou des queues épaisses brisant la normalité théorique, l'usage de métriques linéaires non quadratiques s'avère indispensable. L'Erreur Absolue Moyenne (Mean Absolute Error, MAE) moyenne directement les grandeurs scalaires des résidus sans élévation au carré : »>$$En vertu de sa nature quadratique, la MSE amplifie de manière exponentielle les erreurs d’estimation majeures : une prédiction déviant de 10 unités contribue à hauteur de 100 unités d’erreur au calcul global, alors qu’un écart de 2 unités ne génère que 4 unités de perte. Cette disproportion pénalise les architectures produisant des erreurs aberrantes intermittentes.

Pour restaurer l’intelligibilité pratique et ramener l’indicateur d’erreur à l’échelle de mesure originale de la variable cible, les analystes calculent la Racine de l’Erreur Quadratique Moyenne (Root Mean Squared Error, RMSE), qui s’écrit $\text{RMSE} = \sqrt{\text{MSE}}$. La RMSE exprime l’écart-type moyen des résidus de prédiction. Si l’on prédit le score d’un test mnésique gradué en points, la RMSE livre une marge d’incertitude directement exprimée en points d’évaluation clinique.

Lorsque les distributions empiriques comportent des aberrations distributionnelles ou des queues épaisses brisant la normalité théorique, l’usage de métriques linéaires non quadratiques s’avère indispensable. L’Erreur Absolue Moyenne (Mean Absolute Error, MAE) moyenne directement les grandeurs scalaires des résidus sans élévation au carré :$$text{MAE} = frac{1}{n_{text{test}}} sum_{i=1}^{n_{text{test}}} |y_i – hat{y}_i|$\text{MedAE} = \text{médiane}(|y_1 – \hat{y}_1|, dots, |y_n – \hat{y}_n|)$, offre un estimateur statistique insensible à tout p\oint de contamination univarié situé en deçà du seuil de rupture de 50 %.

<h3>7.2 Coefficients de détermination et métriques relatives</h3>
Contrairement aux métriques dimensionnées (RMSE, MAE) dont la valeur dép\end directement des unités de mesure utilisées, le Coefficient de Détermination, désigné par $R^2$, offre une quantification adimensionnelle normalisée de la variance expliquée. Il est formellement défini par la comparaison du résidu de prédiction du modèle a\vec celui d'un modèle trivial naïf qui prédirait systématiquement la moyenne arithmétique empirique $\bar{y}$ de l'échantillon : »>$$La MAE confère à chaque écart résiduel un poids strictement proportionnel à sa magnitude arithmétique réelle, immunisant l’analyste contre l’influence distordante des observations aberrantes isolées. Pour une résistance méthodologique encore plus poussée, la Médiane des Écarts Absolus (Median Absolute Error, MedAE), calculée par $\text{MedAE} = \text{médiane}(|y_1 – \hat{y}_1|, dots, |y_n – \hat{y}_n|)$, offre un estimateur statistique insensible à tout p\oint de contamination univarié situé en deçà du seuil de rupture de 50 %.

7.2 Coefficients de détermination et métriques relatives

Contrairement aux métriques dimensionnées (RMSE, MAE) dont la valeur dép\end directement des unités de mesure utilisées, le Coefficient de Détermination, désigné par $R^2$, offre une quantification adimensionnelle normalisée de la variance expliquée. Il est formellement défini par la comparaison du résidu de prédiction du modèle a\vec celui d’un modèle trivial naïf qui prédirait systématiquement la moyenne arithmétique empirique $\bar{y}$ de l’échantillon :$$R^2 = 1 – frac{text{SS}_{text{res}}}{text{SS}_{text{tot}}} = 1 – frac{sum_{i=1}^n (y_i – hat{y}_i)^2}{sum_{i=1}^n (y_i – bar{y})^2}$R^2$ de $1.0$ signale une restitution sans faille de la variance de la cible, tandis qu'une valeur de $0$ indique que l'algorithme ne fait pas mieux que la simple constante moyenne. Fait capital souvent mécon\nu : sur un échantillon de test hors-domaine ou en présence d'un modèle fortement surajusté, le $R^2$ peut prendre des valeurs strictement négatives ($R^2 < 0$), attestant formellement que les prédictions algorithmiques sont plus distantes des vraies valeurs que ne le serait la banale moyenne des observations de test.

Toutefois, le $R^2$ standard souffre d'une limite mécanique majeure : il croît de manière monotone ou stagne à chaque fois qu'un prédicteur supplémentaire est injecté dans le modèle, y compris s'il s'agit d'un vecteur de bruit blanc purement stochastique sans lien a\vec la cible. Pour pénaliser cette inflation artificielle due à la complexité superflue, on recourt au $R^2$ ajusté : »>$$Un score $R^2$ de $1.0$ signale une restitution sans faille de la variance de la cible, tandis qu’une valeur de $0$ indique que l’algorithme ne fait pas mieux que la simple constante moyenne. Fait capital souvent mécon\nu : sur un échantillon de test hors-domaine ou en présence d’un modèle fortement surajusté, le $R^2$ peut prendre des valeurs strictement négatives ($R^2 < 0$), attestant formellement que les prédictions algorithmiques sont plus distantes des vraies valeurs que ne le serait la banale moyenne des observations de test.

Toutefois, le $R^2$ standard souffre d’une limite mécanique majeure : il croît de manière monotone ou stagne à chaque fois qu’un prédicteur supplémentaire est injecté dans le modèle, y compris s’il s’agit d’un vecteur de bruit blanc purement stochastique sans lien a\vec la cible. Pour pénaliser cette inflation artificielle due à la complexité superflue, on recourt au $R^2$ ajusté :$$R^2_{text{adj}} = 1 – left[ frac{(1 – R^2)(n – 1)}{n – d – 1} right]$n$ est la taille de l'échantillon et $d$ le nombre de paramètres ou de caractéristiques intégrées.

Dans les applications économiques ou de modélisation industrielle, les praticiens sollicitent également l'Erreur Moyenne Absolue en Pourcentage (Mean Absolute Percentage Error, MAPE) : »>$$où $n$ est la taille de l’échantillon et $d$ le nombre de paramètres ou de caractéristiques intégrées.

Dans les applications économiques ou de modélisation industrielle, les praticiens sollicitent également l’Erreur Moyenne Absolue en Pourcentage (Mean Absolute Percentage Error, MAPE) :$$text{MAPE} = frac{100%}{n} sum_{i=1}^n left| frac{y_i – hat{y}_i}{y_i} right|$y_i$ s'approche de zéro ($y_i \rightarrow 0$), le quotient diverge vers l'infini, rendant le calcul inapplicable pour toute variable centrée ou présentant des valeurs nulles.

<h3>7.3 Analyse résiduelle et diagnostics d'adéquation</h3>
Aucune évaluation de régression ne peut être déclarée exhaustive par la simple récitation de métriques scalaires synthétiques ; elle impose un audit approfondi de la structure géométrique des résidus d'ajustement $e_i = y_i – \hat{y}_i$. L'examen graphique des résidus en fonction des valeurs ajustées $\hat{y}_i$ constitue l'épreuve de vérité pour déceler d'éventuelles violations de l'hypothèse d'homoscédasticité. Une structure résiduelle optimale doit s'apparenter à un nuage de points dénué de tout motif identifiable, uniformément dispersé au-dessus et en-dessous de l'axe zéro.

Si la dispersion résiduelle dessine une forme d'entonnoir ou de pavillon de trompette (l'amplitude des résidus s'élargissant à mesure que la prédiction croît), l'analyste se trouve face à un phénomène d'hétéroscédasticité caractérisé. Cette distorsion indique que la variabilité de l'erreur d'estimation dép\end directement de l'amplitude de la prédiction, invalidant l'équité des métriques globales et exigeant des transformations d'échelle (telles que le passage au logarithme) ou le recours à des estimateurs sandwich de variance asymptotique robuste.

La normalité de la distribution des résidus est traditionnellement diagnostiquée au moyen de graphiques quantile-quantile (Q-Q plots), qui comparent les quantiles empiriques des résidus standardisés aux quantiles théoriques d'une distribution gaussienne idéale. Tout décrochement significatif le long de la ligne diagonale théorique signale la présence d'asymétries (skewness) ou d'un aplatissement anomal a\vec queues lourdes (leptokurticité). Enfin, l'identification des points leviers et des observations influentes s'appuie sur le calcul systématique des résidus studentisés et de la distance de Cook, laquelle évalue le déplacement vectoriel de l'ensemble des paramètres du modèle induit par l'omission d'une observation spécifique lors de la phase d'apprentissage.

<h2>8. Métriques d'évaluation en classification : Évaluation du pouvoir discriminant</h2>

<h3>8.1 Matrice de confusion et métriques dérivées fondamentales</h3>
L'évaluation des classificateurs repose sur une structure tabulaire canonique appelée matrice de confusion, qui croise les classes réelles du système a\vec les affectations prononcées par l'algorithme. Dans le paradigme binaire standard (classe positive et classe négative), cette matrice se segmente en quatre quadrants fondamentaux :

<ul>
<li><strong>Vrais Positifs (VP) :</strong> Observations positives correctement identifiées comme positives.</li>
<li><strong>Faux Positifs (FP) :</strong> Erreurs de type I, où des observations négatives sont identifiées à tort comme positives.</li>
<li><strong>Vrais Négatifs (VN) :</strong> Observations négatives correctement identifiées comme négatives.</li>
<li><strong>Faux Négatifs (FN) :</strong> Erreurs de type II, où des observations positives sont manquées et catégorisées comme négatives.</li>
</ul>

La métrique la plus intuitive est l'<a href="https://scikit-learn.org/stable/modules/model_evaluation.html#classification-metrics">Exactitude globale (Accuracy)</a>, qui quantifie la proportion de jugements corrects sur l'ensemble de la cohorte : »>$$Bien que séduisante par son expressivité sous forme d’un pourcentage d’erreur relatif unifié, la MAPE abrite des pièges mathématiques pernicieux : lorsque la cible véritable $y_i$ s’approche de zéro ($y_i \rightarrow 0$), le quotient diverge vers l’infini, rendant le calcul inapplicable pour toute variable centrée ou présentant des valeurs nulles.

7.3 Analyse résiduelle et diagnostics d’adéquation

Aucune évaluation de régression ne peut être déclarée exhaustive par la simple récitation de métriques scalaires synthétiques ; elle impose un audit approfondi de la structure géométrique des résidus d’ajustement $e_i = y_i – \hat{y}_i$. L’examen graphique des résidus en fonction des valeurs ajustées $\hat{y}_i$ constitue l’épreuve de vérité pour déceler d’éventuelles violations de l’hypothèse d’homoscédasticité. Une structure résiduelle optimale doit s’apparenter à un nuage de points dénué de tout motif identifiable, uniformément dispersé au-dessus et en-dessous de l’axe zéro.

Si la dispersion résiduelle dessine une forme d’entonnoir ou de pavillon de trompette (l’amplitude des résidus s’élargissant à mesure que la prédiction croît), l’analyste se trouve face à un phénomène d’hétéroscédasticité caractérisé. Cette distorsion indique que la variabilité de l’erreur d’estimation dép\end directement de l’amplitude de la prédiction, invalidant l’équité des métriques globales et exigeant des transformations d’échelle (telles que le passage au logarithme) ou le recours à des estimateurs sandwich de variance asymptotique robuste.

La normalité de la distribution des résidus est traditionnellement diagnostiquée au moyen de graphiques quantile-quantile (Q-Q plots), qui comparent les quantiles empiriques des résidus standardisés aux quantiles théoriques d’une distribution gaussienne idéale. Tout décrochement significatif le long de la ligne diagonale théorique signale la présence d’asymétries (skewness) ou d’un aplatissement anomal a\vec queues lourdes (leptokurticité). Enfin, l’identification des points leviers et des observations influentes s’appuie sur le calcul systématique des résidus studentisés et de la distance de Cook, laquelle évalue le déplacement vectoriel de l’ensemble des paramètres du modèle induit par l’omission d’une observation spécifique lors de la phase d’apprentissage.

8. Métriques d’évaluation en classification : Évaluation du pouvoir discriminant

8.1 Matrice de confusion et métriques dérivées fondamentales

L’évaluation des classificateurs repose sur une structure tabulaire canonique appelée matrice de confusion, qui croise les classes réelles du système a\vec les affectations prononcées par l’algorithme. Dans le paradigme binaire standard (classe positive et classe négative), cette matrice se segmente en quatre quadrants fondamentaux :

• Vrais Positifs (VP) : Observations positives correctement identifiées comme positives.
• Faux Positifs (FP) : Erreurs de type I, où des observations négatives sont identifiées à tort comme positives.
• Vrais Négatifs (VN) : Observations négatives correctement identifiées comme négatives.
• Faux Négatifs (FN) : Erreurs de type II, où des observations positives sont manquées et catégorisées comme négatives.

La métrique la plus intuitive est l’Exactitude globale (Accuracy), qui quantifie la proportion de jugements corrects sur l’ensemble de la cohorte :$$text{Accuracy} = frac{text{VP} + text{VN}}{text{VP} + text{VN} + text{FP} + text{FN}}$$Malgré sa simplicité apparente, l’Accuracy présente des limites méthodologiques majeures en présence de classes déséquilibrées (class imbalance). Dans un protocole de dépistage d’une maladie rare n’affectant que 1 individu sur 1 000 (prévalence de 0,1 %), un classificateur trivial assignant uniformément l’étiquette « négatif » à la totalité des sujets présentera une Exactitude de 99,9 %, tout en étant cliniquement inopérant puisqu’il échoue à identifier le moindre cas positif.

Pour contourner ce biais, l’analyse dissocie la Précision (valeur prédictive positive) du Rappel (sensibilité statistique) :$$text{Précision} = frac{text{VP}}{text{VP} + text{FP}}, qquad text{Rappel} = frac{text{VP}}{text{VP} + text{FN}}$$La Précision mesure la capacité du modèle à ne pas inclure de fausses alertes parmi ses détections positives, tandis que le Rappel quantifie son aptitude à capturer l’exhaustivité des cibles positives existantes. Pour unifier ces deux grandeurs dans un arbitrage mathématique cohérent, on mobilise le Score F1, qui représente leur moyenne harmonique :$$F_1 = 2 times frac{text{Précision} times text{Rappel}}{text{Précision} + text{Rappel}} = frac{2text{VP}}{2text{VP} + text{FP} + text{FN}}$F_\beta$ : »>$$Le choix d’une moyenne harmonique garantit que le Score F1 t\end vers zéro dès lors que l’une ou l’autre des deux composantes s’effondre. Lorsque les considérations du domaine de recherche imposent d’accorder une préséance explicite au Rappel (par exemple dans le diagnostic médical préliminaire où manquer un malade est dramatique) ou à la Précision (pour éviter des procédures thérapeutiques invasives consécutives à un faux positif), la métrique se généralise sous la forme du score $F_\beta$ :$$F_beta = (1 + beta^2) frac{text{Précision} times text{Rappel}}{(beta^2 times text{Précision}) + text{Rappel}}$\beta$ est un coefficient de pondération modulant l'importance relative allouée au Rappel par rapport à la Précision.

<h3>8.2 Courbes de performance et seuils de décision</h3>
La plupart des classificateurs contemporains ne génèrent pas une décision binaire brute mais produisent un score ou une probabilité conditionnelle continue $\hat{p}(x) in [0, 1]$. La transformation de ce score conti\nu en une assignation catégorielle discrète impose l'application d'un seuil critique de décision $tau$, tel que $\hat{y} = 1$ si $\hat{p}(x) ge \tau$ et $\hat{y} = 0$ sinon. Par défaut, la plupart des algorithmes fixent arbitrairement $\tau = 0.5$, une convention sans justification universelle lorsque les distributions de classes sont asymétriques.

La courbe ROC (Receiver Operating Characteristic) permet de cartographier les performances intrinsèques du classificateur indépendamment de tout seuil préétabli. Elle trace le Taux de Vrais Positifs (Rappel ou sensibilité) en fonction du Taux de Faux Positifs ($1 – \text{spécificité}$) pour l'ensemble exhaustif des seuils de coupure $\tau in [0, 1]$. L'Aire sous la Courbe ROC (AUC-ROC) condense cette information en une métrique globale comprise entre 0 et 1. Une valeur de $0.5$ signale une discrimination équivalente au hasard complet (la bissectrice diagonale), tandis qu'une valeur de $1.0$ indique une séparabilité géométrique absolue des deux classes. L'AUC-ROC possède une propriété statistique remarquable : elle correspond à la probabilité qu'une observation positive choisie au hasard obtienne un score de confiance prédictif supérieur à celui d'une observation négative tirée aléatoirement (statistique équivalente au test non paramétrique U de Mann-Whitney).

Toutefois, en présence d'un déséquilibre massif des classes, la courbe ROC peut afficher un optimisme trompeur, car le Taux de Faux Positifs est freiné par le nombre gigantesque de véritables négatifs au dénominateur ($\text{FP} / (\text{FP} + \text{VN})$). Dans ces scénarios asymétriques sévères, la Courbe Précision-Rappel (Precision-Recall Curve, PRC) offre une alternative analytique plus rigoureuse. L'Aire sous la Courbe Précision-Rappel (AUC-PRC) se concentre uniquement sur la classe minoritaire d'intérêt, sanctionnant sans complaisance le moindre afflux de faux positifs dans l'e\space décisionnel.

L'optimisation du seuil de coupure $\tau^*$ doit ensuite être opérée par l'analyste au regard d'une matrice de coûts asymétriques. Si le coût d'un faux négatif $C_{\text{FN}}$ excède d'un ordre de grandeur le coût d'un faux positif $C_{\text{FP}}$, le seuil optimal sera mécaniquement abaissé bien en deçà de 0.5 via la minimisation du coût de Bayes global : »>$$où $\beta$ est un coefficient de pondération modulant l’importance relative allouée au Rappel par rapport à la Précision.

8.2 Courbes de performance et seuils de décision

La plupart des classificateurs contemporains ne génèrent pas une décision binaire brute mais produisent un score ou une probabilité conditionnelle continue $\hat{p}(x) in [0, 1]$. La transformation de ce score conti\nu en une assignation catégorielle discrète impose l’application d’un seuil critique de décision $tau$, tel que $\hat{y} = 1$ si $\hat{p}(x) ge \tau$ et $\hat{y} = 0$ sinon. Par défaut, la plupart des algorithmes fixent arbitrairement $\tau = 0.5$, une convention sans justification universelle lorsque les distributions de classes sont asymétriques.

La courbe ROC (Receiver Operating Characteristic) permet de cartographier les performances intrinsèques du classificateur indépendamment de tout seuil préétabli. Elle trace le Taux de Vrais Positifs (Rappel ou sensibilité) en fonction du Taux de Faux Positifs ($1 – \text{spécificité}$) pour l’ensemble exhaustif des seuils de coupure $\tau in [0, 1]$. L’Aire sous la Courbe ROC (AUC-ROC) condense cette information en une métrique globale comprise entre 0 et 1. Une valeur de $0.5$ signale une discrimination équivalente au hasard complet (la bissectrice diagonale), tandis qu’une valeur de $1.0$ indique une séparabilité géométrique absolue des deux classes. L’AUC-ROC possède une propriété statistique remarquable : elle correspond à la probabilité qu’une observation positive choisie au hasard obtienne un score de confiance prédictif supérieur à celui d’une observation négative tirée aléatoirement (statistique équivalente au test non paramétrique U de Mann-Whitney).

Toutefois, en présence d’un déséquilibre massif des classes, la courbe ROC peut afficher un optimisme trompeur, car le Taux de Faux Positifs est freiné par le nombre gigantesque de véritables négatifs au dénominateur ($\text{FP} / (\text{FP} + \text{VN})$). Dans ces scénarios asymétriques sévères, la Courbe Précision-Rappel (Precision-Recall Curve, PRC) offre une alternative analytique plus rigoureuse. L’Aire sous la Courbe Précision-Rappel (AUC-PRC) se concentre uniquement sur la classe minoritaire d’intérêt, sanctionnant sans complaisance le moindre afflux de faux positifs dans l’e\space décisionnel.

L’optimisation du seuil de coupure $\tau^*$ doit ensuite être opérée par l’analyste au regard d’une matrice de coûts asymétriques. Si le coût d’un faux négatif $C_{\text{FN}}$ excède d’un ordre de grandeur le coût d’un faux positif $C_{\text{FP}}$, le seuil optimal sera mécaniquement abaissé bien en deçà de 0.5 via la minimisation du coût de Bayes global :$$tau^* = argmin_tau left( C_{text{FP}} cdot text{FP}(tau) + C_{text{FN}} cdot text{FN}(tau) right)$$

8.3 Métriques probabilistes et multi-classes

L’évaluation de classificateurs délivrant des sorties stochastiques requiert d’examiner la conformité et la calibration de leurs probabilités prédites. La Perte Logarithmique (Log Loss ou Entropie Croisée) constitue la mesure probabiliste de référence :$$text{Log Loss} = – frac{1}{n} sum_{i=1}^n sum_{k=1}^K y_{ik} log(hat{p}_{ik})$y_{ik}$ est un indicateur binaire valant 1 si l'observation $i$ appartient à la classe $k$, et $\hat{p}_{ik}$ est la probabilité assignée par le modèle. La Log Loss sanctionne drastiquement les modèles surconfiants qui se trompent : une probabilité de 0,99 attribuée à une modalité erronée provoque une dégradation substantielle du score.

Le Score de Brier offre une perspective complémentaire en transposant le principe de la MSE à l'e\space des probabilités de classes : »>$$où $y_{ik}$ est un indicateur binaire valant 1 si l’observation $i$ appartient à la classe $k$, et $\hat{p}_{ik}$ est la probabilité assignée par le modèle. La Log Loss sanctionne drastiquement les modèles surconfiants qui se trompent : une probabilité de 0,99 attribuée à une modalité erronée provoque une dégradation substantielle du score.

Le Score de Brier offre une perspective complémentaire en transposant le principe de la MSE à l’e\space des probabilités de classes :$$text{BS} = frac{1}{n} sum_{i=1}^n sum_{k=1}^K (hat{p}_{ik} – y_{ik})^2$kappa$) intervient comme un indicateur robuste de fidélité inter-juges, comparant l'exactitude observée ($p_o$) à l'exactitude théorique attendue par le simple effet du hasard ($p_e$) sous les lois marginales de la matrice de confusion : »>$$Ce score constitue une métrique d’évaluation strictement propre (strictly proper scoring rule) qui incite le modèle à restituer les véritables probabilités conditionnelles objectives. Il peut être décomposé additivement en composantes d’incertitude, de résolution et de fiabilité, quantifiant la calibration globale du classificateur (sa propension à afficher des prédictions à 80 % qui s’avèrent effectivement vraies dans 80 % des cas empiriques).

Pour l’analyse des classes multiples, le Kappa de Cohen ($kappa$) intervient comme un indicateur robuste de fidélité inter-juges, comparant l’exactitude observée ($p_o$) à l’exactitude théorique attendue par le simple effet du hasard ($p_e$) sous les lois marginales de la matrice de confusion :$$kappa = frac{p_o – p_e}{1 – p_e}$\kappa = 1$ matérialise une concordance parfaite, tandis qu'une valeur nulle ($\kappa le 0$) traduit un accord inférieur ou égal à ce qu'engendrerait un tirage aléatoire respectant les prévalences de base, fournissant ainsi une évaluation rigoureuse de la qualité discriminante du système de catégorisation.

<h2>9. Tableau comparatif et synthèse structurelle des divergences</h2>

<h3>9.1 Synthèse dimensionnelle des deux paradigmes</h3>
La confrontation directe entre la régression et la classification synthétise les divergences axiomatiques qui structurent l'apprentissage supervisé. Le tableau conceptuel ci-dessous explicite les contrastes fondamentaux qui distinguent ces deux voies de la modélisation statistique :

<ul>
<li><strong>E\space de sortie ($\mathcal{Y}$) :</strong> Conti\nu, infini ou semi-infini non dénombrable ($\mathbb{R}, \mathbb{R}^+, [a, b]$) pour la régression. Discret, fini ou dénombrable (${c_1, dots, c_K}$) pour la classification.</li>
<li><strong>Métrique géométrique intrinsèque :</strong> Préservation intégrale des distances euclidiennes ($|y_1 – y_2|$) en régression. Absence de distance métrique canonique entre classes en classification nominale (distance discrète de Hamming ou de type Kronecker $\delta_{jk}$).</li>
<li><strong>Objectif d'optimisation fonctionnelle :</strong> Estimation de l'espérance conditionnelle $\mathbb{E}[Y mid X=x]$ et approximation de surfaces de réponse pour la régression. Identification de frontières de décision délimitant des régions disjointes et calcul des probabilités a posteriori $P(Y=k mid X=x)$ pour la classification.</li>
<li><strong>Fonctions de coût prévalentes :</strong> Perte quadratique ($L_2$), absolue ($L_1$), perte de Huber en régression. Entropie croisée (Log Loss), perte charnière (Hinge Loss), perte exponentielle en classification.</li>
<li><strong>Comportement hors-domaine (Extrapolation) :</strong> Tendance à prolonger des pentes linéaires ou des asymptotes lointaines sans bornes physiques pour la régression. Assignation péremptoire à la classe associée à la région de décision découpée par la frontière la plus proche pour la classification.</li>
</ul>

Ces disparités dimensionnelles imposent des logiques d'inférence différentes. En régression, le praticien s'interroge sur la marge d'erreur quantitative tolérable autour d'un résultat : « à combien d'unités se situe l'estimation par rapport à la réalité ? ». En classification, l'interrogation bascule sur la pureté discriminante et l'appartenance d'état : « cette observation relève-t-elle de cette catégorie spécifique plutôt que d'une autre ? ».

<h3>9.2 Sensibilité au déséquilibre et à la distribution des données</h3>
Les deux paradigmes manifestent une sensibilité différentielle aux altérations structurelles de leurs ensembles d'entraînement. En modélisation de régression, la distorsion majeure réside dans l'asymétrie de la distribution continue (skewness) et l'étirement des queues distributionnelles (heavy tails). Une cible affectée d'une forte asymétrie positive (par exemple les temps de latence cognitive, les coûts hospitaliers ou les concentrations d'enzymes) perturbe sévèrement les fonctions de perte basées sur les moindres carrés. Pour y remédier, le chercheur doit appliquer des transformations d'égalisation de variance et de normalisation de type logarithmique, racine carrée ou des transformations paramétriques de Box-Cox et de Yeo-Johnson.

À l'inverse, la classification est vulnérable au phénomène du déséquilibre des classes (class imbalance). Lorsque la classe cible ne représente qu'une fraction marginale de l'échantillon (par exemple 2 % de patients répondant favorablement à une molécule expérimentale face à 98 % de non-répondeurs), les algorithmes tendent à sacrifier la classe minoritaire pour optimiser la perte globale. La remédiation nécessite ici des stratégies spécifiques non applicables en régression :

<ul>
<li><strong>Techniques de rééchantillonnage :</strong> Suréchantillonnage de la classe minoritaire par synthèse stochastique de nouveaux individus (algorithme SMOTE pour Synthetic Minority Over-sampling Technique, ou ADASYN) ou sous-échantillonnage contrôlé de la classe majoritaire (liens de Tomek, NearMiss).</li>
<li><strong>Pondération des coûts (Cost-sensitive learning) :</strong> Attribution de pénalités asymétriques inversement proportionnelles à la prévalence relative des classes au sein de la fonction de perte tensorielle lors de l'optimisation.</li>
<li><strong>Réétalonnage des probabilités de sortie :</strong> Application a posteriori de méthodes de calibration telles que la régression isotone ou la mise à l'échelle de Platt (Platt Scaling) pour ajuster les probabilités conditionnelles délivrées par le système.</li>
</ul>

<h3>9.3 Compromis biais-variance selon la tâche</h3>
Le compromis canonique biais-variance s'exprime différemment selon la géométrie opérationnelle propre à chaque paradigme. L'erreur quadratique moyenne de prédiction d'un modèle de régression se décompose de manière rigoureuse selon la formule de Geman, Bienenstock et Doursat (1992) : »>$$Une valeur $\kappa = 1$ matérialise une concordance parfaite, tandis qu’une valeur nulle ($\kappa le 0$) traduit un accord inférieur ou égal à ce qu’engendrerait un tirage aléatoire respectant les prévalences de base, fournissant ainsi une évaluation rigoureuse de la qualité discriminante du système de catégorisation.

9. Tableau comparatif et synthèse structurelle des divergences

9.1 Synthèse dimensionnelle des deux paradigmes

La confrontation directe entre la régression et la classification synthétise les divergences axiomatiques qui structurent l’apprentissage supervisé. Le tableau conceptuel ci-dessous explicite les contrastes fondamentaux qui distinguent ces deux voies de la modélisation statistique :

• E\space de sortie ($\mathcal{Y}$) : Conti\nu, infini ou semi-infini non dénombrable ($\mathbb{R}, \mathbb{R}^+, [a, b]$) pour la régression. Discret, fini ou dénombrable (${c_1, dots, c_K}$) pour la classification.
• Métrique géométrique intrinsèque : Préservation intégrale des distances euclidiennes ($|y_1 – y_2|$) en régression. Absence de distance métrique canonique entre classes en classification nominale (distance discrète de Hamming ou de type Kronecker $\delta_{jk}$).
• Objectif d’optimisation fonctionnelle : Estimation de l’espérance conditionnelle $\mathbb{E}[Y mid X=x]$ et approximation de surfaces de réponse pour la régression. Identification de frontières de décision délimitant des régions disjointes et calcul des probabilités a posteriori $P(Y=k mid X=x)$ pour la classification.
• Fonctions de coût prévalentes : Perte quadratique ($L_2$), absolue ($L_1$), perte de Huber en régression. Entropie croisée (Log Loss), perte charnière (Hinge Loss), perte exponentielle en classification.
• Comportement hors-domaine (Extrapolation) : Tendance à prolonger des pentes linéaires ou des asymptotes lointaines sans bornes physiques pour la régression. Assignation péremptoire à la classe associée à la région de décision découpée par la frontière la plus proche pour la classification.

Ces disparités dimensionnelles imposent des logiques d’inférence différentes. En régression, le praticien s’interroge sur la marge d’erreur quantitative tolérable autour d’un résultat : « à combien d’unités se situe l’estimation par rapport à la réalité ? ». En classification, l’interrogation bascule sur la pureté discriminante et l’appartenance d’état : « cette observation relève-t-elle de cette catégorie spécifique plutôt que d’une autre ? ».

9.2 Sensibilité au déséquilibre et à la distribution des données

Les deux paradigmes manifestent une sensibilité différentielle aux altérations structurelles de leurs ensembles d’entraînement. En modélisation de régression, la distorsion majeure réside dans l’asymétrie de la distribution continue (skewness) et l’étirement des queues distributionnelles (heavy tails). Une cible affectée d’une forte asymétrie positive (par exemple les temps de latence cognitive, les coûts hospitaliers ou les concentrations d’enzymes) perturbe sévèrement les fonctions de perte basées sur les moindres carrés. Pour y remédier, le chercheur doit appliquer des transformations d’égalisation de variance et de normalisation de type logarithmique, racine carrée ou des transformations paramétriques de Box-Cox et de Yeo-Johnson.

À l’inverse, la classification est vulnérable au phénomène du déséquilibre des classes (class imbalance). Lorsque la classe cible ne représente qu’une fraction marginale de l’échantillon (par exemple 2 % de patients répondant favorablement à une molécule expérimentale face à 98 % de non-répondeurs), les algorithmes tendent à sacrifier la classe minoritaire pour optimiser la perte globale. La remédiation nécessite ici des stratégies spécifiques non applicables en régression :

• Techniques de rééchantillonnage : Suréchantillonnage de la classe minoritaire par synthèse stochastique de nouveaux individus (algorithme SMOTE pour Synthetic Minority Over-sampling Technique, ou ADASYN) ou sous-échantillonnage contrôlé de la classe majoritaire (liens de Tomek, NearMiss).
• Pondération des coûts (Cost-sensitive learning) : Attribution de pénalités asymétriques inversement proportionnelles à la prévalence relative des classes au sein de la fonction de perte tensorielle lors de l’optimisation.
• Réétalonnage des probabilités de sortie : Application a posteriori de méthodes de calibration telles que la régression isotone ou la mise à l’échelle de Platt (Platt Scaling) pour ajuster les probabilités conditionnelles délivrées par le système.

9.3 Compromis biais-variance selon la tâche

Le compromis canonique biais-variance s’exprime différemment selon la géométrie opérationnelle propre à chaque paradigme. L’erreur quadratique moyenne de prédiction d’un modèle de régression se décompose de manière rigoureuse selon la formule de Geman, Bienenstock et Doursat (1992) :$$mathbb{E}[(Y – hat{f}(X))^2] = text{Biais}^2(hat{f}(X)) + text{Var}(hat{f}(X)) + sigma^2_varepsilon$\sigma^2_\varepsilon$ représente le bruit irréductible inhérent au processus physique. Une réduction de l'e\space d'hypothèses en régression (via la pénalisation Ridge par exemple) comprime la surface de réponse, augmente le biais mais réduit la variance globale.

En classification, la transposition du dilemme biais-variance sous la fonction de perte zéro-un obéit aux équations développées par Pedro Domingos (2000). Une divergence méthodologique majeure apparaît : un biais non nul dans l'estimation probabiliste n'engendre pas nécessairement d'erreur sur l'assignation de classe finale. Si la véritable probabilité conditionnelle est $P(Y=1 mid X=x) = 0.85$ et que le classificateur estime de façon sévèrement biaisée $\hat{p}(x) = 0.55$, l'application du seuil décisionnel standard de 0.5 conduira néanmoins à prédire rigoureusement la bonne étiquette catégorielle ($\hat{y} = 1$).

En classification, le surajustement ne se traduit pas par l'ondulation d'une surface d'estimation continue, mais par la complexification des frontières de décision, qui s'étirent et s'isolent en îlots locaux disjoints pour encapsuler des observations spécifiques. L'introduction de régularisation (par contrainte sur la marge des SVM ou l'élagage des arbres) aplanit ces frontières, évitant la fragmentation de l'e\space vectoriel tout en préservant le pouvoir de généralisation discriminatif du système décisionnel.

<h2>10. Frontières floues et passerelles méthodologiques entre les deux approches</h2>

<h3>10.1 Le cas hybride de la régression logistique</h3>
La <a href="https://www.jstor.org/stable/2280261">régression logistique</a> illustre la perméabilité méthodologique entre régression et classification. Sur le plan formel de sa mécanique de calcul interne, la régression logistique est un modèle linéaire généralisé (GLM) qui applique une régression continue sur le logit — c'est-à-dire le logarithme du rapport de cotes (log-odds) : »>$$où le biais quantifie l’erreur structurelle issue de simplifications trop rigides de la surface d’approximation (sous-ajustement), la variance mesure l’instabilité de l’estimateur sous les fluctuations d’échantillonnage (surajustement), et $\sigma^2_\varepsilon$ représente le bruit irréductible inhérent au processus physique. Une réduction de l’e\space d’hypothèses en régression (via la pénalisation Ridge par exemple) comprime la surface de réponse, augmente le biais mais réduit la variance globale.

En classification, la transposition du dilemme biais-variance sous la fonction de perte zéro-un obéit aux équations développées par Pedro Domingos (2000). Une divergence méthodologique majeure apparaît : un biais non nul dans l’estimation probabiliste n’engendre pas nécessairement d’erreur sur l’assignation de classe finale. Si la véritable probabilité conditionnelle est $P(Y=1 mid X=x) = 0.85$ et que le classificateur estime de façon sévèrement biaisée $\hat{p}(x) = 0.55$, l’application du seuil décisionnel standard de 0.5 conduira néanmoins à prédire rigoureusement la bonne étiquette catégorielle ($\hat{y} = 1$).

En classification, le surajustement ne se traduit pas par l’ondulation d’une surface d’estimation continue, mais par la complexification des frontières de décision, qui s’étirent et s’isolent en îlots locaux disjoints pour encapsuler des observations spécifiques. L’introduction de régularisation (par contrainte sur la marge des SVM ou l’élagage des arbres) aplanit ces frontières, évitant la fragmentation de l’e\space vectoriel tout en préservant le pouvoir de généralisation discriminatif du système décisionnel.

10. Frontières floues et passerelles méthodologiques entre les deux approches

10.1 Le cas hybride de la régression logistique

La régression logistique illustre la perméabilité méthodologique entre régression et classification. Sur le plan formel de sa mécanique de calcul interne, la régression logistique est un modèle linéaire généralisé (GLM) qui applique une régression continue sur le logit — c’est-à-dire le logarithme du rapport de cotes (log-odds) :$$text{logit}(p) = lnleft( frac{p}{1 – p} right) = w_0 + w_1 x_1 + dots + w_d x_d$(-\infty, +\infty)$. L'algorithme ajuste une surface affine dans l'e\space des log-odds en utilisant les outils conceptuels de l'estimation de régression continue.

Cependant, la finalité opérationnelle de cette machinerie réside dans l'attribution d'une étiquette binaire discrète. L'opérateur sigmoïde compresse cette grandeur affine continue dans l'intervalle unitaire pour délivrer une probabilité, puis l'application subséquente d'une fonction échelon (fonction de Heaviside) gouvernée par le seuil décisionnel $tau$ convertit ce résultat conti\nu en un état discret catégoriel : »>$$La quantité intermédiaire estimée par le modèle réside sur la droite continue non bornée $(-\infty, +\infty)$. L’algorithme ajuste une surface affine dans l’e\space des log-odds en utilisant les outils conceptuels de l’estimation de régression continue.

Cependant, la finalité opérationnelle de cette machinerie réside dans l’attribution d’une étiquette binaire discrète. L’opérateur sigmoïde compresse cette grandeur affine continue dans l’intervalle unitaire pour délivrer une probabilité, puis l’application subséquente d’une fonction échelon (fonction de Heaviside) gouvernée par le seuil décisionnel $tau$ convertit ce résultat conti\nu en un état discret catégoriel :$$hat{y} = H(P(Y=1 mid X) – tau) = begin{cases} 1 & text{si } P(Y=1 mid X) ge tau 0 & text{sinon} end{cases}$\mathcal{Y} = {0, 1}$ est supplanté par l'intervalle conti\nu $[0, 1]$, où la variable cible d'entraînement représente la fréquence empirique relative, le consensus d'un collège d'experts ou le score de propension (propensity score). Par exemple, plutôt que de classifier une lésion cutanée de manière tranchée en « mélanome malin » ou « nævus bénin », le modèle prédit un indice conti\nu de malignité variant continûment de 0,0 à 1,0. Ce score capture l'incertitude épistémique et fournit aux cliniciens une estimation du niveau de certitude diagnostique.

Ce paradigme sous-t\end également la régression ordinale (Ordinal Regression) et l'apprentissage de préférences (Learning to Rank). Les modèles à seuils latents postulent l'existence d'une variable quantitative inobservable continue $Y^* in \mathbb{R}$ régie par une fonction de régression standard $Y^* = w^T X + \varepsilon$. Les catégories ordinales observées ne sont que les projections de cette grandeur continue sur des intervalles délimités par une série de bornes de coupure croissantes $\theta_1 < \theta_2 < dots < \theta_{K-1}$ : »>$$Cette dualité d’architecture engendre des quiproquos terminologiques récurrents dans la littérature. La régression logistique calcule une régression sur une variable latente stochastique continue dans le but d’opérer une classification en aval. Elle constitue une passerelle démontrant comment les opérations continues constituent fréquemment le substrat de calcul préparatoire à la prise de décision catégorielle.

10.2 Transformation d’une régression en classification : Quand et pourquoi ?

L’opération consistant à convertir une problématique originelle de régression continue en une tâche de classification discrète par troncation ou découpage en seuils (discrétisation ou binning) est omniprésente en recherche translationnelle. Cette manœuvre est généralement motivée par des impératifs d’aide à la décision binaire ou multinomiale dans les contextes opérationnels : prescription d’un traitement médicamenteux (traiter versus ne pas traiter), orientation scolaire (admis versus refusé), ou octroi d’un prêt bancaire.

Toutefois, cette conversion méthodologique expose l’analyste à des périls statistiques documentés dans les revues d’épidémiologie et de psychométrie quantitative (MacCallum et al., 2002). Le tableau suivant synthétise les gains apparents et les pertes méthodologiques réelles inhérentes à cette démarche :

• Avantages opérationnels revendiqués : Simplification de la communication auprès des décideurs profanes, alignement direct sur des protocoles d’intervention univoques, insensibilité apparente aux bruits de mesure continus microscopiques.
• Pertes et risques statistiques majeurs :
  • Destruction irréversible de la variance d’échantillonnage et de l’information quantitative fine.
  • Chute drastique de la puissance statistique des tests d’inférence, équivalant parfois à la perte d’un tiers des sujets recrutés.
  • Création d’une pseudo-homogénéité artificielle au sein des groupes constitués.
  • Sensibilité extrême de l’attribution des sujets situés à la lisière des seuils arbitraires (un patient ayant 9,99/20 classé négatif, un sujet à 10,01/20 classé positif).
  • Augmentation du risque d’artefacts statistiques et d’inversions paradoxales de corrélations (paradoxe de Simpson).

La recommandation contemporaine unanime en apprentissage supervisé commande de préserver la continuité intégrale de la variable cible lors de la modélisation et de l’entraînement des algorithmes. L’application d’un seuil décisionnel pour des motifs pratiques ne doit intervenir que comme un filtre terminal post-hoc, sans contaminer la puissance de capture de l’architecture prédictive en amont.

10.3 Transformation d’une classification en régression

L’opération inverse — transposer une problématique de classification en une tâche de modélisation continue — s’avère non seulement possible, mais souvent féconde sur le plan de la finesse analytique. Elle consiste à délaisser l’affectation à des étiquettes catégoriques dures pour se focaliser sur l’estimation continue des probabilités conditionnelles de classe sous-jacentes.

Dans cette approche, l’e\space d’arrivée discret $\mathcal{Y} = {0, 1}$ est supplanté par l’intervalle conti\nu $[0, 1]$, où la variable cible d’entraînement représente la fréquence empirique relative, le consensus d’un collège d’experts ou le score de propension (propensity score). Par exemple, plutôt que de classifier une lésion cutanée de manière tranchée en « mélanome malin » ou « nævus bénin », le modèle prédit un indice conti\nu de malignité variant continûment de 0,0 à 1,0. Ce score capture l’incertitude épistémique et fournit aux cliniciens une estimation du niveau de certitude diagnostique.

Ce paradigme sous-t\end également la régression ordinale (Ordinal Regression) et l’apprentissage de préférences (Learning to Rank). Les modèles à seuils latents postulent l’existence d’une variable quantitative inobservable continue $Y^* in \mathbb{R}$ régie par une fonction de régression standard $Y^* = w^T X + \varepsilon$. Les catégories ordinales observées ne sont que les projections de cette grandeur continue sur des intervalles délimités par une série de bornes de coupure croissantes $\theta_1 < \theta_2 < dots < \theta_{K-1}$ :$$Y = k iff theta_{k-1} < Y^* le theta_k$w$ et les valeurs scalaires des seuils de démarcation latente $\theta$, exploitant ainsi la puissance de la modélisation continue au bénéfice direct de la catégorisation ordonnée.

<h2>11. Illustrations empiriques en sciences psychologiques et cognitives</h2>

<h3>11.1 Étude de cas en régression : Prédiction continue du déclin cognitif</h3>
Pour illustrer la mise en œuvre empirique de la régression en neurosciences cliniques, examinons la prédiction de l'évolution quantitative du déclin cognitif chez des patients diagnostiqués au stade de déficit cognitif léger (Mild Cognitive Impairment, MCI). La problématique de recherche consiste à estimer a\vec précision le score conti\nu composite qu'obtiendra chaque patient au Mini-Mental State Examination (MMSE, échelle étalée de 0 à 30) lors d'un suivi longitudinal planifié à 24 mois.

Le jeu de prédicteurs multivariés $X in \mathbb{R}^{45}$ compr\end :

<ul>
<li>Des données volumétriques corticales dérivées de l'imagerie par résonance magnétique structurelle (IRM morphométrique), incluant les volumes segmentés de l'hippocampe, du cortex entorhinal et des ventricules latéraux standardisés selon la boîte crânienne.</li>
<li>Des dosages biochimiques de biomarqueurs sanguins et céphalorachidiens (\tau total, phospho-tau-181 et ratio du peptide amyloïde $A\beta_{42}/A\beta_{40}$).</li>
<li>Des variables démographiques et génétiques (âge chronologique, années d'éducation formelle, nombre d'allèles du gène APOE-$\varepsilon 4$).</li>
</ul>

Sur le plan algorithmique, l'équipe de recherche compare une régression Ridge pénalisée à une méthode non paramétrique de Régression par Processus Gaussiens (Gaussian Process Regression, GPR) munie d'un noyau exponentiel quadratique à ajustement d'échelle automatique de pertinence (ARD). Le Processus Gaussien présente l'avantage clinique de délivrer, pour chaque prédiction individuelle, une variance prédictive conditionnelle $\sigma_*^2(x)$, quantifiant l'incertitude épistémique de l'algorithme face à des profils morphologiques atypiques.

L'évaluation du système sur une cohorte de validation externe ($n = 420$ patients) révèle une RMSE de $2.14$ points au MMSE et une MAE de $1.68$ p\oint, a\vec un coefficient de détermination $R^2 = 0.68$. Dans le suivi clinique longitudinal individuel, cette modélisation continue offre une finesse d'analyse déterminante : elle permet d'anticiper la pente de détérioration mnésique individuelle et de calibrer les prises en charge thérapeutiques de soutien bien avant que le patient ne franchisse un seuil pathologique arbitraire marquant l'entrée dans la démence sévère.

<h3>11.2 Étude de cas en classification : Détection précoce des troubles de l'humeur</h3>
Considérons à présent une étude translationnelle symétrique relevant du paradigme de la classification : l'identification automatisée de la présence ou de l'absence d'un Épisode Dépressif Caractérisé (EDC) chez une cohorte de jeunes adultes en milieu universitaire. La variable cible $Y in {0, 1}$ est strictement discrète et binaire : elle oppose les individus répondant aux critères stricts du DSM-5 (classe positive, 1) aux sujets sains ou asymptomatiques (classe négative, 0), validés par des entretiens psychiatriques structurés (SCID-5).

L'e\space vectoriel d'entrée $X in \mathbb{R}^{28}$ est constitué de flux de données comportementales et physiologiques recueillies de façon écologique et passive via des capteurs ubiquitaires portés durant 30 jours consécutifs :

<ul>
<li>Métriques actimétriques issues de montres connectées : fragmentation circadienne du sommeil, régularité des phases de repos nocturne, niveau moyen d'activité physique diurne.</li>
<li>Données d'évaluation momentanée écologique (EMA) : scores discrets de valence affective auto-rapportée collectés par notification sur smartphone 3 fois par jour.</li>
<li>Indicateurs cardiaques autonomes dérivés de la photopléthysmographie : variabilité de la fréquence cardiaque (RMSSD et puissance relative dans la bande haute fréquence [HF]).</li>
</ul>

L'architecture prédictive retenue est une Machine à Vecteurs de Support (SVM) à noyau radial gaussien (RBF), confrontée à un classificateur de type Forêt Aléatoire de classification optimisé pour le déséquilibre de classe via un sous-échantillonnage équilibré de bootstrap. Dans ce protocole clinique, l'objectif éthique primordial réside dans l'élimination des faux négatifs (sensibilité maximale) afin de ne laisser aucun étudiant suicidaire ou en souffrance aiguë sans proposition d'accompagnement psychothérapeutique d'urgence.

L'ajustement du seuil décisionnel a posteriori permet d'obtenir un Rappel de 92,4 % pour une Précision de 71,2 %, correspondant à un score $F_2$ de 0,87 et une AUC-ROC globale de 0,89. Le système ne tente pas d'estimer une cote continue d'humeur mais agit comme un filtre décisionnel catégoriel orientant directement les sujets à risque élevé vers les cellules de veille médico-universitaires compétentes.

<h3>11.3 Enseignements méthodologiques croisés</h3>
La confrontation de ces deux études de cas met en exergue la complémentarité scientifique qui unit la régression et la classification au sein des sciences cognitives modernes. La régression continue se révèle indispensable lorsqu'il s'agit de modéliser des dynamiques évolutives, des trajectoires d'apprentissage, des cinétiques pharmacologiques ou des processus de dégradation biologique continue. Elle fournit une information graduée et nuancée adaptée à la surveillance fine des fluctuations de l'état d'un système vivant complexe.

En miroir, la classification s'affirme comme l'outil privilégié de l'aide à la décision actionnable en environnement contraint. Dans une pratique médicale ou institutionnelle, l'action finale obéit presque toujours à des bifurcations catégorielles nettes : on prescrit ou non un psychotrope, on hospitalise ou non un patient, on déclenche ou non un protocole d'urgence. Le classificateur assume ce passage de la complexité continue de la nature à la granularité discrète de l'arbitrage pratique.

Cette distinction soulève d'importantes exigences déontologiques et d'interprétabilité des systèmes algorithmiques. Lorsqu'un algorithme de régression produit une marge d'erreur, celle-ci s'interprète comme un intervalle de confiance centré sur la valeur prédite. En revanche, lorsqu'un classificateur prononce une étiquette erronée (par exemple l'attribution indue d'un diagnostic stigmatisant de schizophrénie chez un sujet sain en raison d'un faux positif), l'impact éthique et psychologique s'avère direct et qualitatif. Les modèles d'intelligence artificielle explicable (Explainable AI, XAI), qu'ils exploitent des approches par valeurs de Shapley (SHAP) ou des profils de dépendance partielle (PDP), doivent impérativement expliciter comment chaque prédicteur individuel a contribué à déplacer l'hyperplan de décision ou à élever la surface de réponse continue.

<h2>12. Guide décisionnel stratégique : Comment choisir entre régression et classification ?</h2>

<h3>12.1 Arbre de décision pour le chercheur et le praticien</h3>
Face à un nouveau défi de modélisation en science des données ou en recherche expérimentale, le choix du paradigme algorithmique ne doit rien laisser à l'intuition arbitraire. Il convient de suivre un cheminement d'audit méthodique articulé en quatre étapes rigoureuses :

<ul>
<li><strong>Étape 1 : Audit strict de l'échelle de mesure intrinsèque de la variable cible ($Y$).</strong>
Quelle est la structure mathématique originelle des données collectées ? Si la cible est nominale non ordonnée, le recours à la classification est axiomatiquement impératif. Si la variable est une grandeur continue issue d'instruments métrologiques fiables (chronomètres, capteurs de pression, spectroscopie), la régression constitue le cadre naturel exclusif. Si la variable est ordinale à barreaux discrets, analysez si le nombre d'échelons est suffisant et si les hypothèses de normalité asymptotique autorisent une modélisation continue sous réserve de vérification, ou optez par précaution pour des architectures spécifiques de classification ordinale.
</li>
<li><strong>Étape 2 : Évaluation des exigences opérationnelles et décisionnelles finales.</strong>
L'objectif final de l'étude requiert-il d'estimer une intensité graduée ou d'exécuter une décision discrète tranchée ? Si le commanditaire ou le système récepteur exige une décision binaire stricte mais que la cible initiale est continue, privilégiez un entraînement du modèle en mode de régression continue pure, puis appliquez un seuil de décision calibré lors de l'étape aval d'exploitation opérationnelle.
</li>
<li><strong>Étape 3 : Analyse des coûts différenciés des erreurs d'estimation versus erreurs d'affectation.</strong>
Les erreurs du système ont-elles des répercussions proportionnelles à la magnitude des écarts (ce qui plaide pour la régression et les pertes de type $L_1$ ou $L_2$) ou présentent-elles des asymétries qualitatives où l'erreur d'un type précis constitue un préjudice majeur (ce qui plaide pour un classificateur probabiliste optimisé par rapport aux seuils de coût de Bayes) ?
</li>
<li><strong>Étape 4 : Examen de la taille d'échantillon et de la distribution empirique.</strong>
Dans les échantillons de taille restreinte, la classification binarisée artificielle détruit une fraction précieuse de la puissance statistique d'inférence. La régression exploite l'intégralité du gradient de variance, conférant une meilleure efficacité computationnelle aux estimateurs lorsque le nombre d'observations $n$ est limité.
</li>
</ul>

<h3>12.2 Pièges fréquents et recommandations de bonnes pratiques</h3>
L'expérience accumulée dans les laboratoires de recherche et les départements d'ingénierie statistique permet d'isoler une série d'écueils récurrents qu'il convient d'éviter systématiquement :

<ul>
<li><strong>Éviter la binarisation hâtive de confort :</strong> Ne cédez jamais à la tentation de transformer une variable dépendante continue en catégories binaires (haut/bas ou au-dessus/en-dessous de la médiane) sous prétexte que la classification paraît plus accessible à interpréter. Cette dichotomisation induit des biais majeurs, masque la non-linéarité sous-jacente et fait chuter l'efficacité statistique du protocole.</li>
<li><strong>Ne pas traiter l'ordinal comme un conti\nu sans audit métrique :</strong> L'application directe d'une régression linéaire standard aux moindres carrés sur des items isolés d'échelles psychométriques de type Likert produit des distorsions d'inférence prévisibles lorsque les distributions sont asymétriques ou que les intervalles psychologiques inter-modalités sont inégaux.</li>
<li><strong>Appliquer une validation croisée conforme au paradigme :</strong> En classification, particulièrement en présence de déséquilibre de prévalence, mobilisez toujours une validation croisée stratifiée (Stratified K-Fold), qui garantit que chaque pli conserve une proportion d'étiquettes de chaque classe strictement identique à celle du jeu d'entraînement global. En régression, une validation croisée standard (K-Fold) ou stratifiée par quantiles de la variable continue s'impose.</li>
<li><strong>Aligner la métrique mathématique sur la finalité métier :</strong> Ne reportez jamais une exactitude globale (Accuracy) comme preuve de performance d'un classificateur sans présenter simultanément la matrice de confusion, la précision, le rappel et l'AUC-ROC ou l'AUC-PRC. En régression, couplez toujours la RMSE (sensible aux valeurs aberrantes) à la MAE (robuste et représentative de l'erreur médiane).</li>
</ul>

<h3>12.3 Perspectives d'avenir dans l'intégration des deux approches</h3>
L'évolution contemporaine des sciences des données transcende l'opposition binaire stricte entre régression et classification au profit de paradigmes d'intégration architecturale unifiés. La trajectoire la plus prometteuse réside dans l'<a href="https://link.springer.com/chapter/10.1007/978-1-4615-5529-2_1">Apprentissage Multitâche (Multi-Task Learning, MTL)</a>. Au sein d'un même réseau de neurones profonds, des représentations latentes partagées sont optimisées simultanément pour accomplir une tâche de régression continue et une tâche de classification catégorielle : »>$$Le calibrage du modèle optimise conjointement les coefficients du vecteur directeur $w$ et les valeurs scalaires des seuils de démarcation latente $\theta$, exploitant ainsi la puissance de la modélisation continue au bénéfice direct de la catégorisation ordonnée.

11. Illustrations empiriques en sciences psychologiques et cognitives

11.1 Étude de cas en régression : Prédiction continue du déclin cognitif

Pour illustrer la mise en œuvre empirique de la régression en neurosciences cliniques, examinons la prédiction de l’évolution quantitative du déclin cognitif chez des patients diagnostiqués au stade de déficit cognitif léger (Mild Cognitive Impairment, MCI). La problématique de recherche consiste à estimer a\vec précision le score conti\nu composite qu’obtiendra chaque patient au Mini-Mental State Examination (MMSE, échelle étalée de 0 à 30) lors d’un suivi longitudinal planifié à 24 mois.

Le jeu de prédicteurs multivariés $X in \mathbb{R}^{45}$ compr\end :

• Des données volumétriques corticales dérivées de l’imagerie par résonance magnétique structurelle (IRM morphométrique), incluant les volumes segmentés de l’hippocampe, du cortex entorhinal et des ventricules latéraux standardisés selon la boîte crânienne.
• Des dosages biochimiques de biomarqueurs sanguins et céphalorachidiens (\tau total, phospho-tau-181 et ratio du peptide amyloïde $A\beta_{42}/A\beta_{40}$).
• Des variables démographiques et génétiques (âge chronologique, années d’éducation formelle, nombre d’allèles du gène APOE-$\varepsilon 4$).

Sur le plan algorithmique, l’équipe de recherche compare une régression Ridge pénalisée à une méthode non paramétrique de Régression par Processus Gaussiens (Gaussian Process Regression, GPR) munie d’un noyau exponentiel quadratique à ajustement d’échelle automatique de pertinence (ARD). Le Processus Gaussien présente l’avantage clinique de délivrer, pour chaque prédiction individuelle, une variance prédictive conditionnelle $\sigma_*^2(x)$, quantifiant l’incertitude épistémique de l’algorithme face à des profils morphologiques atypiques.

L’évaluation du système sur une cohorte de validation externe ($n = 420$ patients) révèle une RMSE de $2.14$ points au MMSE et une MAE de $1.68$ p\oint, a\vec un coefficient de détermination $R^2 = 0.68$. Dans le suivi clinique longitudinal individuel, cette modélisation continue offre une finesse d’analyse déterminante : elle permet d’anticiper la pente de détérioration mnésique individuelle et de calibrer les prises en charge thérapeutiques de soutien bien avant que le patient ne franchisse un seuil pathologique arbitraire marquant l’entrée dans la démence sévère.

11.2 Étude de cas en classification : Détection précoce des troubles de l’humeur

Considérons à présent une étude translationnelle symétrique relevant du paradigme de la classification : l’identification automatisée de la présence ou de l’absence d’un Épisode Dépressif Caractérisé (EDC) chez une cohorte de jeunes adultes en milieu universitaire. La variable cible $Y in {0, 1}$ est strictement discrète et binaire : elle oppose les individus répondant aux critères stricts du DSM-5 (classe positive, 1) aux sujets sains ou asymptomatiques (classe négative, 0), validés par des entretiens psychiatriques structurés (SCID-5).

L’e\space vectoriel d’entrée $X in \mathbb{R}^{28}$ est constitué de flux de données comportementales et physiologiques recueillies de façon écologique et passive via des capteurs ubiquitaires portés durant 30 jours consécutifs :

• Métriques actimétriques issues de montres connectées : fragmentation circadienne du sommeil, régularité des phases de repos nocturne, niveau moyen d’activité physique diurne.
• Données d’évaluation momentanée écologique (EMA) : scores discrets de valence affective auto-rapportée collectés par notification sur smartphone 3 fois par jour.
• Indicateurs cardiaques autonomes dérivés de la photopléthysmographie : variabilité de la fréquence cardiaque (RMSSD et puissance relative dans la bande haute fréquence [HF]).

L’architecture prédictive retenue est une Machine à Vecteurs de Support (SVM) à noyau radial gaussien (RBF), confrontée à un classificateur de type Forêt Aléatoire de classification optimisé pour le déséquilibre de classe via un sous-échantillonnage équilibré de bootstrap. Dans ce protocole clinique, l’objectif éthique primordial réside dans l’élimination des faux négatifs (sensibilité maximale) afin de ne laisser aucun étudiant suicidaire ou en souffrance aiguë sans proposition d’accompagnement psychothérapeutique d’urgence.

L’ajustement du seuil décisionnel a posteriori permet d’obtenir un Rappel de 92,4 % pour une Précision de 71,2 %, correspondant à un score $F_2$ de 0,87 et une AUC-ROC globale de 0,89. Le système ne tente pas d’estimer une cote continue d’humeur mais agit comme un filtre décisionnel catégoriel orientant directement les sujets à risque élevé vers les cellules de veille médico-universitaires compétentes.

11.3 Enseignements méthodologiques croisés

La confrontation de ces deux études de cas met en exergue la complémentarité scientifique qui unit la régression et la classification au sein des sciences cognitives modernes. La régression continue se révèle indispensable lorsqu’il s’agit de modéliser des dynamiques évolutives, des trajectoires d’apprentissage, des cinétiques pharmacologiques ou des processus de dégradation biologique continue. Elle fournit une information graduée et nuancée adaptée à la surveillance fine des fluctuations de l’état d’un système vivant complexe.

En miroir, la classification s’affirme comme l’outil privilégié de l’aide à la décision actionnable en environnement contraint. Dans une pratique médicale ou institutionnelle, l’action finale obéit presque toujours à des bifurcations catégorielles nettes : on prescrit ou non un psychotrope, on hospitalise ou non un patient, on déclenche ou non un protocole d’urgence. Le classificateur assume ce passage de la complexité continue de la nature à la granularité discrète de l’arbitrage pratique.

Cette distinction soulève d’importantes exigences déontologiques et d’interprétabilité des systèmes algorithmiques. Lorsqu’un algorithme de régression produit une marge d’erreur, celle-ci s’interprète comme un intervalle de confiance centré sur la valeur prédite. En revanche, lorsqu’un classificateur prononce une étiquette erronée (par exemple l’attribution indue d’un diagnostic stigmatisant de schizophrénie chez un sujet sain en raison d’un faux positif), l’impact éthique et psychologique s’avère direct et qualitatif. Les modèles d’intelligence artificielle explicable (Explainable AI, XAI), qu’ils exploitent des approches par valeurs de Shapley (SHAP) ou des profils de dépendance partielle (PDP), doivent impérativement expliciter comment chaque prédicteur individuel a contribué à déplacer l’hyperplan de décision ou à élever la surface de réponse continue.

12. Guide décisionnel stratégique : Comment choisir entre régression et classification ?

12.1 Arbre de décision pour le chercheur et le praticien

Face à un nouveau défi de modélisation en science des données ou en recherche expérimentale, le choix du paradigme algorithmique ne doit rien laisser à l’intuition arbitraire. Il convient de suivre un cheminement d’audit méthodique articulé en quatre étapes rigoureuses :

• Étape 1 : Audit strict de l’échelle de mesure intrinsèque de la variable cible ($Y$).
  Quelle est la structure mathématique originelle des données collectées ? Si la cible est nominale non ordonnée, le recours à la classification est axiomatiquement impératif. Si la variable est une grandeur continue issue d’instruments métrologiques fiables (chronomètres, capteurs de pression, spectroscopie), la régression constitue le cadre naturel exclusif. Si la variable est ordinale à barreaux discrets, analysez si le nombre d’échelons est suffisant et si les hypothèses de normalité asymptotique autorisent une modélisation continue sous réserve de vérification, ou optez par précaution pour des architectures spécifiques de classification ordinale.
• Étape 2 : Évaluation des exigences opérationnelles et décisionnelles finales.
  L’objectif final de l’étude requiert-il d’estimer une intensité graduée ou d’exécuter une décision discrète tranchée ? Si le commanditaire ou le système récepteur exige une décision binaire stricte mais que la cible initiale est continue, privilégiez un entraînement du modèle en mode de régression continue pure, puis appliquez un seuil de décision calibré lors de l’étape aval d’exploitation opérationnelle.
• Étape 3 : Analyse des coûts différenciés des erreurs d’estimation versus erreurs d’affectation.
  Les erreurs du système ont-elles des répercussions proportionnelles à la magnitude des écarts (ce qui plaide pour la régression et les pertes de type $L_1$ ou $L_2$) ou présentent-elles des asymétries qualitatives où l’erreur d’un type précis constitue un préjudice majeur (ce qui plaide pour un classificateur probabiliste optimisé par rapport aux seuils de coût de Bayes) ?
• Étape 4 : Examen de la taille d’échantillon et de la distribution empirique.
  Dans les échantillons de taille restreinte, la classification binarisée artificielle détruit une fraction précieuse de la puissance statistique d’inférence. La régression exploite l’intégralité du gradient de variance, conférant une meilleure efficacité computationnelle aux estimateurs lorsque le nombre d’observations $n$ est limité.

12.2 Pièges fréquents et recommandations de bonnes pratiques

L’expérience accumulée dans les laboratoires de recherche et les départements d’ingénierie statistique permet d’isoler une série d’écueils récurrents qu’il convient d’éviter systématiquement :

• Éviter la binarisation hâtive de confort : Ne cédez jamais à la tentation de transformer une variable dépendante continue en catégories binaires (haut/bas ou au-dessus/en-dessous de la médiane) sous prétexte que la classification paraît plus accessible à interpréter. Cette dichotomisation induit des biais majeurs, masque la non-linéarité sous-jacente et fait chuter l’efficacité statistique du protocole.
• Ne pas traiter l’ordinal comme un conti\nu sans audit métrique : L’application directe d’une régression linéaire standard aux moindres carrés sur des items isolés d’échelles psychométriques de type Likert produit des distorsions d’inférence prévisibles lorsque les distributions sont asymétriques ou que les intervalles psychologiques inter-modalités sont inégaux.
• Appliquer une validation croisée conforme au paradigme : En classification, particulièrement en présence de déséquilibre de prévalence, mobilisez toujours une validation croisée stratifiée (Stratified K-Fold), qui garantit que chaque pli conserve une proportion d’étiquettes de chaque classe strictement identique à celle du jeu d’entraînement global. En régression, une validation croisée standard (K-Fold) ou stratifiée par quantiles de la variable continue s’impose.
• Aligner la métrique mathématique sur la finalité métier : Ne reportez jamais une exactitude globale (Accuracy) comme preuve de performance d’un classificateur sans présenter simultanément la matrice de confusion, la précision, le rappel et l’AUC-ROC ou l’AUC-PRC. En régression, couplez toujours la RMSE (sensible aux valeurs aberrantes) à la MAE (robuste et représentative de l’erreur médiane).

12.3 Perspectives d’avenir dans l’intégration des deux approches

L’évolution contemporaine des sciences des données transcende l’opposition binaire stricte entre régression et classification au profit de paradigmes d’intégration architecturale unifiés. La trajectoire la plus prometteuse réside dans l’Apprentissage Multitâche (Multi-Task Learning, MTL). Au sein d’un même réseau de neurones profonds, des représentations latentes partagées sont optimisées simultanément pour accomplir une tâche de régression continue et une tâche de classification catégorielle :$$L_{text{Total}}(Theta) = alpha L_{text{Régression}}(f_{text{reg}}(X), Y_{text{cont}}) + (1 – alpha) L_{text{Classification}}(f_{text{class}}(X), Y_{text{cat}})$$

Cette synergie fonctionnelle permet au pôle de régression d’apprendre des régularités métriques fines dans les couches intermédiaires, tandis que le pôle de classification impose des séparations structurales robustes au sein des mêmes représentations latentes partagées, diminuant mutuellement le risque de surajustement propre à chacune des branches.

Parallèlement, les cadres de modélisation semi-supervisée comblent le fossé computationnel lorsque seules de très rares observations disposent d’annotations catégorielles précises tandis qu’une abondance de signaux continus non labellisés est disponible. Les algorithmes projettent les signaux dans des espaces latents continus organisés de manière à ce que les frontières de décision de classification traversent uniquement des zones de densité empirique minimale.

Enfin, le champ de l’Intelligence Artificielle Explicable (XAI) adapte ses outils aux exigences particulières de chaque méthode. Alors que l’explicabilité en régression cherche à décomposer l’effet incrémental marginal de chaque variable continue le long d’une trajectoire dynamique, l’explicabilité en classification vise à définir les conditions contrefactuelles minimales nécessaires (« quelle perturbation vectorielle minimale faudrait-il appliquer à ce sujet pour le faire basculer de l’autre côté de la frontière de décision ? »). La maîtrise concomitante de ces deux piliers de l’apprentissage supervisé demeure la condition indispensable pour quiconque aspire à sonder, interpréter et modéliser rigoureusement les dynamiques du monde empirique.

Références

Breiman, L. (2001). Random forests. Machine Learning, 45(1), 5-32. https://doi.org/10.1023/A:1010933404324

Breiman, L., Friedman, J. H., Olshen, R. A., & Stone, C. J. (1984). Classification and regression trees. Wadsworth & Brooks/Cole Advanced Books & Software.

Caruana, R. (1997). Multitask learning. Machine Learning, 28(1), 41-75. https://doi.org/10.1023/A:1007379606734

Cortes, C., & Vapnik, V. (1995). Support-vector networks. Machine Learning, 20(3), 273-297. https://doi.org/10.1007/BF00994018

Cybenko, G. (1989). Approximation by superpositions of a sigmoidal function. Mathematics of Control, Signals, and Systems, 2(4), 303-314. https://doi.org/10.1007/BF02551274

Domingos, P. (2000). A unified bias-variance decomposition. In Proceedings of the 17th International Conference on Machine Learning (ICML 2000) (pp. 231-238). Morgan Kaufmann.

Fisher, R. A. (1936). The use of multiple measurements in taxonomic problems. Annals of Eugenics, 7(2), 179-188. https://doi.org/10.1111/j.1469-1809.1936.tb02137.x

Friedman, J. H. (2001). Greedy function approximation: A gradient boosting machine. The Annals of Statistics, 29(5), 1189-1232. https://doi.org/10.1214/aos/1013203451

Geman, S., Bienenstock, E., & Doursat, R. (1992). Neural networks and the bias/variance dilemma. Neural Computation, 4(1), 1-58. https://doi.org/10.1162/neco.1992.4.1.1

Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning. MIT Press. https://www.deeplearningbook.org/

Hastie, T., Tibshirani, R., & Friedman, J. (2009). The elements of statistical learning: Data mining, inference, and prediction (2nd ed.). Springer. https://doi.org/10.1007/978-0-387-84858-7

Hornik, K. (1991). Approximation capabilities of multilayer feedforward networks. Neural Networks, 4(2), 251-257. https://doi.org/10.1016/0893-6080(91)90009-T

James, G., Witten, D., Hastie, T., & Tibshirani, R. (2021). An introduction to statistical learning: With applications in R (2nd ed.). Springer. https://doi.org/10.1007/978-1-0716-1418-1

MacCallum, R. C., Zhang, S., Preacher, K. J., & Rucker, D. D. (2002). On the practice of dichotomization of quantitative variables. Psychological Methods, 7(1), 19-40. https://doi.org/10.1037/1082-989X.7.1.19

McCullagh, P., & Nelder, J. A. (1989). Generalized linear models (2nd ed.). Chapman & Hall/CRC. https://doi.org/10.1007/978-1-4899-3242-6

Rasmussen, C. E., & Williams, C. K. I. (2006). Gaussian processes for machine learning. MIT Press. https://doi.org/10.7551/mitpress/3206.001.0001

Stevens, S. S. (1946). On the theory of scales of measurement. Science, 103(2684), 677-680. https://doi.org/10.1126/science.103.2684.677

Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B (Methodological), 58(1), 267-288. https://doi.org/10.1111/j.2517-6161.1996.tb02080.x

Vapnik, V. (1998). Statistical learning theory. John Wiley & Sons.

Zou, H., & Hastie, T. (2005). Regularization and variable selection via the elastic net. Journal of the Royal Statistical Society: Series B (Statistical Methodology), 67(2), 301-320. https://doi.org/10.1111/j.1467-9868.2005.00503.x