Une introduction à la régression sur composantes principales

L’analyse statistique moderne au sein des sciences comportementales, cognitives et biomédicales fait face à un défi méthodologique omniprésent : la prolifération de variables explicatives fortement interdépendantes. Lorsqu’un chercheur tente de modéliser un phénomène psychologique complexe, tel que l’efficience cognitive, la régulation émotionnelle ou la sévérité d’un trouble psychiatrique, le réflexe analytique conventionnel consiste à déployer une régression linéaire multiple estimée par la méthode des moindres carrés ordinaires. Cependant, cette approche classique repose sur des hypothèses algébriques et géométriques strictes, au premier rang desquelles figure l’absence de colinéarité parfaite ou quasi-parfaite entre les régresseurs. Lorsque les prédicteurs partagent une part substantielle de leur variance, l’estimation des paramètres devient mathématiquement instable, provoquant une explosion de l’incertitude d’échantillonnage et vidant les tests d’hypothèses de leur puissance statistique.

Face à cet écueil fondamental, connu sous le nom de multicollinéarité, l’économétrie et la chimiométrie ont développé des stratégies de contournement novatrices qui ont progressivement conquis la psychologie quantitative. Parmi celles-ci, la régression sur composantes principales (souvent désignée par l’acronyme anglophone PCR pour Principal Component Regression) occupe une place pivotale. Combinant la puissance de synthèse géométrique de l’analyse en composantes principales et la rigueur de la modélisation linéaire, la PCR propose une reparamétrisation intégrale de l’espace des covariables. En projetant les variables prédictives originales sur un ensemble de dimensions orthogonales non corrélées avant d’ajuster le modèle de régression, elle permet de purger le système matriciel de toute redondance dégénérative tout en préservant l’information structurelle globale contenue dans les données.

Le présent article propose une exploration approfondie, mathématique, conceptuelle et appliquée de la régression sur composantes principales. Conçu spécifiquement pour les chercheurs, statisticiens et praticiens des sciences humaines confrontés à des architectures de données denses et corrélées, ce guide détaille l’ensemble du cycle de modélisation : des fondements algébriques de la décomposition spectrale jusqu’aux arbitrages fins du compromis biais-variance, en passant par les protocoles de validation croisée, les comparaisons critiques avec les méthodes concurrentes (Ridge, Lasso, Moindres Carrés Partiels) et les règles de restitution formelle selon les standards académiques contemporains.

1. Fondements et contexte mathématique du problème de multicollinéarité

1.1 Définition théorique et manifestations de la multicollinéarité

D’un point de vue strictement algébrique, la multicollinéarité survient au sein d’un modèle linéaire lorsque deux ou plusieurs colonnes de la matrice des régresseurs présentent une dépendance linéaire exacte ou approchée. Considérons le modèle linéaire classique exprimé sous sa forme matricielle compacte :

Y = Xβ + ε

où Y est un vecteur de dimension (n × 1) représentant la variable réponse, X est une matrice de dessein de dimension (n × p) contenant les observations de p covariables pour n sujets, β est le vecteur (p × 1) des coefficients de régression inconnus, et ε est le vecteur des perturbations stochastiques non corrélées, d’espérance nulle et de matrice de covariance scalaire σ²I. La condition nécessaire à l’estimation sans ambiguïté du vecteur β par les moindres carrés ordinaires réside dans le rang plein de la matrice X, c’est-à-dire que le rang de X doit être égal à p (en supposant que le nombre d’observations n excède le nombre de variables p).

Lorsque cette condition est violée de manière absolue, une ou plusieurs variables s’expriment comme une combinaison linéaire exacte des autres. Dans cette configuration singulière, le déterminant de la matrice d’information (XᵀX) s’annule rigoureusement, rendant son inversion impossible et privant le système d’une solution unique. Néanmoins, dans la pratique empirique des sciences humaines, la colinéarité stricte demeure rare en dehors d’erreurs de codage manifeste. La menace prépondérante réside dans la multicollinéarité quasi-stricte : les covariables ne sont pas parfaitement dépendantes au sens algébrique, mais manifestent des coefficients de corrélation bivariés ou multivariés extrêmement élevés. La matrice (XᵀX) devient alors quasi-singulière, son déterminant frôle zéro, et ses valeurs propres les plus faibles s’effondrent vers des grandeurs infinitésimales.

Pour quantifier et diagnostiquer ce phénomène insidieux, les méthodologistes s’appuient sur deux instruments métrologiques prédominants : le facteur d’inflation de la variance (VIF, pour Variance Inflation Factor) et l’indice de conditionnement matriciel. Pour une covariable j donnée, le VIF se formalise ainsi :

VIFⱼ = 1 / (1 – Rⱼ²)

où Rⱼ² représente le coefficient de détermination issu de la régression de la variable Xⱼ sur l’ensemble des p – 1 autres prédicteurs du modèle. Un VIF excédant des seuils heuristiques conventionnels tels que 5 ou 10 signale une contamination critique de l’espace vectoriel, traduisant qu’au moins 80 % à 90 % de la variance de la variable considérée est redondante avec le reste de la batterie de prédicteurs. Parallèlement, l’indice de conditionnement de la matrice X, calculé comme le rapport entre la valeur singulière maximale et chaque valeur singulière individuelle, permet de révéler des colinéarités complexes impliquant des combinaisons linéaires de plusieurs variables. Des indices supérieurs à 30 indiquent une instabilité numérique sévère de l’inverse de la matrice de covariance empirique, menaçant la validité des inférences statistiques ultérieures.

1.2 Impact statistique sur l’estimation des moindres carrés ordinaires

L’estimateur des moindres carrés ordinaires (MCO), dont la formulation canonique est donnée par l’équation β̂ = (XᵀX)⁻¹XᵀY, jouit selon le théorème de Gauss-Markov de propriétés optimales de convergence : il s’agit du meilleur estimateur linéaire non biaisé (BLUE). Cependant, ce théorème garantit une variance minimale uniquement au sein de la classe restreinte des estimateurs strictement impartiaux, sans préjuger de la grandeur absolue de cette variance. En présence d’une forte multicollinéarité, l’inversion de la matrice quasi-singulière (XᵀX) induit une dilatation phénoménale des éléments diagonaux de la matrice de covariance de l’estimateur :

Var(β̂) = σ² (XᵀX)⁻¹

Chaque terme diagonal de cette matrice correspond à la variance d’échantillonnage du coefficient associé. Sous l’effet du VIF, cette variance est littéralement multipliée par un facteur d’amplification disproportionné :

Var(β̂ⱼ) = (σ² / [(n – 1) sⱼ²]) × VIFⱼ

où sⱼ² est la variance d’échantillonnage de la variable Xⱼ. L’erreur-type des estimateurs croît alors de manière vertigineuse, traduisant une imprécision extrême quant à la véritable trajectoire du paramètre populationnel.

Cette inflation de la variance génère des distorsions empiriques majeures. Premièrement, les coefficients de régression deviennent hypersensibles aux perturbations stochastiques minimes des données : l’ajout, le retrait ou la légère modification de quelques observations au sein de l’échantillon peut provoquer des oscillations drastiques de l’amplitude des estimations, allant fréquemment jusqu’à des inversions arbitraires de signes mathématiques. Un prédicteur notoirement connu dans la littérature clinique pour son association positive avec une pathologie peut subitement hériter d’un coefficient négatif hautement contre-intuitif au sein du modèle ajusté, simplement en raison de sa redondance avec un prédicteur corollaire.

Deuxièmement, cette situation entraîne un effondrement dramatique du pouvoir statistique des tests d’hypothèses individuels. La statistique de Student associée à l’hypothèse nulle H₀: βⱼ = 0, calculée par le ratio t = β̂ⱼ / SE(β̂ⱼ), est mécaniquement écrasée par la croissance démesurée de l’erreur-type SE(β̂ⱼ) figurant au dénominateur. Les p-valeurs associées s’envolent au-delà des seuils de significativité conventionnels (α = 0,05 ou 0,01). Le chercheur se retrouve alors confronté à un paradoxe classique de la modélisation statistique : le test global de Fisher rejette massivement l’hypothèse nulle conjointe, affichant un R² global remarquablement élevé, tandis qu’aucun des prédicteurs individuels ne parvient à atteindre le seuil de significativité statistique. Ce piège méthodologique conduit régulièrement à l’abandon erroné de variables pourtant théoriquement fondamentales.

1.3 Prévalence des variables corrélées dans la recherche psychologique et comportementale

Si la multicollinéarité constitue une anomalie mathématique au regard de la géométrie euclidienne idéale des MCO, elle représente la norme structurelle inévitable au sein des disciplines étudiant le comportement humain, la cognition et la personnalité. Cette vulnérabilité singulière de la recherche psychologique et comportementale découle directement de la nature ontologique des objets qu’elle manipule : les construits latents non observables directement. Contrairement aux grandeurs physiques fondamentales (masse, longueur, température), les attributs psychologiques tels que l’anxiété état, la dépression majeure, l’intelligence fluide ou le névrosisme ne peuvent être captés que par l’intermédiaire de comportements manifestes imparfaits et d’indicateurs composites.

Il existe un chevauchement conceptuel et nosologique substantiel entre ces dimensions psychiques. Par exemple, au sein des nosographies cliniques contemporaines, la symptomatologie de l’anxiété généralisée partage des critères diagnostiques intriqués avec les épisodes dépressifs majeurs, tels que l’asthénie, les perturbations de la concentration, l’insomnie et l’agitation psychomotrice. Lorsqu’un protocole intègre simultanément des échelles de mesure pour ces deux entités (comme le Beck Depression Inventory et le State-Trait Anxiety Inventory), la matrice des prédicteurs enregistre inévitablement des corrélations bivariées oscillant fréquemment entre 0,70 et 0,85. De manière analogue, les taxonomies différentielles de la personnalité, à l’instar du modèle des Big Five ou du modèle HEXACO, reposent sur des facettes qui, bien que théoriquement dissociables, présentent des covarations empiriques systématiques imputables à des facteurs d’ordre supérieur ou à un facteur général de personnalité (General Factor of Personality).

Cette multicollinéarité structurelle est encore décuplée par les caractéristiques intrinsèques des batteries d’évaluation psychométrique multidimensionnelles. Afin de maximiser la fidélité de consistance interne (estimée par le coefficient alpha de Cronbach ou l’oméga de McDonald), les concepteurs de questionnaires multiplient délibérément les items mesurant des facettes extrêmement resserrées d’une même compétence cognitive ou d’un même schéma cognitivo-affectif. L’agrégation de ces scores, de même que le recueil de données comportementales issues de protocoles informatisés répétés (temps de réaction, taux d’erreurs en tâches d’inhibition exécutive de type Stroop ou Flanker), injecte dans les modèles de régression des variables dont l’interdépendance confine à la quasi-redondance absolue. Appliquer les moindres carrés ordinaires sans ajustement préalable sur de tels jeux de données expose invariablement les chercheurs à des artéfacts d’estimation et à des interprétations causales fallacieuses.

2. Panorama des approches conventionnelles face à la multicollinéarité

2.1 Méthodes de sélection de sous-ensembles de prédicteurs

Face au péril de la multicollinéarité, la réaction historique la plus intuitive consiste à purger le modèle d’une partie de ses régresseurs en sélectionnant un sous-ensemble parcimonieux de variables jugées fondamentales. La stratégie théorique idéale repose sur la sélection exhaustive de tous les sous-ensembles possibles (best subset selection). Pour un ensemble de p prédicteurs, cette approche implique l’ajustement systématique de l’ensemble des 2ᵖ combinaisons possibles de variables et leur comparaison via des critères d’information pénalisant la complexité, tels que le critère d’Akaike (AIC) ou le critère d’information bayésien (BIC). Si cette procédure offre des garanties théoriques robustes d’optimalité globale au regard de la métrique choisie, elle devient rigoureusement impraticable sur le plan computationnel dès lors que p dépasse quelques dizaines de variables, en raison de l’explosion combinatoire exponentielle.

Pour contourner ce verrou algorithmique, la pratique quantitative s’est massivement rabattue sur les procédures séquentielles pas à pas (stepwise selection), déclinées en sélection progressive ascendante (forward selection) et élimination descendante (backward elimination). La sélection forward débute avec un modèle sans aucun prédicteur (modèle nul) et intègre itérativement la variable qui procure le gain explicatif le plus substantiel selon un seuil préétabli de la statistique F ou de la réduction du critère d’information. Inversement, l’élimination backward initialise le processus avec le modèle saturé contenant l’intégralité des p covariables, puis retranche séquentiellement la variable la moins contributive jusqu’à atteindre un critère d’arrêt. Les algorithmes mixtes combinent ces deux mouvements, réévaluant à chaque itération la pertinence de conserver ou d’exclure les prédicteurs déjà incorporés.

En dépit de leur popularité historique auprès des utilisateurs de progiciels statistiques grand public, ces techniques de sélection séquentielle souffrent de tares méthodologiques rédhibitoires documentées de longue date par les statisticiens théoriciens. En premier lieu, ces méthodes procèdent par discrétisation brutale : le statut d’une variable passe de manière discontinue de zéro (exclusion totale) à une inclusion non pénalisée, ce qui génère une instabilité d’échantillonnage aiguë. Une infime fluctuation aléatoire au sein des données peut modifier l’ordre d’entrée des variables, conduisant à la sélection de sous-ensembles radicalement divergents à partir d’échantillons issus de la même population parente. En second lieu, les tests statistiques conduits au fil des étapes successives violent les postulats de la théorie classique des probabilités : les valeurs critiques de Student ou de Fisher ne sont pas ajustées pour tenir compte de la multiplicité des comparaisons opportunistes préalables, provoquant une inflation catastrophique du taux d’erreur de type I et produisant des p-valeurs artificiellement optimistes dénuées de validité confirmatrice.

2.2 Méthodes de régularisation pénalisée

Pour surmonter les limites structurelles des sélections discrètes, la statistique contemporaine a élaboré la famille des méthodes de régularisation continue, souvent désignées sous le terme de régression pénalisée. L’architecture fondamentale de ces approches consiste à modifier la fonction de coût des moindres carrés ordinaires en lui adjoignant un terme de pénalité mathématique proportionnel à la magnitude des coefficients de régression. Cette contrainte force le processus d’optimisation à opérer un rétrécissement contrôlé (shrinkage) des paramètres vers la valeur zéro, tempérant drastiquement leur variance d’échantillonnage au prix de l’injection délibérée d’un biais asymptotiquement contrôlé.

La première réponse historique formalisée dans cette catégorie est la régression Ridge, introduite par Hoerl et Kennard. La fonction objectif de Ridge minimise la somme des carrés des résidus sous une contrainte de norme quadratique euclidienne L₂ :

S_{Ridge}(β) = ||Y – Xβ||₂² + λ ||β||₂² = ∑ᵢ (yᵢ – xᵢᵀβ)² + λ ∑ⱼ βⱼ²

où λ ≥ 0 est un hyperparamètre de régularisation qui gouverne l’intensité de la pénalité. D’un point de vue matriciel, la résolution analytique de ce problème d’optimisation convexe modifie directement la matrice d’information en lui ajoutant une constante positive sur sa diagonale principale :

β̂_{Ridge} = (XᵀX + λI)⁻¹ XᵀY

Cette opération élimine de façon garantie la singularité matricielle : même si (XᵀX) possède des valeurs propres nulles ou quasi-nulles, la matrice (XᵀX + λI) devient strictement inversible, stabilisant l’intégralité des erreurs-types et circonscrivant l’amplitude des estimations.

Une alternative majeure réside dans la régression Lasso (Least Absolute Shrinkage and Selection Operator), développée par Robert Tibshirani. Le Lasso remplace la contrainte quadratique L₂ par une contrainte de norme absolue L₁ :

S_{Lasso}(β) = ||Y – Xβ||₂² + λ ||β||₁ = ∑ᵢ (yᵢ – xᵢᵀβ)² + λ ∑ⱼ |βⱼ|

Sur le plan géométrique, l’espace des contraintes défini par la norme L₁ présente une forme polyédrique dotée de sommets pointus situés sur les axes de coordonnées. En conséquence, les contours elliptiques de la fonction de coût quadratique entrent fréquemment en contact avec l’espace de contrainte au niveau de ces sommets, annulant rigoureusement certains coefficients de régression dès que la valeur de λ s’élève. Le Lasso réalise ainsi simultanément un rétrécissement continu des grandeurs et une sélection parcimonieuse intrinsèque des covariables. Des variantes hybrides, telles que l’Elastic Net, combinent simultanément les pénalités L₁ et L₂ pour hériter des bénéfices conjoints de sélection de variables et de regroupement des prédicteurs fortement colinéaires.

2.3 Limites méthodologiques des approches classiques en psychologie quantitative

Bien que mathématiquement sophistiquées et incontestablement efficaces dans les contextes de prédiction pure (tels que la bio-informatique génomique ou l’apprentissage automatique prédictif), la sélection de variables et les régressions pénalisées de type Lasso soulèvent de profondes interrogations épistémologiques lorsqu’elles sont transposées sans précaution à la psychologie quantitative et aux neurosciences cognitives. Le premier écueil réside dans l’élimination discrète d’items ou de sous-échelles psychométriques. Dans le cadre de l’évaluation d’un syndrome complexe, chaque variable observée représente une tentative de capturer une facette singulière du spectre psychopathologique. Forcer arbitrairement un coefficient à zéro sous prétexte qu’il partage 75 % de variance avec une variable concurrente équivaut à amputer le modèle d’une composante d’information clinique valide, risquant de biaiser rétrospectivement la définition théorique du construit investigué.

De surcroît, le comportement du Lasso en présence de groupes de variables présentant une colinéarité extrême est hautement problématique sur le plan conceptuel : confronté à un ensemble de cinq indicateurs psychométriques fortement intercorrélés mesurant l’anhédonie, le Lasso a tendance à sélectionner une seule variable de manière stochastique parmi le groupe et à écraser les quatre autres à zéro, indépendamment de leur pertinence clinique intrinsèque. Ce mécanisme aveugle brise la structure holistique des batteries d’évaluation et déroute les cliniciens qui s’appuient sur la convergence synergique de multiples manifestations symptomatiques.

Enfin, la recherche comportementale contemporaine conceptualise de plus en plus les fonctions exécutives, les dimensions de la personnalité et les réseaux psychopathologiques non pas comme des entités isolables gouvernées par un principe de parcimonie atomistique, mais comme des systèmes denses et dynamiques d’interdépendances mutuelles. Face à cette réalité épistémologique, chercher à forcer un modèle vers un petit nombre d’éléments indépendants relève d’une simplification réductrice. Il apparaît dès lors impératif de disposer d’une alternative méthodologique globale capable d’intégrer l’intégralité de l’espace vectoriel des prédicteurs, sans en sacrifier aucun, tout en neutralisant rigoureusement les instabilités numériques induites par la multicollinéarité. C’est précisément l’ambition théorique et mathématique portée par la régression sur composantes principales.

3. Principes fondamentaux de la réduction de dimensionnalité

3.1 Concept de projection d’espace vectoriel et compression d’information

Pour appréhender le mécanisme de la régression sur composantes principales, il convient d’examiner au préalable les fondements de la réduction de dimensionnalité par projection d’espace vectoriel. Dans un cadre analytique usuel, un échantillon de n individus mesurés sur p variables quantitatives s’inscrit au sein d’un espace euclidien réel de dimension p, noté ℝᵖ. Chaque sujet correspond à un point dans cet hyper-espace, dont les coordonnées sont dictées par le vecteur ligne xᵢᵀ de la matrice de données. Lorsque les p prédicteurs sont fortement corrélés, le nuage de points expérimental ne remplit pas de façon homogène l’espace à p dimensions : il a tendance à s’étirer et à se condenser le long de sous-espaces linéaires de dimensionnalité intrinsèque beaucoup plus restreinte, prenant la forme d’un hyper-ellipsoïde aplati.

La réduction de dimensionnalité consiste à opérer une transformation mathématique continue capable de projeter ce nuage d’observations depuis son espace initial ℝᵖ vers un sous-espace vectoriel de dimension k, avec k < p, tout en préservant le maximum de structure topologique et géométrique d’origine. Cette compression d’information repose sur le principe de conservation de l’inertie globale : il s’agit de trouver un système de projection orthogonale qui minimise la somme des carrés des distances de projection euclidiennes entre les points réels et leurs représentations projetées dans le sous-espace de substitution. Sur le plan matriciel, cela équivaut à substituer à la matrice de rang plein X une matrice approximante de rang k qui capture l’essentiel de la dispersion spatiale originelle, reléguant la variance résiduelle non projetée au statut de fluctuations aléatoires ou de bruit expérimental négligeable.

3.2 Analyse en composantes principales comme transformation orthogonale

L’Analyse en Composantes Principales (ACP), conceptualisée par Karl Pearson en 1901 et développée indépendamment par Harold Hotelling dans les années 1930, formalise mathématiquement cette opération de compression sous la forme d’une transformation orthogonale rigoureuse. L’objectif algébrique central de l’ACP est d’effectuer une rotation rigide du repère de coordonnées cartésiennes originel de manière à ce que les nouveaux axes vectoriels coïncident parfaitement avec les directions d’élongation et de dispersion maximale du nuage de données.

La première composante principale est définie par un vecteur unitaire v₁ ∈ ℝᵖ (tel que ||v₁|| = 1) qui maximise la variance empirique de la projection des données sur cette direction :

v₁ = argmax_{||v||=1} Var(Xv) = argmax_{||v||=1} (vᵀ XᵀX v / n)

Sous la contrainte de norme unitaire vᵀv = 1, ce problème d’optimisation avec contrainte se résout élégamment par l’introduction d’un multiplicateur de Lagrange λ. En dérivant la fonction lagrangienne associée, on aboutit directement à l’équation aux valeurs propres fondamentale :

Σ v = λ v

où Σ = (1/n) XᵀX est la matrice de covariance empirique des prédicteurs (en supposant les colonnes préalablement centrées). Le premier vecteur propre v₁ correspond à la plus grande valeur propre λ₁, laquelle représente précisément la variance empirique du nuage projeté sur ce nouvel axe.

Les composantes successives sont extraites de manière strictement analogue et ordonnée : pour tout entier m allant de 2 à p, le m-ième vecteur propre vₘ maximise la variance projetée λₘ sous la double contrainte d’avoir une norme unitaire (vₘᵀ vₘ = 1) et d’être strictement orthogonal à l’ensemble de tous les vecteurs propres préalablement déterminés (vₘᵀ vⱼ = 0 pour tout j < m). Cette contrainte d’orthogonalité mutuelle garantit que les axes factoriels résultants décrivent des dimensions d’information parfaitement décorrélées les unes des autres. L’ACP réalise ainsi une diagonalisation intégrale de la matrice de covariance empirique, métamorphosant un système de coordonnées interdépendantes en un jeu de descripteurs mutuellement indépendants sur le plan linéaire.

3.3 Différence conceptuelle entre réduction non supervisée et modélisation prédictive

Avant d’articuler l’ACP avec l’estimation d’un modèle de régression, il est fondamental de clarifier le statut épistémologique de cette transformation spatiale. L’analyse en composantes principales est une technique d’apprentissage non supervisé. Cela signifie que l’extraction des vecteurs propres et le calcul des scores factoriels s’opèrent de manière entièrement aveugle à toute information extérieure au bloc de covariables X. En particulier, la variable réponse dépendante Y, celle-là même que le chercheur ambitionne d’expliquer ou de prédire, ne joue rigoureusement aucun rôle dans la détermination des axes de projection.

Cette non-supervision distingue fondamentalement l’ACP des modèles explicatifs psychométriques, tels que l’analyse factorielle confirmatoire ou la modélisation par équations structurelles, dans lesquels les relations latentes sont orientées par une matrice théorique de causalité et de covariation ciblée. L’ACP ne cherche pas à dévoiler des construits ontologiques réels mais constitue un opérateur géométrique optimal de condensation de variance descriptive. La régression sur composantes principales procède précisément d’un couplage séquentiel novateur : elle applique dans un premier temps un traitement non supervisé de compression et d’orthogonalisation de l’espace des descripteurs, pour déployer dans un second temps un ajustement supervisé de la variable cible sur ce substrat factoriel purifié de toute colinéarité.

4. Théorie mathématique de la régression sur composantes principales

4.1 Décomposition spectrale et décomposition en valeurs singulières

L’assise formelle de la PCR s’articule autour de deux décompositions matricielles équivalentes : la décomposition spectrale de la matrice de covariance et la décomposition en valeurs singulières (SVD, pour Singular Value Decomposition) de la matrice de données. Soit X une matrice de dimension (n × p) préalablement centrée et réduite. La matrice de dispersion symétrique semi-définie positive (XᵀX) peut être décomposée spectralement selon le théorème spectral :

XᵀX = V Λ Vᵀ

où V = [v₁, v₂, …, vₚ] est la matrice orthogonale (p × p) regroupant les vecteurs propres orthonormés colonnes, vérifiant VᵀV = VVᵀ = Iₚ, et Λ = diag(λ₁, λ₂, …, λₚ) est la matrice diagonale des valeurs propres réelles ordonnées de manière strictement décroissante :

λ₁ ≥ λ₂ ≥ … ≥ λₚ ≥ 0

Sur le plan algorithmique direct, la méthode privilégiée pour décomposer X sans former explicitement le produit XᵀX (ce qui évite des pertes de précision numérique) est la SVD, définie par :

X = U D Vᵀ

Dans cette formulation, U est une matrice orthogonale (n × n) dont les colonnes sont les vecteurs singuliers à gauche, D est une matrice pseudo-diagonale (n × p) contenant les valeurs singulières positives dⱼ disposées en ordre décroissant sur sa diagonale principale, et V est la matrice orthogonale (p × p) des vecteurs singuliers à droite, qui coïncident rigoureusement avec les vecteurs propres de XᵀX. Le lien analytique direct entre les valeurs singulières et les valeurs propres de dispersion s’établit par l’égalité mathématique :

λⱼ = dⱼ² / n

Chaque valeur singulière dⱼ quantifie directement la contribution de la dimension correspondante à l’inertie géométrique totale du nuage de données. L’inertie totale n’étant autre que la trace de la matrice de covariance, la proportion de variance globale capturée par la j-ième composante s’exprime par le ratio canonique :

Propⱼ = λⱼ / ∑ₘ₌₁ᵖ λₘ = dⱼ² / ∑ₘ₌₁ᵖ dₘ²

4.2 Construction formelle des scores factoriels

Une fois les directions principales identifiées par les colonnes de la matrice V (communément désignées sous le vocable de charges factorielles ou loadings), l’étape suivante consiste à matérialiser les nouvelles coordonnées de chaque sujet le long de ces axes. Cette matrice de coordonnées spatiales renouvelées est appelée matrice des scores factoriels, notée Z. Elle est obtenue par la projection orthogonale directe de la matrice d’origine X sur la base orthonormée définie par V :

Z = X V

En exploitant la décomposition SVD où X = U D Vᵀ, la matrice des scores se simplifie remarquablement :

Z = (U D Vᵀ) V = U D (VᵀV) = U D

Chaque colonne zⱼ = X vⱼ de la matrice Z de dimension (n × p) constitue un vecteur de scores factoriels pour la composante j. La propriété algébrique fondamentale conférée par cette transformation est l’annulation rigoureuse de la covariance entre deux colonnes distinctes quelconques de Z. Démontrons-le analytiquement en calculant la matrice de covariance empirique des scores :

Cov(Z) = (1/n) ZᵀZ = (1/n) (XV)ᵀ (XV) = (1/n) Vᵀ (XᵀX) V

En substituant la décomposition spectrale XᵀX = V Λ Vᵀ et en tirant profit de l’orthogonalité VᵀV = I :

Cov(Z) = (1/n) Vᵀ (V Λ Vᵀ) V = (1/n) (VᵀV) Λ (VᵀV) = (1/n) I Λ I = (1/n) Λ

La matrice Cov(Z) étant strictement diagonale, tout terme non diagonal Cov(zᵢ, zⱼ) pour i ≠ j est rigoureusement égal à zéro. L’ensemble des p vecteurs de scores factoriels forment ainsi un système de variables orthogonales au sens géométrique et non corrélées au sens stochastique.

4.3 Formulation de l’équation de régression sur les composantes sélectionnées

L’opération constitutive de la régression sur composantes principales consiste à abandonner les dernières composantes factorielles associées aux variances marginales les plus faibles afin d’opérer la troncature dimensionnelle. Soit k le nombre entier de composantes retenues, tel que 1 ≤ k < p. Nous partitionnons la matrice des scores Z et la matrice des loadings V en deux blocs sous-jacents :

Z = [Zₖ | Z_{p-k}] et V = [Vₖ | V_{p-k}]

où Zₖ est de dimension (n × k) et Vₖ est de dimension (p × k). Le modèle de régression linéaire est alors formulé non plus sur les variables originales instables X, mais exclusivement sur la matrice tronquée des scores orthogonaux Zₖ :

Y = Zₖ γₖ + ε*

où γₖ = [γ₁, γ₂, …, γₖ]ᵀ représente le vecteur des coefficients de régression associé aux composantes principales sélectionnées.

L’estimation de γₖ par la méthode des moindres carrés ordinaires prend la forme :

γ̂ₖ = (Zₖᵀ Zₖ)⁻¹ Zₖᵀ Y

Grâce à la propriété d’orthogonalité établie précédemment, le produit Zₖᵀ Zₖ est une matrice purement diagonale :

Zₖᵀ Zₖ = diag(d₁², d₂², …, dₖ²) = n × diag(λ₁, λ₂, …, λₖ)

L’inversion matricielle ne pose aucune complexité algorithmique et ne souffre d’aucune amplification d’instabilité, consistant simplement en l’inversion individuelle des éléments diagonaux non nuls. Chaque coefficient γ̂ⱼ (pour j = 1, …, k) s’estime donc de façon totalement découplée et indépendante :

γ̂ⱼ = (zⱼᵀ Y) / (zⱼᵀ zⱼ) = (zⱼᵀ Y) / dⱼ²

Pour rétablir l’interprétation des effets au niveau des prédicteurs psychométriques originaux, il suffit de rétro-projeter mathématiquement le vecteur γ̂ₖ dans la base de ℝᵖ. En substituant Zₖ = X Vₖ dans l’équation de prédiction linéaire Ŷ = Zₖ γ̂ₖ :

Ŷ = (X Vₖ) γ̂ₖ = X (Vₖ γ̂ₖ) = X β̂_{PCR(k)}

Le vecteur des coefficients de régression PCR exprimé dans le référentiel des variables initiales est ainsi formellement donné par :

β̂_{PCR(k)} = Vₖ γ̂ₖ = Vₖ (Zₖᵀ Zₖ)⁻¹ Zₖᵀ Y = ∑ⱼ₌₁ᵏ (vⱼ zⱼᵀ Y / dⱼ²)

Cette relation fondamentale met en lumière l’élégance de la PCR : le vecteur final des coefficients β̂_{PCR(k)} est une combinaison linéaire des colonnes de Vₖ pondérée par les performances explicatives respectives de chaque composante retenue.

5. Les étapes méthodologiques de la mise en œuvre de la PCR

5.1 Standardisation et prétraitement rigoureux des données psychologiques

L’étape inaugurale et critique de la régression sur composantes principales réside dans la standardisation intégrale de la matrice des régresseurs X. Cette exigence est dictée par la sensibilité structurelle de l’ACP aux unités de mesure et aux magnitudes de variance marginale. En effet, l’ACP cherche par définition à maximiser la variance projetée le long des axes factoriels. Si l’une des variables présente une variance arithmétiquement beaucoup plus élevée que les autres — que ce soit en raison d’unités d’enregistrement disparates (par exemple des millisecondes pour des temps de réaction cognitifs face à des scores d’items allant de 1 à 5 sur une échelle de Likert) ou d’une échelle intrinsèquement étendue —, cette variable dominera outrageusement le premier axe principal, indépendamment de son contenu informationnel réel.

Pour immuniser l’analyse contre cet artéfact d’échelle, chaque prédicteur j doit subir un centrage-réduction strict avant toute factorisation :

x̃ᵢⱼ = (xᵢⱼ – x̄ⱼ) / sⱼ

où x̄ⱼ est la moyenne empirique de la variable et sⱼ son écart-type d’échantillonnage corrigé. Cette transformation contraint chaque colonne de la matrice X̃ à posséder une moyenne rigoureusement nulle et une variance unitaire égale à 1. Dans cette configuration, la matrice de dispersion (1/n) X̃ᵀX̃ n’est autre que la matrice des corrélations de Pearson R de l’ensemble des prédicteurs. Parallèlement, la variable dépendante Y est quasi-systématiquement centrée (ỹᵢ = yᵢ – ȳ) afin de neutraliser le terme d’interception dans le système de projection et d’alléger la notation matricielle sans altérer la pente des hyperplans d’ajustement.

Ce prétraitement implique également une vérification attentive des données manquantes, récurrentes dans les suivis longitudinaux ou les batteries de questionnaires en ligne. Les algorithmes spectraux ne tolérant aucun vide matriciel, les chercheurs doivent privilégier des procédures d’imputation multiple par équations chaînées (MICE) ou des méthodes d’imputation itérative par ACP (comme l’algorithme missMDA) plutôt qu’une suppression aveugle des observations incomplètes (listwise deletion), laquelle détruirait la représentativité de l’échantillon et amoindrirait la précision globale des projections géométriques.

5.2 Extraction et orthogonalisation des prédicteurs latents

Une fois les données standardisées, l’analyste procède à l’extraction ordonnée des composantes principales. La décomposition spectrale génère p composantes factorielles indépendantes, rangées suivant une hiérarchie d’inertie strictement monotone et décroissante. À ce stade du flux de travail, il est primordial de procéder à un contrôle qualité de l’orthogonalisation effective des données transformées. La matrice de corrélation empirique calculée entre les colonnes de la matrice des scores Z doit correspondre, aux erreurs d’arrondi informatique près (de l’ordre de la précision machine 10⁻¹⁶), à la matrice identité Iₚ.

Les résultats de cette phase intermédiaire sont consignés dans un tableau de synthèse factorielle documentant avec exhaustivité :

• La valeur propre λⱼ associée à chaque dimension factorielle successive ;
• Le pourcentage individuel de variance expliquée, (λⱼ / p) × 100 ;
• Le pourcentage cumulé de variance expliquée par les m premiers axes.

Dans un contexte psychologique standard comportant entre 20 et 50 items hautement colinéaires, il est fréquent d’observer que les 3 ou 4 premières composantes principales drainent à elles seules entre 60 % et 80 % de la dispersion globale contenue dans la matrice de données. Cette synthèse spectrale condense l’espace de configuration tout en éliminant les redondances dimensionnelles micro-locales.

5.3 Estimation finale du modèle et rétro-conversion des paramètres

L’estimation finale intervient dès lors que le nombre optimal de composantes, noté k, a été tranché selon des critères de décision rigoureux. La régression par moindres carrés ordinaires de la variable centrée Ỹ sur la matrice restreinte des k premiers scores Zₖ produit le vecteur de coefficients γ̂ₖ. La variance résiduelle de ce modèle intermédiaire est évaluée selon la somme des carrés des erreurs résiduelles :

e = Ỹ – Zₖ γ̂ₖ

Le chercheur examine les résidus à l’aune des postulats habituels de la théorie linéaire : homoscédasticité des variances résiduelles et normalité de leur distribution au moyen de tests d’adéquation tels que le test de Shapiro-Wilk et l’examen des graphiques quantile-quantile (Q-Q plots).

L’ultime étape méthodologique consiste en la rétro-projection des coefficients dans l’espace originel des covariables psychométriques. Cette transformation s’opère par la multiplication matricielle β̂_{std} = Vₖ γ̂ₖ. Le vecteur obtenu reflète l’impact de chaque variable standardisée sur la réponse. Enfin, si l’on désire restituer les coefficients dans les unités physiques ou psychométriques non standardisées d’origine, on applique la dé-standardisation canonique :

β̂ⱼ = β̂_{std, j} × (s_Y / sⱼ)

avec un terme d’interception recalculé selon l’égalité :

β̂₀ = ȳ – ∑ⱼ₌₁ᵖ β̂ⱼ x̄ⱼ

Cette rétro-conversion permet de concilier la robustesse de l’estimation dans l’espace orthogonal compressé avec la compréhensibilité concrète des métriques cliniques initiales.

6. Critères et stratégies de sélection du nombre optimal de composantes

6.1 Approches heuristiques classiques issues de l’analyse factorielle

Le succès prédictif et l’adéquation structurelle d’une régression sur composantes principales dépendent presque exclusivement du choix critique de l’hyperparamètre k, le nombre de dimensions factorielles conservées dans le modèle d’ajustement. Historiquement, les analystes ont emprunté des heuristiques traditionnelles développées dans le cadre de l’analyse factorielle exploratoire descriptive. La règle la plus célèbre demeure le critère de Kaiser-Guttman, qui préconise la conservation de toutes les composantes principales dont la valeur propre λⱼ est strictement supérieure à 1 (lorsque l’ACP est conduite sur la matrice des corrélations standardisée). La justification conceptuelle sous-jacente énonce qu’une composante factorielle ne mérite d’être conservée que si elle parvient à synthétiser une quantité de variance supérieure à celle injectée par une variable standardisée individuelle unitaire.

Une seconde approche visuelle très répandue est le test de l’éboulis de Cattell (scree test). Il repose sur la projection graphique des valeurs propres ordonnées en fonction de leur rang dimensionnel. L’analyste recherche visuellement un « coude » ou point d’inflexion où la courbe décroissante cesse de chuter brutalement pour se stabiliser sur une trajectoire quasi-linéaire asymptotique. Les composantes situées en amont de cette rupture de pente sont qualifiées de dimensions structurales majeures, tandis que celles situées en aval sont assimilées aux débris d’éboulis rocheux, ne véhiculant qu’un bruit non informatif.

Enfin, certains protocoles s’en remettent à des seuils conventionnels arbitraires d’inertie cumulative expliquée, décidant de retenir le nombre minimal de composantes nécessaires pour franchir une borne prédéfinie de 70 %, 80 % ou 90 % de la variance totale. Néanmoins, bien que commodes et intuitives, ces heuristiques issues de l’analyse descriptive présentent une faille fondamentale dans un contexte de régression : elles sélectionnent les axes factoriels uniquement en fonction de leur dispersion interne au sein du bloc des prédicteurs X, sans accorder la moindre considération à la capacité de ces composantes à prédire effectivement la variable réponse Y.

6.2 Validation croisée pour l’optimisation prédictive

Pour fonder le choix de k sur des garanties statistiques réelles d’efficience prédictive, la méthodologie quantitative moderne délaisse les heuristiques factorielles au profit des techniques de rééchantillonnage par validation croisée, avec une prédilection marquée pour la validation croisée à K blocs (K-fold cross-validation). Le principe consiste à partitionner l’échantillon global de taille n en K sous-ensembles mutuellement exclusifs (généralement K = 5 ou 10) de taille équilibrée. De façon itérative, K – 1 blocs servent de base d’entraînement pour calculer la standardisation, extraire les composantes principales et estimer les coefficients de régression, tandis que le bloc résiduel non mobilisé fait office de jeu de test indépendant pour évaluer l’exactitude des prédictions.

Pour chaque valeur candidate de k variant de 1 à p, on calcule l’erreur quadratique moyenne de prédiction (RMSEP, pour Root Mean Squared Error of Prediction) cumulée sur l’intégralité des plis de test :

RMSEP(k) = √[ (1/n) ∑ᵢ₌₁ⁿ (yᵢ – ŷ_{(-i)}(k))² ]

où ŷ_{(-i)}(k) désigne la valeur prédite pour le sujet i au moyen d’un modèle à k composantes entraîné sur l’échantillon excluant le bloc auquel appartient le sujet i. La courbe d’évolution de la RMSEP en fonction de k affiche typiquement une morphologie en U : elle décroît rapidement dans les premières dimensions à mesure que le modèle intègre le signal informatif majeur, atteint un minimum d’erreur optimal k_{opt}, puis recommence à remonter progressivement sous l’effet du surapprentissage.

Plutôt que d’adopter systématiquement la valeur brute k_{opt} qui minimise numériquement la RMSEP, il est vivement recommandé d’appliquer la règle heuristique parcimonieuse de l’erreur-type simple (one-standard-error rule), formalisée par Hastie, Tibshirani et Friedman. Cette règle consiste à calculer l’erreur-type de la métrique de validation croisée au point minimal SE(RMSEP_{min}) et à retenir le plus petit entier k dont l’erreur quadratique se situe à l’intérieur de l’intervalle :

[RMSEP_{min} ; RMSEP_{min} + SE(RMSEP_{min})]

Cette démarche favorise délibérément le modèle le plus concis et le plus stable dont la performance prédictive est statistiquement indistinguable du modèle numériquement optimal, réduisant considérablement le risque d’incorporer des composantes parasitées par le bruit d’échantillonnage.

6.3 Risques associés au surajustement et au sous-ajustement

Le calibrage précis de la dimensionnalité gouverne directement le comportement inductif du modèle, délimitant la frontière ténue entre surajustement (overfitting) et sous-ajustement (underfitting). Le sous-ajustement survient lorsqu’un nombre manifestement trop restreint de composantes factorielles est sélectionné (par exemple k = 1 ou 2 alors que le phénomène sous-jacent en requiert 5). Dans cette configuration, le modèle souffre d’un biais d’omission sévère : des pans entiers de la variance des covariables corrélés à la réponse sont prématurément écartés, entraînant une sous-estimation systématique du coefficient d’association et des prédictions systématiquement tronquées.

À l’inverse, le surajustement se matérialise lorsque k est fixé à une valeur excessivement proche du rang total p. En incorporant les axes factoriels terminaux, le modèle réintègre précisément les composantes spectrales associées aux valeurs propres les plus ténues. Or, par construction géométrique, ces directions de variance infinitésimale sont composées presque exclusivement de bruit aléatoire de mesure, de micro-fluctuations d’échantillonnage et d’artéfacts spécifiques aux sujets interrogés. Leur intégration dilate de nouveau les variances d’estimation des coefficients rétro-projetés et anéantit la capacité de généralisation clinique du modèle sur des cohortes externes, ruinant la validité écologique de l’investigation.

7. Propriétés statistiques, avantages et robustesse de la PCR

7.1 Élimination structurelle de la multicollinéarité

La propriété statistique cardinale et le triomphe analytique de la PCR résident dans l’éradication structurelle absolue du problème de multicollinéarité. Contrairement à la régression MCO classique qui s’efforce vainement d’inverser une matrice (XᵀX) instable et enchevêtrée, la PCR contourne totalement cet écueil computationnel en reparamétrisant le système dans la base orthogonale Zₖ. Dans cet espace transformé, la matrice d’information (Zₖᵀ Zₖ) est rigoureusement diagonale. En conséquence mathématique directe, les facteurs d’inflation de la variance (VIF) mesurés au sein de la régression intermédiaire sur les scores sont tous identiquement et perpétuellement égaux à 1,000 :

VIF(zⱼ) = 1 / (1 – R_{zⱼ | z_{-j}}²) = 1 / (1 – 0) = 1

Cette orthogonalité intrinsèque stabilise de manière spectaculaire l’architecture d’inférence. Les erreurs-types associées aux coefficients factoriels γ̂ⱼ sont parfaitement découplées et bornées par une formulation élémentaire :

SE(γ̂ⱼ) = σ̂ / √(zⱼᵀ zⱼ) = σ̂ / dⱼ = σ̂ / √(n λⱼ)

L’estimation de l’impact de la première composante sur le résultat clinique n’interfère aucunement avec celle de la deuxième ou de la troisième dimension. Les perturbations d’estimation croisées sont anéanties. L’analyste se trouve définitivement affranchi des aberrations numériques propres aux MCO, telles que les coefficients explosifs ou les inversions erratiques de signe : un axe factoriel exprimant une symptomatologie globale présentera un signe d’association clinique parfaitement robuste et constant, assurant une modélisation mathématique sereine et exempte d’artefacts d’instabilité matricielle.

7.2 Réduction substantielle de la variance des estimateurs

En comprimant le nombre de régresseurs de p à k dimensions orthogonales majeures, la PCR engendre une contraction massive de la variance d’échantillonnage de ses estimateurs finaux. Pour appréhender quantitativement cette supériorité face aux MCO, il est instructif de comparer la trace de la matrice de covariance du vecteur β̂_{PCR(k)} à celle de l’estimateur conventionnel β̂_{OLS}. En mobilisant les propriétés spectrales de la pseudo-inverse, la somme des variances d’estimation des coefficients originaux sous le modèle des moindres carrés ordinaires s’exprime par :

Tr[Var(β̂_{OLS})] = σ² ∑ⱼ₌₁ᵖ (1 / λⱼ)

Dès lors que la matrice de covariance empirique présente une forte multicollinéarité, les dernières valeurs propres λⱼ s’effondrent vers zéro. Les termes inverses correspondants 1 / λⱼ explosent vers l’infini, catapultant la variance totale de l’estimateur MCO à des niveaux disproportionnés.

Dans la régression sur composantes principales, l’élimination discrète des p – k derniers axes factoriels supprime purement et simplement ces termes d’explosion d’inversion :

Tr[Var(β̂_{PCR(k)})] = σ² ∑ⱼ₌₁ᵏ (1 / λⱼ)

Puisque la sommation s’interrompt à l’indice k et ne conserve que les valeurs propres dominantes λ₁ à λₖ (qui sont de magnitude substantielle), la quantité ∑ⱼ₌₁ᵏ (1 / λⱼ) demeure modérée et rigoureusement bornée. La dispersion des coefficients estimés d’un échantillon expérimental à l’autre est radicalement comprimée. Cette stabilisation des paramètres se répercute instantanément sur la prédiction : la variance des prédictions individuelles hors-échantillon Var(ŷ_{nouv}) chute dramatiquement, garantissant que le modèle réagira avec une grande tolérance et une robustesse remarquable aux fluctuations stochastiques naturelles des populations étudiées.

7.3 Arbitrage biais-variance dans la modélisation psychologique

L’efficacité statistique supérieure de la régression sur composantes principales s’analyse rigoureusement dans le cadre conceptuel fondamental du compromis biais-variance. En vertu du théorème de Gauss-Markov, l’estimateur MCO est sans biais, ce qui implique que son espérance mathématique coïncide fidèlement avec le paramètre de la population parente : E[β̂_{OLS}] = β. Toutefois, l’erreur quadratique moyenne totale (MSE, pour Mean Squared Error), qui mesure l’écart quadratique moyen entre l’estimateur empirique et la vérité théorique, se décompose invariablement en la somme du carré du biais et de la variance :

MSE(β̂) = E[ ||β̂ – β||² ] = ||Biais(β̂)||² + Tr[Var(β̂)]

Sous MCO en condition colinéaire, le terme de biais est nul, mais le terme de variance est si démesuré que la MSE globale atteint des valeurs prohibitives. La PCR brise délibérément le carcan du non-biais. En éliminant p – k composantes factorielles, elle introduit un biais structurel non nul :

Biais(β̂_{PCR(k)}) = E[β̂_{PCR(k)}] – β = (Vₖ Vₖᵀ – Iₚ) β = – ∑ⱼ₌ₖ₊₁ᵖ vⱼ (vⱼᵀ β)

Ce biais sera d’autant plus faible que les vrais coefficients β sont principalement alignés sur les premiers vecteurs propres Vₖ.

En contrepartie de ce léger biais d’omission factorielle, la PCR induit un affaissement spectaculaire du terme de variance Tr[Var(β̂)]. Tant que l’accroissement quadratique du biais induit par la troncature dimensionnelle reste inférieur au gain d’extinction de la variance résultant de l’exclusion des 1 / λⱼ résiduels, la MSE globale de la régression sur composantes principales est strictement et significativement inférieure à celle des moindres carrés ordinaires :

MSE(β̂_{PCR(k)}) < MSE(β̂_{OLS})

Ce cadre théorique justifie formellement le recours à la PCR en sciences quantitatives : en acceptant un compromis mathématique lucide — sacrifier l’illusion d’une impartialité absolue pour enrayer l’instabilité de l’estimation —, elle offre des modèles infiniment plus fiables et reproductibles pour la recherche empirique.

8. Limites épistémologiques et contraintes méthodologiques de la PCR

8.1 Nature non supervisée de l’extraction des composantes

En dépit de son élégance mathématique et de son efficacité contre l’instabilité des variances, la régression sur composantes principales héberge une vulnérabilité théorique majeure qui découle directement de son architecture en deux temps : la déconnexion fondamentale entre la phase de réduction non supervisée et la phase d’estimation supervisée. L’ACP extrait et ordonne les composantes factorielles en se conformant exclusivement à l’inertie interne de la matrice de dessein X. Le postulat tacite sur lequel repose l’ensemble de l’édifice PCR stipule que les directions de dispersion spatiale maximale au sein des prédicteurs coïncident nécessairement avec les axes qui détiennent le pouvoir explicatif prépondérant sur la variable dépendante Y.

Or, rien dans la théorie statistique ne garantit la validité empirique de ce postulat ontologique. Il est parfaitement concevable, et fréquemment observé dans certains protocoles neurocognitifs subtils, qu’une composante factorielle dotée d’une variance globale marginale (par exemple la 8-ième ou 10-ième composante, capturant à peine 2 % de la dispersion de X) soit précisément celle qui corrèle de façon hautement prédictive avec le critère clinique étudié. Si la validation croisée ou les heuristiques de troncature sélectionnent un k restreint (par exemple k = 3), cette dimension porteuse du signal critique sera purement et simplement jetée au rebut, reléguée au rang de résidu insignifiant. Dans un tel scénario pathologique, la PCR échoue lamentablement là où des méthodes de sélection supervisée ou des approches concurrentes parviennent à extraire la covariation pertinente.

8.2 Complexité d’interprétabilité psychologique des paramètres

La seconde limitation critique de la PCR réside dans la difficulté d’interprétation sémantique et psychologique des estimations obtenues. Dans un modèle de régression multivariée classique, le coefficient β̂ⱼ possède une signification contrefactuelle directe et limpide : il mesure l’évolution attendue de la variable réponse Y consécutive à l’augmentation d’une unité de la variable Xⱼ, sous l’hypothèse stricte que l’ensemble des p – 1 autres covariables soient maintenues rigoureusement constantes (condition ceteris paribus).

Au sein de la PCR, ce cadre interprétatif univoque s’estompe. Les régresseurs directs du modèle ajusté sont des scores factoriels Zₖ, lesquels correspondent à des mélanges linéaires denses amalgamant la totalité des variables initiales. S’il est aisé d’interpréter le premier axe factoriel lorsqu’il correspond à un facteur général limpide (comme le facteur g de Spearman dans les tests d’aptitude cognitive), l’assignation d’une signification conceptuelle cohérente aux axes intermédiaires ou d’ordre supérieur (mêlant avec des pondérations divergentes des items d’extraversion, de neuroticisme, de métacognition et d’anxiété) confine régulièrement à la conjecture spéculative. Bien que la rétro-projection fournisse un vecteur β̂_{PCR} réexprimé dans les unités des variables initiales, chacun de ces coefficients finaux n’est qu’un condensat géométrique contraint par la réduction de rang, privant le chercheur d’une inférence causale isolable au niveau d’un item individuel.

8.3 Vulnérabilité face aux données atypiques et aux non-linéarités

Sur le plan distributionnel et métrique, la régression sur composantes principales hérite des fragilités inhérentes à l’analyse factorielle classique. En premier lieu, le calcul des vecteurs propres s’appuie sur la matrice de covariance de Pearson, laquelle est exceptionnellement vulnérable à la présence de données aberrantes ou atypiques (outliers) et d’observations à fort effet de levier multivarié. Un sujet présentant une configuration de réponses aberrante (par exemple un profil discordant consécutif à un désengagement attentionnel lors de la passation informatisée d’un questionnaire) peut à lui seul déformer l’hyper-ellipsoïde de variance et dévier significativement l’orientation géométrique des axes principaux, contaminant l’ensemble des scores factoriels de la cohorte.

En second lieu, la PCR est intrinsèquement bornée par le postulat de linéarité globale. La projection spectrale classique ne sait appréhender que des associations linéaires entre prédicteurs, tout comme la régression terminale ne modélise que des surfaces de réponse planes. Si les interactions entre construits psychologiques s’articulent selon des motifs fortement non linéaires — tels que des relations quadratiques en U inversé modélisant la loi de Yerkes-Dodson reliant l’éveil attentionnel à la performance cognitive, ou des dynamiques d’interaction multiplicative —, l’ACP échouera à comprimer fidèlement l’espace et la régression linéaire sur scores présentera un biais d’ajustement structurel majeur, requérant le déploiement d’extensions algorithmiques complexes.

9. Comparaison critique : PCR, régression Ridge, Lasso et PLS

9.1 PCR versus régression Ridge : troncature discrète contre pénalisation continue

L’articulation entre la régression sur composantes principales et la régression Ridge constitue l’une des correspondances spectrales les plus fascinantes de la statistique multivariée. Ces deux méthodes partagent un objectif fondamental commun : neutraliser l’impact délétère des faibles valeurs propres de la matrice de covariance en contractant l’amplitude des paramètres estimés. Cependant, elles s’opposent radicalement dans leur mode d’action algorithmique. La PCR opère une troncature spectrale discrète (dichotomique) : elle conserve intactes, sans aucun rétrécissement, les k premières composantes associées aux valeurs singulières dominantes, et anéantit rigoureusement à zéro l’influence des p – k dernières composantes.

À l’inverse, la régression Ridge agit par l’intermédiaire d’une pénalisation continue et graduée. En décomposant l’estimateur Ridge à l’aide de la SVD (où X = U D Vᵀ), on démontre analytiquement que le vecteur de prédiction s’exprime selon :

Ŷ_{Ridge} = ∑ⱼ₌₁ᵖ [ dⱼ² / (dⱼ² + λ) ] uⱼ (uⱼᵀ Y)

Tandis que la prédiction issue de la PCR tronquée se formalise par :

Ŷ_{PCR(k)} = ∑ⱼ₌₁ᵏ uⱼ (uⱼᵀ Y)

La comparaison de ces deux équations est hautement révélatrice : là où la PCR applique un coefficient de pondération binaire valant 1 si j ≤ k et 0 si j > k, la régression Ridge module la contribution de chaque direction spatiale par un opérateur de rétrécissement continu fⱼ(λ) = dⱼ² / (dⱼ² + λ). Lorsque la valeur singulière dⱼ est immense devant λ, ce ratio frôle 1 (préservation du signal) ; lorsque dⱼ est minuscule, le ratio s’éteint continûment vers 0. La régression Ridge offre ainsi un lissage spatial plus doux, évitant le basculement binaire parfois brutal de la PCR, mais cette dernière conserve une supériorité computationnelle et descriptive lorsqu’un sous-espace de dimension k nettement démarqué structure réellement les données.

9.2 PCR versus régression Lasso : combinaisons denses contre parcimonie explicite

Le contraste entre la PCR et la régression Lasso incarne deux philosophies analytiques irréconciliables quant à la modélisation de la complexité psychométrique. La régression Lasso postule l’existence d’une parcimonie stricte et observable au sein des covariables d’origine (sparsity). Guidé par sa pénalité de norme L₁, le Lasso écrase les coefficients des prédicteurs redondants pour aboutir à un modèle final ne retenant qu’une poignée d’indicateurs originaux non transformés. Ce mécanisme simplifie spectaculairement l’élaboration de règles de décision diagnostiques rapides en clinique : le praticien peut focaliser son attention sur trois ou quatre scores fondamentaux sans avoir à administrer le reste du questionnaire.

La PCR, pour sa part, rejette l’hypothèse de parcimonie atomistique au niveau des variables observables pour embrasser une logique de combinaisons factorielles denses. Même lorsque le nombre de composantes conservées k est minuscule (par exemple k = 2), la rétro-projection β̂_{PCR} = Vₖ γ̂ₖ engendre un vecteur où la quasi-totalité des p prédicteurs originaux possèdent un coefficient non nul. La PCR préserve l’intégralité du profil psychométrique du sujet, synthétisant l’information conjointe dispersée sur de multiples items plutôt que d’en désigner un arbitrairement comme unique représentant de la constellation symptomatique. Le choix entre ces deux paradigmes ne relève donc pas uniquement de considérations mathématiques d’optimisation d’erreur, mais d’une décision épistémologique quant à la nature distribuée ou parcimonieuse du phénomène psychologique examiné.

9.3 PCR versus régression des moindres carrés partiels (PLS)

La confrontation la plus directe et la plus féconde oppose la régression sur composantes principales à la régression des moindres carrés partiels (PLS, pour Partial Least Squares), développée par Herman Wold. La régression PLS a été expressément conçue pour remédier à l’infirmité congénitale de la PCR : son extraction non supervisée déconnectée de la réponse Y. Tandis que la PCR maximise exclusivement la variance de la matrice X sans se soucier de Y :

w_{PCR} = argmax_{||w||=1} Var(Xw)

la PLS cherche des directions de projection qui maximisent conjointement la variance de X et le carré de la covariance entre la projection de X et la variable dépendante Y :

w_{PLS} = argmax_{||w||=1} Cov²(Xw, Y) = argmax_{||w||=1} [ Var(Xw) × Corr²(Xw, Y) ]

Cette supervision intrinsèque de la factorisation confère à la PLS un avantage théorique indéniable dans toutes les situations où la variance prédictive pertinente est reléguée à des axes secondaires de X. La PLS oriente d’emblée la rotation des axes pour capturer en priorité les structures de covariation qui éclairent directement la réponse. En corollaire pratique, la PLS requiert fréquemment un nombre de composantes k strictement inférieur à la PCR pour parvenir à un niveau d’exactitude prédictive équivalent. Toutefois, cette agressivité supervisée n’est pas sans contrepartie : en optimisant simultanément sur X et Y, la PLS est davantage sujette au risque de surapprentissage (overfitting) sur des échantillons de petite taille, situation dans laquelle la PCR, par sa réserve non supervisée et sa stabilité orthogonale stricte, démontre souvent une robustesse de généralisation remarquablement résiliente.

10. Applications concrètes de la PCR en sciences psychologiques et cognitives

10.1 Analyse de batteries de tests neurocognitifs multidimensionnels

L’une des illustrations les plus probantes de la puissance de la PCR concerne le traitement analytique des profils neuropsychologiques complexes. Dans le cadre de l’évaluation du vieillissement pathologique ou des traumatismes crâniens, les cliniciens soumettent les patients à de vastes batteries informatisées mesurant l’efficience mnésique, l’attention soutenue, la vitesse de traitement de l’information, la flexibilité mentale et l’inhibition exécutive. Ces investigations génèrent des matrices de données denses caractérisées par une interdépendance colinéaire colossale : les performances à ces différents tests partagent une large part de variance commune attribuable à la vitesse psychomotrice sous-jacente et aux ressources cognitives générales.

Tenter de prédire le degré de déclin fonctionnel au quotidien (estimé par des échelles d’autonomie comportementale) en introduisant simultanément l’ensemble de ces indices neuropsychologiques au sein d’une régression classique conduit systématiquement à des instabilités d’estimation, masquant l’influence réelle de dimensions cognitives fondamentales. En déployant la PCR, le chercheur condense ces 30 ou 40 scores hautement redondants en un nombre réduit de composantes latentes pures — par exemple, une composante d’efficience exécutive générale, une composante de fluidité verbale et une composante d’acuité visuo-spatiale —, purgeant intégralement le modèle de son bruit de mesure micro-temporel tout en permettant une prédiction robuste et stable du niveau d’autonomie fonctionnelle du patient.

10.2 Psychométrie différentielle et questionnaires d’auto-évaluation

Dans le domaine de la psychologie de la personnalité et de la psychométrie différentielle, la PCR apporte une réponse méthodologique déterminante face aux artefacts d’inversion de signes causés par la colinéarité des inventaires d’auto-évaluation. Considérons la modélisation de l’épuisement professionnel (burnout) à partir des multiples facettes des inventaires de personnalité contemporains, tels que le NEO-PI-R évaluant les facettes du Big Five ou l’inventaire HEXACO. Par construction psychométrique, les sous-échelles relatives à l’anxiété, la dépression, la vulnérabilité au stress et la timidité sociale manifestent des coefficients de corrélation bivariés excédant couramment 0,75 en raison de la proximité stylistique des formulations d’items sur échelles de Likert.

L’ajustement d’un modèle MCO standard débouche régulièrement sur des conclusions erronées, où certaines facettes majeures de la détresse psychologique se voient assigner des coefficients de régression négatifs statistiquement non significatifs. L’implémentation de la PCR dénoue cette impasse analytique : en regroupant ces indicateurs redondants au sein d’une composante factorielle maîtresse d’instabilité émotionnelle et de névrosisme global, elle restaure la conformité théorique du modèle. La rétro-projection des coefficients atteste que chaque facette contribue positivement et proportionnellement à l’explication de la sévérité du syndrome d’épuisement, réconciliant les impératifs de la rigueur mathématique avec la plausibilité psychologique des phénomènes mentaux.

10.3 Intégration de données comportementales et de biomarqueurs

L’essor des neurosciences cognitives translationnelles confronte les chercheurs à des architectures de données hybrides où le nombre total d’indicateurs enregistrés s’approche dangereusement, voire dépasse, la taille effective de la cohorte expérimentale (problématiques de relative haute dimensionnalité p ≈ n). Ces protocoles intègrent simultanément des métriques comportementales fines (temps de latence saccadique, taux de fausses alarmes), des indicateurs neuro-végétatifs (variabilité de la fréquence cardiaque, conductance cutanée) et des concentrations de biomarqueurs endocriniens longitudinaux (sécrétion de cortisol salivaire matinal, taux d’interleukines pro-inflammatoires).

L’estimation directe par moindres carrés ordinaires s’effondre dans ce régime dimensionnel en raison de la proximité de la singularité absolue de la matrice de données. La régression sur composantes principales excelle dans cette configuration structurelle complexe : en réduisant l’hétérogénéité spatiale de ces dizaines de biomarqueurs corrélés à une signature physiologique synthétique de stress chronique de dimensionnalité restreinte (par exemple 4 composantes majeures), elle permet d’ajuster des modèles prédictifs hautement fiables de la vulnérabilité anxieuse, préservant la validité inférentielle de l’expérimentation là où les méthodes conventionnelles sont totalement inopérantes.

11. Guide pratique d’implémentation computationnelle

11.1 Déploiement pas à pas sous l’environnement R

L’environnement statistique de référence pour l’exécution fluide de la régression sur composantes principales sous R s’articule autour du package spécialisé pls (Mevik & Wehrens), qui propose une implémentation optimisée via la fonction générique pcr(). Le protocole analytique rigoureux impose d’encapsuler la standardisation au cœur même du processus de modélisation pour éviter toute fuite d’information (data leakage) et de calibrer le nombre d’axes par validation croisée itérative.

Le paramétrage conventionnel sous R se formalise par la séquence syntaxique suivante :

modele_pcr <- pcr(Y ~ ., data = donnees_psycho, scale = TRUE, validation = « CV », segments = 10)

L’argument scale = TRUE garantit que l’algorithme procède au centrage-réduction automatique des prédicteurs en divisant chaque valeur par l’écart-type de sa colonne respective, tandis que validation = "CV" et segments = 10 orchestrent une validation croisée à 10 plis. L’inspection des résultats s’opère par l’instruction summary(modele_pcr), qui édite les métriques de RMSEP pour chaque dimensionnalité ainsi que le pourcentage cumulé de variance expliqué dans le bloc X et dans la variable cible Y.

L’analyste mobilise ensuite la fonction graphique validationplot(modele_pcr, val.type = "RMSEP") afin de visualiser la trajectoire d’erreur de prédiction et d’identifier le point d’inflexion optimal k. Une fois la dimensionnalité arrêtée (par exemple k = 3), l’extraction des coefficients de régression finaux rétro-projetés dans l’espace métrique originel des variables s’exécute directement par l’appel :

coef_finaux <- coef(modele_pcr, ncomp = 3, intercept = TRUE)

Cette approche reproductible permet d’extraire simultanément les projections factorielles, les diagnostics d’erreur hors-échantillon et les pondérations de régression finales au sein d’un pipeline d’analyse fluide et standardisé.

11.2 Architecture de pipeline sous Python avec Scikit-Learn

Dans l’écosystème de programmation scientifique Python, la mise en œuvre de la régression sur composantes principales s’effectue avec rigueur en assemblant une structure modulaire via la bibliothèque scikit-learn. Contrairement à R, scikit-learn ne propose pas une classe monolithique PCR, mais permet d’orchestrer une chaîne de traitement hermétique et séquentielle grâce à l’objet Pipeline, combinant un préparateur de standardisation, un transformateur de décomposition spectrale et un régresseur linéaire.

L’architecture algorithmique s’articule selon l’enchaînement structurel suivant :

1. Instanciation des composants élémentaires au sein du pipeline : StandardScaler() pour le centrage-réduction, PCA() pour la factorisation non supervisée, et LinearRegression() pour l’ajustement supervisé par moindres carrés.
2. Définition de l’espace de recherche de l’hyperparamètre dimensionnel : une grille d’exploration stipulant les valeurs candidates pour le nombre de composantes conservées, par exemple 'pca__n_components': range(1, p + 1).
3. Optimisation et sélection du modèle par validation croisée : déploiement de l’objet GridSearchCV configuré sur un partitionnement KFold(n_splits=10, shuffle=True, random_state=42) évaluant la performance au regard de l’erreur quadratique moyenne négative (neg_mean_squared_error).
4. Ajustement final du pipeline optimisé : exécution de l’instruction grid_search.fit(X_train, y_train), garantissant l’étanchéité absolue des calculs de standardisation au sein de chaque pli d’entraînement.

Après identification de la dimension optimale grid_search.best_params_, l’extraction des métriques de généralisation sur un ensemble de test indépendant (X_test, y_test) permet d’enregistrer le coefficient de détermination prédictif R², la racine de l’erreur quadratique moyenne (RMSE) et l’erreur absolue médiane (MAE). La rétro-projection des coefficients s’obtient élégamment par le produit matriciel des composantes factorielles de l’objet PCA et des coefficients du modèle de régression sous-jacent :

beta_reprojetes = pca_optimal.inverse_transform(regresseur.coef_)

Cette approche garantit une rigueur computationnelle maximale, immunisée contre les biais de sélection et prête pour un déploiement robuste en production de recherche.

11.3 Diagnostic statistique des résidus et vérification des postulats

L’étape conclusive de l’exécution computationnelle de la PCR réside dans l’inspection méticuleuse des résidus du modèle ajusté, condition indispensable pour valider la robustesse des inférences formulées. Même si la multicollinéarité a été mathématiquement éradiquée, les postulats fondamentaux de la théorie des moindres carrés continuent de gouverner la validité des écarts-types d’erreur résiduelle. L’analyste examine le graphique des résidus studentisés en fonction des valeurs prédites pour détecter une éventuelle hétéroscédasticité ou une forme en entonnoir signalant une variance résiduelle dépendante du niveau de prédiction.

De plus, il convient de dépister les observations aberrantes ou influentes directement au sein de l’espace factoriel compressé. Pour ce faire, le calcul de la distance de Mahalanobis appliquée aux scores factoriels Zₖ permet de déceler immédiatement les individus dont la position spatiale dans le sous-espace des composantes principales est anormalement excentrée. Les sujets affichant des valeurs extrêmes de distance de levier combinées à des résidus de régression élevés doivent faire l’objet d’un examen approfondi pour vérifier qu’ils ne correspondent pas à des erreurs de saisie métrique ou à des profils cliniques atypiques justifiant une analyse de sensibilité distincte.

12. Bonnes pratiques, recommandations et perspectives futures

12.1 Protocole standardisé de reporting scientifique selon les normes APA

La publication de résultats issus d’une régression sur composantes principales au sein des revues savantes exige une transparence méthodologique totale, en stricte conformité avec les directives édictées par l’American Psychological Association (APA). Le compte-rendu textuel ne doit en aucun cas se borner à présenter une valeur finale de coefficient de détermination R², mais doit expliciter exhaustivement l’ensemble de la chaîne de transformation mathématique appliquée aux données.

Un protocole de reporting scientifique irréprochable doit systématiquement consigner :

• La justification explicite du recours à la PCR, documentée par les indicateurs préalables de multicollinéarité (matrice des corrélations, distribution des VIF et indice de conditionnement de la matrice originale) ;
• Le protocole précis de standardisation et de prétraitement appliqué aux covariables (centrage-réduction des prédicteurs, traitement des valeurs manquantes) ;
• Le tableau exhaustif des valeurs propres associées à chaque axe factoriel, ainsi que les proportions individuelles et cumulées d’inertie expliquée ;
• La méthode statistique exacte ayant présidé à la sélection du nombre de composantes conservées k (heuristiques descriptives ou détails algorithmiques de la validation croisée à K blocs en mentionnant l’éventuelle application de la règle du one-standard-error) ;
• La présentation conjointe des coefficients de régression associés aux composantes orthogonales (γ̂ₖ) avec leurs erreurs-types respectives, et des coefficients rétro-projetés dans l’espace originel des variables (β̂_{std}) permettant l’interprétation concrète du phénomène examiné.

12.2 Combinaisons méthodologiques et extensions contemporaines

La régression sur composantes principales poursuit son évolution théorique à travers des extensions contemporaines fécondes destinées à surmonter ses limitations historiques. La première avancée majeure concerne la PCR robuste, développée pour immuniser la factorisation spectrale contre l’influence des données atypiques et asymétriques. Au lieu de diagonaliser la matrice de covariance classique de Pearson, cette variante substitue des estimateurs de dispersion robustes et à haut point de rupture, tels que l’estimateur du déterminant minimum de covariance (MCD) ou les algorithmes de projection robuste (ROBPCA), garantissant la stabilité des axes d’inertie même en présence d’une contamination modérée de l’échantillon.

La seconde frontière méthodologique est incarnée par la régression sur composantes principales à noyau (Kernel PCR). En s’appuyant sur l’astuce du noyau (kernel trick) théorisée en apprentissage automatique, la Kernel PCR projette implicitement les prédicteurs originaux dans un espace de Hilbert à dimension potentiellement infinie au sein duquel les associations non linéaires deviennent linéairement séparables. Elle permet ainsi de capturer avec une remarquable élégance des dynamiques comportementales fortement non linéaires sans sacrifier les garanties mathématiques de l’orthogonalité spectrale. Enfin, le couplage systématique de la PCR avec des approches de rééchantillonnage non paramétrique par bootstrap permet de construire des intervalles de confiance robustes pour les coefficients rétro-projetés β̂_{PCR}, affranchissant définitivement l’inférence des postulats fragiles de normalité multivariée asymptotique.

12.3 Synthèse directrice pour le chercheur en sciences humaines

En synthèse ultime, le chercheur en sciences humaines confronté à des matrices de données denses et colinéaires doit aborder le choix de sa stratégie d’analyse à l’aide d’un arbre décisionnel méthodique et éclairé :

1. Lorsque les covariables sont en nombre modéré (p ≪ n) et présentent des corrélations faibles ou négligeables (VIF < 3), la régression par moindres carrés ordinaires (MCO) demeure l’outil privilégié en raison de son absence de biais et de son interprétabilité clinique directe.
2. Dès lors qu’une multicollinéarité modérée à sévère contamine l’échantillon mais que l’objectif scientifique impératif réside dans l’identification d’une sous-sélection parcimonieuse d’indicateurs cliniques isolables, la régression pénalisée Lasso ou Elastic Net constitue la direction méthodologique la plus opportune.
3. Si l’architecture des données s’avère massivement corrélée, issue de batteries psychométriques ou de protocoles neurobiologiques denses, et que le postulat théorique envisage le phénomène comme une structure holistique où l’ensemble des prédicteurs contribuent solidairement au signal, deux options prédominent :
— La régression des moindres carrés partiels (PLS) s’impose si l’on suspecte que les variations prédictives majeures sont portées par des sous-espaces de faible variance dans X nécessitant une extraction dirigée par la variable cible ;
— La régression sur composantes principales (PCR) s’affirme comme le choix d’excellence méthodologique lorsque l’on recherche une modélisation stable, résiliente au surapprentissage, opérant une synthèse géométrique objective et totale de l’espace des covariables pour délivrer des prédictions hautement reproductibles.

Loin de constituer une technique désuète évincée par les algorithmes prédictifs contemporains, la régression sur composantes principales demeure un pilier fondamental de l’analyse multivariée moderne. En jetant un pont d’une rigueur absolue entre la synthèse géométrique non supervisée et la théorie de la prédiction linéaire, elle arme les chercheurs en sciences psychologiques, cognitives et médicales d’un instrument d’une remarquable puissance pour dompter la multicollinéarité et sonder la complexité empirique de l’esprit humain.

Références

• Cattell, R. B. (1966). The scree test for the number of factors. Multivariate Behavioral Research, 1(2), 245–276. https://doi.org/10.1207/s15327906mbr0102_10
• Guttman, L. (1954). Some necessary conditions for common-factor analysis. Psychometrika, 19(2), 149–161. https://doi.org/10.1007/BF02289162
• Hastie, T., Tibshirani, R., & Friedman, J. (2009). The Elements of Statistical Learning: Data Mining, Inference, and Prediction (2nd ed.). Springer. https://doi.org/10.1007/978-0-387-84858-7
• Hoerl, A. E., & Kennard, R. W. (1970). Ridge regression: Biased estimation for nonorthogonal problems. Technometrics, 12(1), 55–67. https://doi.org/10.1080/00401706.1970.10488634
• Hotelling, H. (1933). Analysis of a complex of statistical variables into principal components. Journal of Educational Psychology, 24(6), 417–441. https://doi.org/10.1037/h0071325
• Jolliffe, I. T. (1982). A note on the use of principal components in regression. Journal of the Royal Statistical Society: Series C (Applied Statistics), 31(3), 300–303. https://doi.org/10.2307/2348005
• Jolliffe, I. T. (2002). Principal Component Analysis (2nd ed.). Springer. https://doi.org/10.1007/b98835
• Mevik, B.-H., & Wehrens, R. (2007). The pls package: Principal component and partial least squares regression in R. Journal of Statistical Software, 18(2), 1–23. https://doi.org/10.18637/jss.v018.i02
• Pearson, K. (1901). On lines and planes of closest fit to systems of points in space. The London, Edinburgh, and Dublin Philosophical Magazine and Journal of Science, 2(11), 559–572. https://doi.org/10.1080/14786440109462720
• Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B (Methodological), 58(1), 267–288. https://doi.org/10.1111/j.2517-6161.1996.tb02080.x
• Wold, H. (1982). Soft modeling: The basic design and some extensions. In K. G. Jöreskog & H. Wold (Eds.), Systems Under Indirect Observation: Causality, Structure, Prediction (Part 2, pp. 1–54). North-Holland.
• Zou, H., & Hastie, T. (2005). Regularization and variable selection via the elastic net. Journal of the Royal Statistical Society: Series B (Statistical Methodology), 67(2), 301–320. https://doi.org/10.1111/j.1467-9868.2005.00503.x