Comment tester la multicolinéarité dans Stata

L’estimation des paramètres au sein du modèle linéaire généralisé repose sur un ensemble d’hypothèses classiques formalisées par le théorème de Gauss-Markov. Parmi ces postulats fondamentaux figure l’absence d’interdépendance linéaire exacte ou excessive entre les variables explicatives incluses dans l’équation de régression. Lorsque cette condition d’orthogonalité ou de quasi-indépendance est violée, le phénomène de multicolinéarité émerge, introduisant une série de distorsions computationnelles et inférentielles majeures. En pratique, la multicolinéarité ne constitue pas une erreur de spécification au sens strict du terme, mais reflète plutôt une déficience informationnelle inhérente à l’échantillon ou à la nature intrinsèque des variables sélectionnées. Dès lors que deux régresseurs ou davantage partagent une fraction substantielle de leur variance, l’algorithme des moindres carrés ordinaires peine à isoler l’effet partiel attribuable à chaque composante individuelle, compromettant la validité des conclusions scientifiques tirées du modèle.

Dans l’écosystème de l’analyse empirique contemporaine, le logiciel Stata s’est imposé comme une référence incontournable au sein des départements d’économie, de sociologie, d’épidémiologie et de sciences du comportement. Réputé pour sa rigueur algorithmique et la reproductibilité de ses scripts, Stata offre un arsenal complet de commandes natives et de modules communautaires dédiés au dépistage systématique des pathologies économétriques. Toutefois, l’utilisation de ces outils computationnels exige une compréhension aiguë des concepts statistiques sous-jacents afin d’éviter les écueils d’une interprétation mécanique basée sur des règles empiriques arbitraires. La détection de la multicolinéarité ne se résume pas à l’exécution machinale d’un diagnostic unique, mais implique une démarche diagnostique méthodique articulant théorie substantive, inspection graphique, analyse matricielle et tests post-estimation formalisés.

Ce guide exhaustif a pour vocation d’accompagner les chercheurs, analystes et doctorants dans la maîtrise conceptuelle et opérationnelle de la multicolinéarité sous Stata. À travers un parcours didactique rigoureux, nous aborderons la formulation mathématique du problème, ses répercussions délétères sur les erreurs-types et la stabilité des coefficients, ainsi que l’ensemble des protocoles d’identification empirique, depuis l’inspection matricielle préliminaire jusqu’au calcul approfondi du facteur d’inflation de la variance et des indices de conditionnement de Belsley, Kuh et Welsch. Enfin, nous détaillerons les stratégies correctives contemporaines, incluant les techniques de régularisation et de réduction dimensionnelle, afin de garantir la robustesse, la transparence et la conformité académique de vos investigations empiriques.

1. Introduction théorique à la multicolinéarité en régression linéaire

1.1 Définition formelle et fondements mathématiques

Le modèle de régression linéaire multiple postule l’existence d’une relation structurelle entre un vecteur de réponses observables Y de dimension (n × 1) et une matrice de régresseurs X de dimension (n × k), régie par l’équation matricielle Y = Xβ + ε, où β représente le vecteur des paramètres inconnus de dimension (k × 1) et ε le vecteur des perturbations stochastiques non observables. Selon les fondements axiomatiques du modèle linéaire classique formulé par la théorie de l’estimation par les moindres carrés ordinaires (MCO), le rang de la matrice des régresseurs X doit être plein et égal au nombre de covariables, soit rang(X) = k avec k < n. Cette hypothèse garantit formellement la non-singularité de la matrice de produit croisé (X’X), condition sine qua non pour que son inverse (X’X)⁻¹ existe au sens algébrique strict.

L’estimateur canonique des MCO est défini par l’équation b = (X’X)⁻¹X’Y. La présence d’une interdépendance linéaire exacte entre certaines colonnes de la matrice X signifie qu’il existe un vecteur non nul de scalaires c = (c₁, c₂, …, cₖ)’ tel que la combinaison linéaire c₁X₁ + c₂X₂ + … + cₖXₖ = 0 soit vérifiée pour l’ensemble des observations. Dans cette configuration singulière, les colonnes incriminées ne sont pas linéairement indépendantes, ce qui entraîne une chute du rang de la matrice en deçà de k. En conséquence directe, le déterminant de la matrice (X’X) s’annule rigoureusement, rendant impossible l’inversion matricielle standard et interdisant le calcul d’une solution unique pour le vecteur des coefficients β.

Il importe de distinguer formellement la simple corrélation bivariée entre deux régresseurs particuliers de la dépendance linéaire multidimensionnelle complexe. Alors qu’une corrélation bivariée élevée entre deux variables X₁ et X₂ constitue une condition suffisante pour induire de la multicolinéarité, elle n’en est aucunement une condition nécessaire. Un régresseur X₃ peut en effet présenter des corrélations bivariées très modestes avec X₁ et X₂ prises individuellement, tout en étant presque parfaitement prédictible par la combinaison linéaire conjointe de ces deux variables. Cette colinéarité multidimensionnelle sous-tend que l’information informationnelle apportée par X₃ est quasi-entièrement contenue dans le sous-espace vectoriel engendré par les autres colonnes de X, créant une redondance structurelle invisible à l’œil nu lors d’un examen superficiel des coefficients de Pearson.

1.2 Multicolinéarité parfaite contre multicolinéarité imparfaite

La distinction entre multicolinéarité parfaite et imparfaite constitue une ligne de démarcation essentielle tant sur le plan mathématique que computationnel. La multicolinéarité parfaite correspond à la situation pathologique où le déterminant de (X’X) est rigoureusement nul, c’est-à-dire det(X’X) = 0. Ce cas d’école survient généralement à la suite d’une inadvertance de modélisation, telle que le piège classique des variables muettes (dummy variable trap), où l’analyste introduit simultanément l’ensemble des modalités exhaustives d’une variable catégorielle tout en maintenant la constante dans la régression, ou lorsqu’une variable composite définie comme la somme arithmétique exacte d’autres prédicteurs est intégrée conjointement dans la spécification.

Face à une multicolinéarité parfaite, Stata déploie une gestion algorithmique déterministe et transparente. Lors de la phase de factorisation de la matrice (X’X) via la décomposition de Cholesky ou l’inversion par élimination de Gauss-Jordan, le solveur numérique détecte la présence de pivots nuls ou inférieurs à la tolérance machine. Dès que cette redondance parfaite est identifiée, Stata élimine automatiquement la ou les variables redondantes du modèle estimé, apposant la mention explicite « (omitted) » dans le tableau final de résultats. Bien que cette intervention protège l’utilisateur contre une erreur d’arrêt d’exécution et préserve la calculabilité du modèle, elle contraint l’analyste à accepter l’omission arbitraire d’un paramètre, nécessitant une redéfinition théorique préalable de la structure du modèle.

À l’inverse, la multicolinéarité imparfaite, ou quasi-colinéarité, représente la norme statistique dans les données observationnelles réelles. Dans ce scénario, la relation linéaire entre régresseurs n’est pas exacte mais stochastique, obéissant à la forme c₁X₁ + c₂X₂ + … + cₖXₖ + v = 0, où v désigne un terme résiduel d’erreur de faible variance. Ici, le déterminant det(X’X) demeure strictement positif, garantissant formellement l’inversibilité de la matrice et l’existence d’une solution numérique unique par les MCO. Cependant, à mesure que v tend vers zéro, det(X’X) s’approche asymptotiquement de la singularité, provoquant une instabilité numérique sévère. Les seuils de gravité établis dans la littérature économétrique et psychométrique soulignent qu’au-delà de certains niveaux d’intercorrélation, les estimations deviennent erratiques et dénuées de pertinence empirique.

1.3 Manifestations concrètes en recherche quantitative et psychologique

Dans le domaine des sciences quantitatives appliquées, et plus singulièrement en psychométrie, en sociologie et en gestion des organisations, la multicolinéarité imparfaite émerge naturellement du chevauchement sémantique et conceptuel des construits mesurés. Les chercheurs élaborent fréquemment des batteries d’instruments composites ou d’échelles d’auto-évaluation destinées à capturer des dimensions comportementales distinctes mais étroitement imbriquées. Par exemple, lors de l’investigation des déterminants du bien-être au travail, l’introduction simultanée de mesures de l’anxiété professionnelle, du stress perçu et de l’épuisement émotionnel conduit inéluctablement à un degré élevé de redondance informationnelle, ces trois construits partageant un socle étiologique commun substantiel.

Un exemple paradigmatique s’observe dans l’analyse des sous-échelles des inventaires de personnalité, tels que les cinq grands facteurs du modèle Big Five ou les dimensions de l’affectivité négative. Lorsque des facettes hautement corrélées au sein d’un même domaine sont modélisées simultanément comme régresseurs dans une équation prédisant la performance académique ou l’observance thérapeutique, les estimateurs des moindres carrés ordinaires rencontrent une incapacité intrinsèque à dissocier les contributions spécifiques respectives. Ce phénomène est particulièrement prégnant en épidémiologie sociale, où le statut socio-économique est souvent décomposé en niveau de diplôme, revenu annuel du foyer et indice de prestige professionnel, trois variables affichant une colinéarité systémique qui complique l’isolement des gradients de causalité sanitaire.

Le risque méthodologique le plus insidieux réside dans la confusion pernicieuse entre une simple redondance de mesure et un véritable effet de modération ou de médiation. Lorsqu’un analyste intègre dans un modèle deux construits redondants sans précaution, la déflation artificielle de leur significativité statistique individuelle peut l’amener à conclure à tort à l’absence d’effet explicatif de ces variables, alors même que leur combinaison conjointe exerce une influence fondamentale sur le phénomène investigué. De surcroît, la distorsion des coefficients de régression peut masquer ou fausser l’interprétation des relations indirectes au sein des modèles causaux, conduisant à des inférences substantives fallacieuses sur les dynamiques psychologiques ou comportementales à l’œuvre.

2. Les conséquences statistiques de la multicolinéarité non détectée

2.1 Inflation de la variance des estimateurs des moindres carrés ordinaires

La conséquence mathématique la plus directe et la mieux documentée de la quasi-colinéarité concerne l’accroissement démesuré de la matrice de covariance des estimateurs des moindres carrés ordinaires. Pour un régresseur individuel Xⱼ au sein d’une régression multiple comprenant k prédicteurs, la variance d’échantillonnage de son coefficient associé bⱼ s’exprime analytiquement selon l’identité suivante :

Var(bⱼ) = σ² / [ (1 – Rⱼ²) × ∑(xᵢⱼ – x̄ⱼ)² ]

Dans cette formulation rigoureuse, σ² symbolise la variance de la perturbation stochastique du modèle global, ∑(xᵢⱼ – x̄ⱼ)² représente la somme totale des écarts quadratiques du régresseur Xⱼ (sa variabilité totale brute), et Rⱼ² désigne le coefficient de détermination issu de la régression linéaire auxiliaire de Xⱼ sur l’ensemble exhaustif des k – 1 autres variables indépendantes du modèle. L’expression mathématique 1 / (1 – Rⱼ²) matérialise le facteur d’inflation de la variance. À mesure que l’interdépendance linéaire s’accentue, le pouvoir prédictif des autres régresseurs sur Xⱼ augmente, entraînant Rⱼ² vers l’unité, ce qui a pour conséquence immédiate de faire tendre le dénominateur de la fraction vers zéro et de projeter Var(bⱼ) vers l’infini.

Cette inflation mécanique de la variance se répercute de manière symétrique sur l’erreur-type de l’estimateur, notée SE(bⱼ) = √Var(bⱼ). L’accroissement exponentiel des erreurs-types engendre un élargissement substantiel des intervalles de confiance associés aux paramètres estimés, calculés à un niveau de confiance 1 – α selon l’intervalle [bⱼ – t_{crit} × SE(bⱼ) ; bⱼ + t_{crit} × SE(bⱼ)]. Des intervalles de confiance d’une largeur démesurée privent le chercheur de toute précision quantificatrice sur l’ampleur réelle de l’effet marginal dans la population d’intérêt, transformant des estimations théoriquement significatives en zones de flou statistique incapable de guider une décision clinique, politique ou managériale.

2.2 Instabilité des coefficients et inversion paradoxale des signes

L’hypersensibilité computationnelle constitue l’un des symptômes les plus déconcertants de la quasi-colinéarité au sein des estimations empiriques. Lorsque la matrice (X’X) est mal conditionnée en raison d’une forte interdépendance entre prédicteurs, de minimes variations dans les données observées — telles que l’adjonction ou la suppression d’une unique observation, ou une légère erreur d’arrondi numérique lors de la collecte des mesures — peuvent induire des oscillations titanesques dans les coordonnées du vecteur de paramètres b. Cette fragilité numérique reflète le fait que l’hyperplan de régression se trouve dans un équilibre précaire, basculant facilement le long de la vallée multidimensionnelle plate formée par les régresseurs redondants.

Cette instabilité pathologique s’accompagne très souvent d’inversions paradoxales de signes, un phénomène connu sous l’appellation d’effet de suppression net ou d’inversion des coefficients partiels. Un chercheur peut ainsi observer une corrélation bivariée fortement positive et statistiquement significative entre une covariable X₁ et la variable dépendante Y, mais constater avec stupéfaction que le coefficient de régression partiel b₁ associé à cette même variable devient significativement négatif une fois qu’un prédicteur colinéaire X₂ est introduit dans le modèle. Loin de traduire une réalité empirique sous-jacente, ce changement de polarité résulte d’une surcompensation algébrique effectuée par les moindres carrés pour ajuster la variance partagée.

Il en résulte une dégradation intégrale de l’interprétabilité substantive des poids de régression partiels. Dans le cadre théorique des MCO, le coefficient bⱼ est censé quantifier la variation moyenne attendue de la variable réponse Y consécutive à l’incrémentation d’une unité de Xⱼ, toutes choses égales par ailleurs (ceteris paribus). Or, lorsque deux variables affichent une colinéarité quasi-parfaite, l’hypothèse conceptuelle sous-tendant la clause « toutes choses égales par ailleurs » s’effondre : il devient physiquement et statistiquement invraisemblable de faire varier Xⱼ d’une unité sans modifier concomitamment la valeur de la variable corrélée. Les poids estimés perdent ainsi leur signification de dérivées partielles directes.

2.3 Dégradation de la puissance statistique et des tests d’hypothèse

L’altération des erreurs-types causée par la colinéarité produit un effet dévastateur sur l’appareil inférentiel standard fondé sur les tests de Student univariés. La statistique de test empirique servant à évaluer l’hypothèse nulle d’absence d’effet linéaire, H₀ : βⱼ = 0, est formulée par le ratio classique t = bⱼ / SE(bⱼ). L’inflation artificielle du dénominateur SE(bⱼ) a pour effet direct de comprimer la valeur absolue de la statistique t vers zéro. Par conséquent, la p-valeur associée croît de manière disproportionnée, surpassant largement les seuils conventionnels de significativité statistique (0,05, 0,01 ou 0,001).

Cette dynamique entraîne une élévation critique du risque d’erreur de type II (β), qui correspond à la non-rejet erroné d’une hypothèse nulle pourtant fondamentalement fausse dans la réalité génératrice des données. Le modèle statistique perd ainsi dramatiquement sa puissance statistique opérationnelle : le chercheur est incapable d’identifier empiriquement des relations fonctionnelles bien réelles, concluant à tort que les covariables examinées n’exercent aucune influence substantielle sur le critère d’intérêt. Ce manque de puissance constitue un écueil majeur pour la réplication scientifique des études, générant des résultats faussement contradictoires d’un échantillon à l’autre.

Le point d’orgue de cette dégradation inférentielle réside dans l’apparition d’un paradoxe classique de la modélisation statistique : la discordance manifeste entre le test de Fisher global et les tests de Student individuels. Dans une spécification affligée par une sévère multicolinéarité, la statistique F du modèle d’ensemble, qui évalue l’hypothèse conjointe H₀ : β₁ = β₂ = … = βₖ = 0, peut afficher une p-valeur infinitésimale (ex. p < 0,0001) conjuguée à un coefficient de détermination R² extrêmement élevé, attestant que le groupe de régresseurs explique collectivement une part massive de la variance de Y. Simultanément, la quasi-totalité des statistiques t individuelles associées aux prédicteurs peuvent afficher des p-valeurs largement non significatives (ex. p > 0,30), plongeant le chercheur néophyte dans un désarroi interprétatif insoluble sans diagnostic formel.

3. Indicateurs préliminaires et diagnostics exploratoires dans Stata

3.1 Inspection de la matrice des corrélations bivariées

La première démarche heuristique employée lors de l’investigation exploratoire de données multidimensionnelles sous Stata repose sur le calcul de la matrice des corrélations de Pearson entre l’ensemble des prédicteurs candidats. Stata met à disposition de l’utilisateur deux commandes principales aux propriétés distinctes : l’instruction native correlate et la commande flexible pwcorr. La syntaxe canonique s’exprime simplement sous la forme :

correlate var1 var2 var3 var4

La commande correlate applique un traitement strict des données basé sur la suppression par liste complète (listwise deletion) : toute observation présentant une valeur manquante sur l’une quelconque des variables listées est automatiquement écartée de l’ensemble des calculs, assurant ainsi une comparabilité mathématique rigoureuse sur un échantillon invariant. À l’inverse, l’instruction pwcorr varlist, sig star(0.05) effectue des calculs par paires (pairwise deletion), optimisant l’utilisation de l’information disponible tout en produisant des matrices dont les cellules reposent sur des tailles d’échantillon divergentes, et permet l’affichage explicite des niveaux de significativité statistique.

L’analyse pragmatique de la matrice des corrélations vise à repérer les coefficients dont la magnitude absolue excède les seuils d’alerte traditionnels fixés à 0,70 ou 0,80 selon les recommandations de la littérature statistique. La présence de valeurs dépassant ces bornes indique qu’au moins la moitié de la variance d’un prédicteur est partagée de manière redondante avec un autre régresseur singulier. Néanmoins, il s’avère impératif de souligner les limites intrinsèques de cette approche préliminaire : l’absence de corrélations bivariées élevées ne constitue en rien une garantie d’absence de multicolinéarité. Une variable peut être parfaitement orthogonale à d’autres variables prises isolément, mais demeurer une combinaison linéaire stricte de leur action conjointe, échappant ainsi entièrement à l’inspection de la matrice bivariée.

3.2 Visualisation graphique des relations entre prédicteurs

L’exploration visuelle constitue un complément indispensable à l’analyse numérique brute des coefficients d’association linéaire. Sous Stata, la commande graphique de référence pour examiner conjointement les distributions multivariées est graph matrix. L’exécution de la ligne de commande suivante génère une matrice structurée de diagrammes de dispersion bidimensionnels croisant chaque paire de variables explicatives :

graph matrix var1 var2 var3 var4, half maxis(ylab(none) xlab(none))

L’option half permet d’épurer l’affichage en ne présentant que le triangle inférieur de la matrice symétrique, allégeant la charge cognitive lors de la lecture visuelle. Cette projection graphique permet d’identifier immédiatement des alignements d’observations le long d’une trajectoire linéaire étroite, signature visuelle indubitable d’une forte dépendance entre régresseurs. Au-delà de la colinéarité strictement linéaire, cette commande offre l’opportunité de repérer d’éventuelles non-linéarités complexes, des regroupements spécifiques de grappes de données (clustering) ou des séparations catégorielles nettes qui trahiraient une hétérogénéité sous-jacente au sein de l’échantillon.

De surcroît, l’inspection visuelle facilite la détection des points aberrants multivariés ou des observations à fort levier (leverage points). Un coefficient de corrélation modéré peut en effet résulter artificiellement d’une unique observation extrême masquant une relation linéaire étroite sous-jacente sur le reste de la population, ou inversement, un nuage de points sans relation fonctionnelle apparente peut voir sa corrélation gonflée de manière factice par la présence d’une poignée d’observations atypiques éloignées du centre de gravité des données. Cette étape visuelle garantit ainsi que les diagnostics analytiques ultérieurs ne reposeront pas sur des artefacts distributionnels non contrôlés.

3.3 Signaux d’alerte lors de la lecture du tableau de régression initial

Le tableau de sortie généré de manière standard par la commande regress sous Stata recèle une série d’indices révélateurs que l’analyste chevronné se doit d’examiner avec acuité avant même d’entreprendre des procédures de test post-estimation spécialisées. Le premier signal d’alarme réside dans la contradiction flagrante, précédemment évoquée, entre la magnitude de la variance globale expliquée et la robustesse des prédicteurs individuels. L’observation conjointe d’un R² substantiel (par exemple supérieur à 0,60), d’une statistique globale F affichant un rejet catégorique de l’hypothèse nulle à un seuil p < 0,001, et d’une cascade de tests de Student pour lesquels les p-valeurs individuelles oscillent entre 0,15 et 0,80, signale invariablement un modèle miné par l’interdépendance linéaire.

Le second signal diagnostic émerge de l’ampleur anormale des erreurs-types figurant dans la colonne « Std. Err. » du tableau d’estimation. Lorsqu’un chercheur manipule des variables standardisées ou des mesures dont l’échelle de variance est parfaitement maîtrisée, une erreur-type dépassant largement l’ordre de grandeur attendu de l’effet moyen traduit l’impossibilité algorithmique d’isoler l’information marginale propre au régresseur. Cette hypertrophie des erreurs-types conduit mécaniquement à des intervalles de confiance d’une amplitude béante, englobant simultanément des valeurs positives considérables et des valeurs négatives d’ampleur équivalente, privant l’estimation de toute consistance pratique.

Enfin, le comportement dynamique des coefficients lors de l’estimation séquentielle de modèles imbriqués (procédure de régression pas-à-pas ou hiérarchique) procure un indice déterminant. Si l’inclusion d’une nouvelle variable prédictive dans la spécification entraîne des fluctuations erratiques et massives de l’amplitude des coefficients associés aux régresseurs déjà introduits, ou provoque un basculement subit de leur polarité algébrique sans justification théorique préalable, le chercheur se trouve confronté aux conséquences d’une instabilité matricielle typique de la quasi-colinéarité, imposant le recours immédiat à des métriques d’évaluation formelles.

4. Le Facteur d’Inflation de la Variance (VIF) : Fondements et Interprétation

4.1 Formulation mathématique et régressions auxiliaires

Pour dépasser les approximations de l’analyse exploratoire, la statistique inférentielle moderne fait appel au Facteur d’Inflation de la Variance, universellement désigné par l’acronyme VIF (Variance Inflation Factor). Cet indicateur quantifie avec une rigueur analytique absolue le degré auquel la variance d’échantillonnage de l’estimateur d’un coefficient de régression est gonflée sous l’action directe de la corrélation de ce prédicteur avec l’ensemble des autres variables indépendantes incorporées dans l’équation. Le calcul du VIF pour un régresseur Xⱼ s’articule autour de la réalisation conceptuelle d’une régression auxiliaire par moindres carrés ordinaires, dans laquelle Xⱼ assume le rôle de variable dépendante :

Xⱼ = γ₀ + ∑_{m ≠ j} γₘ Xₘ + uⱼ

Le coefficient de détermination émanant de cette estimation auxiliaire, désigné formellement par Rⱼ², capture l’intégralité de la fraction de variance du régresseur Xⱼ qui se trouve expliquée de manière linéaire par la combinaison multidimensionnelle de tous les autres prédicteurs. À partir de cette quantité fondamentale, l’équation matricielle définissant le VIF associé à la variable Xⱼ prend la forme canonique :

VIFⱼ = 1 / (1 – Rⱼ²)

Sur le plan physique et intuitif, la valeur numérique prise par le VIF possède une signification géométrique directe : elle représente le facteur multiplicateur par lequel la variance théorique minimale de l’estimateur — c’est-à-dire la variance qui prévaudrait dans l’hypothèse idéale où le prédicteur Xⱼ serait parfaitement orthogonal à toutes les autres variables du modèle (où Rⱼ² = 0, impliquant VIFⱼ = 1) — est amplifiée du fait des interconnexions réelles au sein de l’échantillon. Ainsi, un VIFⱼ égal à 4 indique que la variance de l’estimateur bⱼ est exactement quatre fois plus vaste que si les régresseurs étaient mutuellement indépendants, ce qui implique corollairement que son erreur-type SE(bⱼ) se trouve multipliée par la racine carrée de 4, soit doublée (√4 = 2).

4.2 La tolérance statistique : L’inverse complémentaire du VIF

Indissociable du Facteur d’Inflation de la Variance, la tolérance statistique (souvent notée Tolⱼ) représente la transcription symétrique de la même réalité informationnelle. Formellement définie comme l’inverse arithmétique strict du VIF, la tolérance obéit à l’équation limpide :

Tolⱼ = 1 / VIFⱼ = 1 – Rⱼ²

Tandis que le VIF adopte une échelle multiplicative ouverte sur l’intervalle [1 ; +∞[, la tolérance se déploie sur une métrique probabiliste bornée entre 0 et 1. Cette propriété confère à la tolérance une interprétation substantive d’une limpidité remarquable : elle exprime la proportion brute de variance du prédicteur Xⱼ qui est strictement unique et non partagée avec les autres covariables du modèle de régression. Une tolérance de 1 signale une orthogonalité absolue, attestant que la totalité de l’information apportée par la variable est indépendante du reste de la matrice des régresseurs.

À mesure que l’interdépendance linéaire se renforce, la proportion de variance unique s’amenuise, traduisant une paupérisation informationnelle progressive. Dès lors qu’une variable enregistre une tolérance tombant à 0,10, cela signifie sans équivoque que 90 % de sa variance est entièrement redondante et linéaire avec les autres prédicteurs, ne laissant qu’une fraction marginale de 10 % d’information propre pour estimer le coefficient partiel βⱼ. En vertu de cette réciprocité mathématique invariable, l’évaluation des seuils critiques peut s’effectuer indifféremment sur le VIF ou sur la tolérance, toute conclusion inférée sur l’un s’appliquant de plein droit à l’autre.

4.3 Débat méthodologique sur les seuils critiques d’alerte

La fixation de seuils opérationnels pour statuer sur la gravité de la multicolinéarité a fait l’objet d’un débat méthodologique nourri au sein de la communauté économétrique et statistique au fil des décennies. La règle heuristique la plus universellement répandue dans les manuels académiques classiques préconise le seuil critique conventionnel de VIF = 10, correspondant rigoureusement à une tolérance de Tol = 0,10 et à un coefficient auxiliaire Rⱼ² = 0,90. Selon cette convention historique, tout VIF excédant 10 signale une colinéarité excessive exigeant impérativement une intervention correctrice de la part de l’analyste.

Néanmoins, une frange importante d’économètres contemporains et de méthodologistes prône l’adoption d’un critère nettement plus conservateur, fixant le seuil d’intervention critique à VIF = 5 (soit Tol = 0,20 et Rⱼ² = 0,80), voire VIF = 2,5 ou 3 dans des domaines exigeant une extrême précision d’estimation paramétrique, comme la modélisation épidémiologique causale ou les études dosimétriques. Ce durcissement se justifie par le fait qu’à un VIF de 5, l’erreur-type de l’estimateur est déjà amplifiée d’un facteur √5 ≈ 2,24, ce qui suffit largement à faire basculer une p-valeur marginalement significative sous le seuil fatidique de non-significativité.

De surcroît, les méthodologistes insistent sur le danger d’appliquer ces seuils de manière rigide et décontextualisée sans prendre en considération deux paramètres fondamentaux : la taille de l’échantillon n et la précision globale du modèle mesurée par l’erreur quadratique moyenne. Si l’échantillon disponible comprend plusieurs dizaines de milliers d’observations, la variabilité totale d’échantillonnage ∑(xᵢⱼ – x̄ⱼ)² est si imposante qu’elle compense aisément l’inflation induite par un VIF élevé, maintenant l’erreur-type SE(bⱼ) à un niveau microscopique parfaitement tolérable pour l’inférence. Enfin, l’examen du VIF moyen (Mean VIF) au niveau global de l’équation apporte un indicateur synthétique précieux : un VIF moyen excédant substantiellement la valeur de 1 ou 2 révèle que l’ensemble du système d’estimation souffre d’une instabilité généralisée, même si aucun prédicteur individuel ne dépasse isolément le seuil de 10.

5. Mise en œuvre du test VIF dans Stata après une régression linéaire

5.1 Estimation préalable du modèle de référence avec `regress`

L’implémentation algorithmique de l’évaluation du Facteur d’Inflation de la Variance sous Stata repose strictement sur une architecture de commande post-estimation. Cela implique formellement qu’aucun calcul de VIF ne peut être exécuté ex nihilo sans qu’un modèle d’estimation par les moindres carrés ordinaires n’ait été préalablement ajusté et conservé dans la mémoire vive active du logiciel. La syntaxe canonique de base permettant d’estimer l’équation de régression linéaire de référence s’énonce comme suit :

regress dependent_var indep_var1 indep_var2 indep_var3

Lors de cette phase initiale, Stata procède à la vérification interne de la résolubilité du système linéaire. Le logiciel s’assure que le nombre d’observations disponibles est strictement supérieur au nombre total de paramètres à estimer (constante incluse) afin de garantir la positivité des degrés de liberté résiduels. Si une variable candidate présente une multicolinéarité rigoureusement parfaite avec les autres prédicteurs, le module regress procède instantanément à son exclusion mécanique avant d’afficher la table canonique des coefficients, consignant l’omission dans le corps du tableau.

Dès que l’estimation converge et que les résultats s’affichent à l’écran, Stata stocke l’intégralité des matrices de covariance des estimateurs, des résidus et des statistiques globales au sein de son espace temporaire réservé (la structure e()). Ce stockage mémoire constitue la condition technique sine qua non permettant aux commandes de diagnostic ultérieures d’interroger directement les propriétés de la matrice des régresseurs sans nécessiter la réintroduction explicite des variables par l’utilisateur.

5.2 Exécution de la commande post-estimation `estat vif`

Une fois le modèle linéaire ajusté et visible dans la fenêtre de sortie, l’évaluation de la multicolinéarité s’effectue par l’invocation immédiate de la commande post-estimation spécialisée estat vif. La formulation syntaxique standard est d’une grande simplicité :

estat vif

Il est fondamental de respecter rigoureusement la séquence opérationnelle : la commande estat vif doit impérativement succéder à une exécution valide de regress sans qu’aucune autre instruction d’estimation modificatrice de l’espace mémoire e() (telle qu’une autre régression, une analyse univariée complexe ou un test d’hypothèse globale) ne soit intercalée dans l’intervalle d’exécution. Si l’environnement de travail a été altéré, Stata renverra le message d’erreur d’exécution classique « last estimates not found » (code de retour r(301)), signifiant l’absence de base matricielle active.

Un comportement spécifique et crucial de la commande estat vif sous les versions modernes de Stata concerne sa gestion des variables catégorielles et des termes d’interaction introduits via les opérateurs de variables factorielles (tels que i.varname ou c.var1#c.var2). Lorsque des facteurs discrets sont inclus, Stata décompose chaque variable indicatrice (dummy) en une colonne distincte au sein du calcul matriciel, générant une valeur de VIF spécifique pour chaque modalité par rapport à la modalité de référence omise. L’analyste doit impérativement garder à l’esprit que cette décomposition factorielle engendre structurellement des VIFs élevés entre indicatrices d’une même variable polymorphe, sans que cela n’invalide l’adéquation du modèle substantiel sous-jacent.

5.3 Analyse rigoureuse de la table de sortie produite par Stata

L’exécution de la commande estat vif génère un tableau synthétique épuré, structuré de manière hiérarchique en trois colonnes standardisées : la première colonne liste l’intitulé des variables explicatives évaluées (Variable), la seconde indique la valeur numérique du Facteur d’Inflation de la Variance (VIF), et la troisième renseigne la tolérance correspondante sous l’intitulé explicite « 1/VIF ».

La lecture analytique de ce tableau commence par l’examen individualisé de la colonne VIF en appliquant la grille de décodage méthodologique établie. Les variables sont classiquement ordonnées par ordre décroissant de magnitude de VIF, plaçant immédiatement en tête de liste les régresseurs les plus sévèrement corrompus par la redondance linéaire. L’analyste identifie sans équivoque les prédicteurs dont le VIF dépasse le seuil conventionnel de 10 (tolérance inférieure à 0,10) ou le seuil conservateur de 5 (tolérance inférieure à 0,20), marquant ces éléments comme des zones d’instabilité structurelle au sein de l’équation.

Enfin, le regard du chercheur doit impérativement se porter sur la ligne de clôture située à la base de la table, libellée « Mean VIF ». Cette valeur synthétise la moyenne arithmétique globale de l’ensemble des facteurs d’inflation de la variance du modèle. Un VIF moyen oscillant autour de 1 à 1,5 témoigne d’une quasi-indépendance de l’espace vectoriel des régresseurs, assurant une parfaite fiabilité des inférences statistiques. En revanche, un VIF moyen surpassant significativement le seuil critique de 2 ou 2,5 indique une contamination systémique de la spécification : même si aucun prédicteur n’atteint individuellement la cote d’alerte de 10, la structure conjointe du modèle souffre d’un enchevêtrement colinéaire global qui altère la précision d’ensemble du système d’équations.

6. Étude de cas guidée pas à pas sur jeu de données Stata

6.1 Chargement et préparation des données d’exemple

Afin d’illustrer de manière pragmatique le protocole de dépistage et de traitement de la quasi-colinéarité, nous mobilisons le jeu de données automobile emblématique intégré nativement à l’environnement de Stata, accessible universellement via l’archive interne sysuse auto.dta. Ce jeu de microdonnées collige les caractéristiques techniques, dimensionnelles et tarifaires de 74 modèles de véhicules automobiles commercialisés sur le marché américain en 1978. La démarche préliminaire consiste à charger la table de données en mémoire et à opérer une inspection sommaire de son intégrité structurelle à l’aide des commandes de nettoyage élémentaires :

sysuse auto, clear
describe price weight length displacement turn mpg

L’objectif empirique assigné à notre modélisation économétrique consiste à prédire le niveau de consommation de carburant, exprimé en miles par gallon (variable mpg), à partir d’un ensemble de déterminants morphologiques et mécaniques du véhicule. Sur le plan de la physique automobile, il est notoire que le poids du véhicule (weight, en livres), sa longueur hors-tout (length, en pouces), la cylindrée du moteur (displacement, en pouces cubes) et son rayon de braquage (turn, en pieds) sont tous des reflets concomitants du gabarit global de l’automobile. Cette interconnexion technique préfigure l’émergence d’une multicolinéarité imparfaite aiguë entre ces prédicteurs, fournissant un cadre idéal pour notre expérimentation pédagogique.

Une inspection préalable des valeurs manquantes confirme la complétude absolue des 74 observations pour l’ensemble des covariables sélectionnées, éliminant ainsi tout biais de sélection lié à la purge par liste lors de l’estimation. Les statistiques descriptives univariées confirment que toutes les variables explicatives sélectionnées adoptent un statut d’échelle continue, condition requise pour une mise en œuvre pure de l’algorithme des moindres carrés ordinaires sans interférence factorielle discrète.

6.2 Exécution complète du script et confrontation des résultats

Nous procédons à la rédaction et à l’exécution d’un script structuré (Do-file) articulant l’estimation du modèle de régression globale non épuré, suivie immédiatement de la phase diagnostique post-estimation :

regress mpg weight length displacement turn
estat vif

À l’affichage des résultats de la régression, les incohérences caractéristiques de la multicolinéarité se manifestent avec une éclatante clarté. Le modèle global affiche une excellente performance explicative, matérialisée par un coefficient de détermination R² = 0,653 et une statistique globale F(4, 69) = 32,49 dotée d’une p-valeur hautement significative (p < 0,0001). Pourtant, l’inspection des coefficients individuels révèle que seule la variable weight parvient à atteindre le seuil de significativité statistique usuel (b = -0,0039 ; p = 0,042). Les variables length (p = 0,381), displacement (p = 0,457) et turn (p = 0,268) s’avèrent individuellement non significatives, défiant les lois de la thermodynamique et de la mécanique selon lesquelles la cylindrée et la dimension influent directement sur la dépense énergétique.

L’exécution immédiate de la commande estat vif lève immédiatement le voile sur l’origine arithmétique de cette anomalie. Le tableau diagnostique généré révèle que la variable weight affiche un VIF écrasant de 9,35 (tolérance de 0,107), talonnée immédiatement par la variable length avec un VIF de 8,92 (tolérance de 0,112). La cylindrée (displacement) enregistre quant à elle un VIF substantiel de 4,73 (tolérance de 0,211), tandis que le rayon de braquage (turn) culmine à 2,84. Le VIF moyen de cette spécification brute s’établit à 6,46, un niveau alarmant attestant d’une instabilité globale du modèle, où le poids et la longueur du véhicule se livrent à une compétition destructive pour l’attribution de la variance expliquée.

6.3 Validation croisée par élimination séquentielle

Face à ce diagnostic accablant, le protocole méthodologique commande d’opérer une révision de la spécification empirique en appliquant une purge raisonnée de la redondance linéaire. L’examen des corrélations bivariées et des fondements physiques indique que la variable length n’apporte que très peu d’information cinétique autonome par rapport à weight : le poids d’un véhicule capture déjà de manière synthétique sa masse totale et son inertie, rendant la mesure de sa longueur externe superfétatoire dans une équation de consommation.

Nous réestimons le modèle d’évaluation en écartant la variable length de la matrice des régresseurs, avant de renouveler la procédure diagnostique par VIF :

regress mpg weight displacement turn
estat vif

Les transformations quantitatives résultant de cette simple modification de spécification s’avèrent spectaculaires. Tout d’abord, la variance globale expliquée par le modèle demeure quasiment intacte, passant de R² = 0,653 à R² = 0,649, confirmant que l’exclusion de la variable n’a entraîné aucune déperdition substantielle de pouvoir prédictif. Deuxièmement, l’erreur-type associée au coefficient du poids (weight) est passée de 0,00189 à 0,00118, soit une réduction immédiate de près de 38 % de son imprécision d’échantillonnage, propulsant sa statistique de Student de t = -2,07 à t = -4,82 (p-valeur chutant à p < 0,0001).

Enfin, l’examen de la table estat vif post-intervention consacre la restauration de la stabilité matricielle. Le VIF maximal, toujours détenu par weight, a chuté vertigineusement de 9,35 à seulement 3,62 (tolérance portée à 0,276). Le VIF de displacement s’est contracté à 3,55, et celui de turn à 2,42. Le VIF moyen s’établit désormais à un niveau très rassurant de 3,20. Les coefficients sont désormais consolidés, les erreurs-types maîtrisées, et la validité inférentielle de l’analyse rétablie sans équivoque.

7. Diagnostics avancés : Indices de conditionnement et décomposition des variances

7.1 Fondements de l’approche de Belsley, Kuh et Welsch

Bien que le Facteur d’Inflation de la Variance constitue un instrument de premier plan, il présente une limite structurelle majeure reconnue par la théorie économétrique avancée : il demeure incapable d’isoler avec précision les sous-ensembles spécifiques de régresseurs impliqués dans des interdépendances linéaires multiples simultanées. Lorsque plusieurs motifs de colinéarité coexistent au sein d’une même matrice — par exemple si les variables X₁ et X₂ sont colinéaires entre elles, tandis que les variables X₃, X₄ et X₅ forment un second réseau indépendant de dépendance mutuelle — le calcul du VIF agrège indistinctement ces tensions sans permettre de cartographier la structure interne du dysfonctionnement.

Pour surmonter cette carence, l’approche novatrice développée par Belsley, Kuh et Welsch (1980) repose sur l’analyse spectrale et la décomposition en valeurs singulières de la matrice des régresseurs X préalablement normalisée (chaque colonne étant ramenée à une norme unitaire). Cette décomposition permet d’extraire les valeurs propres (eigenvalues), notées λ₁ ≥ λ₂ ≥ … ≥ λₖ, associées à la matrice de produit scalaire des colonnes normalisées. La sensibilité globale de la matrice est mesurée par le nombre de conditionnement (Condition Number), défini comme le ratio maximal des valeurs singulières extrêmes :

η = √(λ_max / λ_min) = √(λ₁ / λₖ)

De manière séquentielle, les auteurs définissent les indices de conditionnement (Condition Indexes) pour chaque dimension l (où l = 1, …, k) selon la formule ηₗ = √(λ₁ / λₗ). Un indice de conditionnement élevé signale la présence d’une quasi-dépendance linéaire presque singulière le long de la dimension spectrale considérée. Selon les seuils empiriques rigoureux établis par Belsley et ses collaborateurs, un indice de conditionnement compris entre 15 et 30 signale une colinéarité modérée à sévère, tandis qu’un indice excédant la valeur seuil de 30 dénonce une quasi-colinéarité critique susceptible de ruiner entièrement la stabilité des MCO.

7.2 Installation et utilisation du package communautaire `collin`

Bien que Stata intègre les fonctions matricielles nécessaires au calcul manuel des valeurs propres via Mata, la mise en œuvre pratique de la décomposition spectrale requiert classiquement le recours au package communautaire spécialisé collin, programmé par Philip B. Ender. Ce module d’une remarquable sophistication algorithmique ne fait pas partie du noyau natif d’installation de Stata, mais peut être téléchargé et intégré en quelques secondes directement depuis les serveurs du Statistical Software Components (SSC) hébergés par le Boston College :

ssc install collin, replace

Une propriété méthodologique remarquable de la commande collin réside dans son statut d’outil pré-estimation : contrairement à estat vif, elle n’exige nullement l’ajustement préalable d’une régression linéaire via regress. Elle s’exécute directement sur la liste brute des variables explicatives candidates, autorisant le statisticien à scruter la structure interne de la matrice avant même d’avoir formalisé son équation finale. La syntaxe opérationnelle s’exprime selon le modèle élémentaire suivant :

collin weight length displacement turn

L’exécution de cette commande génère une double sortie tabulaire d’une grande richesse documentaire. La première section restitue les mesures traditionnelles de colinéarité univariée (VIF, tolérance, carré de la corrélation multiple R²). La seconde section déploie le protocole spectral complet, détaillant la liste exhaustive des valeurs propres associées à la matrice, le nombre de conditionnement global du système, ainsi que la progression ordonnée des indices de conditionnement pour chaque racine spectrale, permettant d’identifier immédiatement le franchissement des bornes critiques de 15 et de 30.

7.3 Analyse de la matrice de décomposition des proportions de variance

Le point culminant de l’apport méthodologique de l’algorithme de Belsley réside dans la table de décomposition des proportions de variance (Variance-Decomposition Proportions). Dans cette matrice carrée, chaque ligne correspond à une valeur propre ordonnée (associée à son indice de conditionnement ηₗ), et chaque colonne correspond à l’un des régresseurs du modèle. Les valeurs contenues dans les cellules représentent la fraction de la variance d’échantillonnage de chaque coefficient de régression qui est projetée sur chaque composante spectrale singulière, la somme des proportions par colonne totalisant rigoureusement 1 (soit 100 %).

La règle de décision canonique formulée par Belsley, Kuh et Welsch prescrit un critère strict à deux niveaux pour isoler sans ambiguïté les variables piégées dans un conflit linéaire mutuel :

• Repérer les lignes de la table dont l’indice de conditionnement (Condition Index) est élevé, c’est-à-dire supérieur ou égal au seuil critique de 30 (ou a minima supérieur à 15 pour des dépendances secondaires).
• Examiner, le long de cette même ligne critique, les proportions de variance des différentes covariables : la présence d’au moins deux régresseurs distincts affichant chacun une proportion de variance décomposée excédant 0,50 (50 %) signe formellement leur implication conjointe dans une relation de quasi-dépendance linéaire.

Si une seule variable affiche une proportion de variance supérieure à 0,50 sur une racine spectrale sans qu’aucun autre régresseur n’atteigne ce seuil, il ne s’agit pas d’un phénomène de multicolinéarité, mais simplement de la projection d’un terme à dominante univariée (souvent associé à la constante du modèle). À l’inverse, l’identification conjointe de deux proportions massives permet de désigner chirurgicalement le binôme ou trinôme de variables en interaction destructive, offrant à l’analyste la cible exacte des éléments à regrouper, transformer ou soustraire du modèle pour assainir l’estimation.

8. Multicolinéarité structurelle : Interactions et termes polynomiaux

8.1 Distinction entre colinéarité essentielle et non essentielle

Une avancée conceptuelle déterminante formulée par les statisticiens de l’école psychométrique réside dans la dissociation nette entre la multicolinéarité d’échantillonnage (ou colinéarité essentielle) et la multicolinéarité structurelle (ou colinéarité non essentielle). La colinéarité d’échantillonnage découle de la nature organique des données observées : elle traduit le fait indépassable que deux attributs du monde réel (tels que le poids corporel et la circonférence abdominale) co-varient de façon systémique dans la population analysée, sans que le statisticien n’ait induit artificiellement cette interdépendance.

À l’opposé, la multicolinéarité structurelle constitue un produit direct des choix de modélisation mathématique opérés par l’analyste lors de la spécification de formes fonctionnelles non linéaires. Elle se manifeste inéluctablement dès lors qu’un chercheur introduit dans son équation des termes polynomiaux d’ordre supérieur (par exemple le carré d’un régresseur X₁² pour tester une relation curvilinéaire ou en U inversé) ou des termes de produit multiplicatif croisé (X₁ × X₂ pour modéliser une hypothèse d’interaction ou de modération). Puisque la variable X₁² est une fonction déterministe stricte de X₁, ces deux colonnes partagent intrinsèquement un niveau gigantesque de corrélation linéaire brute, gonflant artificiellement les VIFs vers des sommets pouvant excéder 50 ou 100.

Il est capital de reconnaître que cette colinéarité structurelle ne présente aucun danger quant au pouvoir prédictif global de l’équation ni quant à l’adéquation générale du modèle (le R² et la significativité conjointe du test F demeurent rigoureusement intacts). Cependant, elle engendre une distorsion majeure dans l’estimation des effets simples ou constitutifs (les coefficients de premier ordre associés à X₁ et X₂), rendant leurs erreurs-types disproportionnées et leur interprétation isolée totalement caduque, ce qui perturbe l’évaluation théorique des hypothèses de recherche.

8.2 La technique du centrage sur la moyenne dans Stata

Le remède méthodologique universel pour juguler instantanément la multicolinéarité structurelle induite par les termes polynomiaux et les interactions réside dans la technique du centrage sur la moyenne (mean-centering). Cette opération arithmétique élémentaire consiste à soustraire de chaque score brut individuel xᵢⱼ la moyenne arithmétique empirique de l’échantillon x̄ⱼ, créant une variable déviée définie par x̃ᵢⱼ = xᵢⱼ – x̄ⱼ. Sous Stata, cette transformation peut être réalisée manuellement de manière didactique à l’aide des commandes fondamentales :

summarize age, meanonly
generate age_c = age - r(mean)
generate age_c2 = age_c^2

Pour les devis de recherche complexes mobilisant une vaste panoplie de variables explicatives à centrer, il s’avère particulièrement judicieux d’installer le module automatisé center via la commande ssc install center. L’exécution de center var1 var2 var3, prefix(c_) génère en un instant l’ensemble des variables centrées correspondantes sans nécessiter l’écriture répétitive de boucles de programmation.

La puissance du centrage sur la moyenne réside dans ses propriétés algébriques : pour une distribution approximativement symétrique, la corrélation linéaire d’échantillonnage entre une variable centrée X̃ et son carré X̃² converge mathématiquement vers zéro, éliminant totalement la dépendance linéaire factice. L’exécution de estat vif sur un modèle incluant age_c et age_c2 démontre une chute immédiate des facteurs d’inflation de la variance, ramenant les indicateurs sous la barre de 1,5, tout en restituant aux coefficients de premier degré leur signification substantive claire : le coefficient de X̃ quantifie l’effet marginal de la variable évalué très exactement au point moyen de l’échantillon.

8.3 Utilisation des opérateurs de variables factorielles sous Stata

Depuis l’introduction des versions modernes de Stata, l’architecture logicielle offre une prise en charge native extrêmement sophistiquée des interactions et des formes non linéaires via la syntaxe des opérateurs factoriels (Factor Variables). Cette modalité dispense l’analyste de devoir créer manuellement des variables transformées dans sa base de données, déléguant la manipulation arithmétique directement aux routines internes d’estimation :

regress y c.var1##c.var1 c.var1##c.var2

L’opérateur c. explicite le statut continu de la variable, le croisillon simple # stipule le produit interactif exclusif, tandis que le double croisillon ## commande l’intégration conjointe et automatique de l’ensemble des effets principaux de premier ordre et du terme interactif multiplicatif d’ordre supérieur. Lorsque l’analyste lance ensuite la commande estat vif, Stata affiche la décomposition exacte des facteurs d’inflation pour chaque terme déployé par la factorisation matricielle.

Le bénéfice suprême de cette approche réside dans sa compatibilité native et transparente avec la commande post-estimation margins. Même si des VIFs résiduels élevés persistent au sein de la table d’estimation brute en présence d’interactions complexes, le recours à margins permet de s’affranchir entièrement des problèmes de colinéarité en calculant les effets marginaux conditionnels moyens (Average Marginal Effects) ou les prédictions linéaires ajustées en des points précis du continuum explicatif, accompagnés d’erreurs-types obtenues par la méthode delta d’une parfaite robustesse mathématique :

margins, dydx(var1) at(var2=(10(10)50))
marginsplot

9. Multicolinéarité dans les modèles non linéaires et à variable dépendante binaire

9.1 Spécificités des modèles logistiques (`logit`, `probit`)

Lorsque le paradigme de recherche s’éloigne de la modélisation gaussienne standard pour aborder des variables dépendantes dichotomiques, ordinales ou polytomiques via les modèles de régression logistique (logit) ou de régression probit (probit), la gestion de la multicolinéarité se heurte à un obstacle computationnel majeur : la commande canonique estat vif devient formellement inopérante. En effet, sous Stata, estat vif est une routine post-estimation exclusivement programmée pour s’exécuter à la suite d’une optimisation par les moindres carrés ordinaires (regress). L’interrogation de cette commande après un modèle estimé par le maximum de vraisemblance renvoie invariablement un message d’erreur stipulant que la commande n’est pas prise en charge.

Pourtant, la pathologie de la multicolinéarité frappe les modèles non linéaires avec une violence tout aussi destructrice, sinon exacerbée. Au sein de l’algorithme d’optimisation numérique itératif de Newton-Raphson utilisé pour converger vers le maximum de la fonction de log-vraisemblance, la présence de prédicteurs fortement colinéaires conduit la matrice hessienne (la matrice des dérivées secondes de la vraisemblance) vers une condition de quasi-singularité. Les erreurs-types des coefficients log-odds (ou probits) explosent de façon titanesque, atteignant des valeurs aberrantes de plusieurs centaines ou milliers d’unités.

Cette vulnérabilité s’articule étroitement avec le problème redouté de la quasi-séparation complète ou de la séparation parfaite (complete separation). Si deux variables indépendantes colinéaires définissent conjointement une combinaison linéaire de valeurs pour laquelle l’événement binaire ne se produit jamais (ou se produit systématiquement à 100 %), la logistique échoue à identifier un point d’arrêt, poussant le coefficient vers l’infini et induisant un effondrement complet de l’appareil inférentiel, phénomène que le chercheur non averti impute souvent à tort à un simple problème de colinéarité standard.

9.2 Solutions de contournement et adaptations méthodologiques

Pour évaluer rigoureusement la présence de multicolinéarité au sein d’une spécification logistique ou probit sous Stata, les économètres ont développé des stratégies de contournement méthodologiques d’une redoutable efficacité pratique. La première méthode consiste à recourir à une estimation auxiliaire par les Moindres Carrés Ordinaires désignée sous le vocable de « régression OLS fictive » ou modèle de probabilité linéaire proxy. Étant donné que le Facteur d’Inflation de la Variance (VIF) est une propriété géométrique stricte de la matrice des régresseurs X et ne dépend d’aucune façon de la nature de la variable dépendante Y, il suffit d’ajuster une régression linéaire standard intégrant la même liste de prédicteurs afin d’extraire des VIFs parfaitement valides :

regress binary_outcome indep_var1 indep_var2 indep_var3
estat vif

Les métriques de VIF et de tolérance générées par cette régression linéaire factice décrivent rigoureusement les interdépendances linéaires prévalant entre les covariables et s’appliquent sans aucune altération conceptuelle à la régression logistique sous-jacente. Une seconde approche, encore plus élégante et directe, consiste à mobiliser le module collin déjà évoqué, en renseignant simplement la liste des covariables du modèle binaire :

collin indep_var1 indep_var2 indep_var3

Enfin, sur le plan computationnel avancé, l’analyste peut procéder à l’inspection de la matrice variance-covariance des estimateurs stockée dans la mémoire post-estimation de Stata (e(V)). En examinant la matrice des corrélations des estimations à l’aide de la commande post-estimation estat vce, correlation, le praticien peut identifier directement les couples de paramètres (β̂ᵢ, β̂ⱼ) dont les estimateurs affichent des intercorrélations extrêmes (supérieures à 0,85 ou 0,90), confirmant l’incapacité de la vraisemblance à séparer leurs influences respectives.

9.3 Diagnostics dans les modèles linéaires généralisés (GLM) et de survie

L’évaluation de la colinéarité s’étend de plein droit à l’ensemble de la classe unifiée des Modèles Linéaires Généralisés (GLM) implémentés sous Stata via la commande glm, englobant les régressions de Poisson et binomiales négatives dédiées aux variables de comptage, ainsi que les modèles gamma pour données de coûts asymétriques. De même que pour les modèles logistiques, la commande estat vif n’étant pas accessible en post-estimation directe sous glm, l’application du proxy OLS préalable ou le recours systématique à collin s’impose comme le standard méthodologique de rigueur.

Dans le domaine de l’épidémiologie et de l’analyse de survie temporelle, les modèles à risques proportionnels de Cox (commandes stset puis stcox) présentent une vulnérabilité aiguë à l’interdépendance des covariables cliniques. La quasi-colinéarité au sein d’un modèle de survie dégrade gravement l’estimation des rapports de risques (hazard ratios), augmentant de manière déraisonnable l’intervalle de confiance exponentiel et rendant impossible la discrimination de facteurs pronostiques indépendants.

Dans ces configurations avancées, la prudence méthodologique impose d’analyser méticuleusement la matrice hessienne finale inversée lors de la dernière itération de convergence. Une précaution essentielle consiste à croiser systématiquement les indices de conditionnement de la matrice X extraits via collin avec une analyse de sensibilité par suppression séquentielle de covariables (leave-one-out sensitivity analysis). Si l’élimination d’une variable clinique secondaire stabilise drastiquement les hazard ratios des prédicteurs fondamentaux du modèle de Cox, le diagnostic de colinéarité délétère est formellement établi, justifiant une révision de la structure de covariation de l’étude clinique.

10. Stratégies méthodologiques pour remédier à la multicolinéarité

10.1 Purge raisonnée et sélection guidée par la théorie

La stratégie corrective la plus intuitive et la plus fréquemment mise en œuvre face à un diagnostic de multicolinéarité avérée consiste à élaguer chirurgicalement le modèle en retranchant l’un des régresseurs redondants. Toutefois, cette démarche d’élimination ne saurait en aucun cas être conduite de manière aveugle ou automatisée par des algorithmes de sélection purement stochastiques (tels que le stepwise). La suppression d’une variable doit impérativement être guidée par l’expertise substantive du champ disciplinaire et la solidité des fondements théoriques sous-tendant l’investigation.

Face à deux prédicteurs exhibant une quasi-colinéarité sévère, le chercheur doit arbitrer en faveur de la variable disposant de la validité de construit la plus incontestable, de la fidélité de mesure psychométrique la plus robuste ou du statut opérationnel le plus actionnable sur le plan des politiques publiques. Un écueil méthodologique redoutable guette l’analyste imprudent : le biais de variable omise (omitted variable bias). Si la variable élaguée constitue un régresseur causal fondamental exerçant un effet direct sur le critère Y, sa suppression mécanique déchargera sa part d’explication sur les variables restantes avec lesquelles elle co-varie, induisant une endogénéité structurelle et corrompant l’espérance mathématique des coefficients conservés, violant ainsi le postulat d’orthogonalité des résidus.

Pour documenter objectivement cet arbitrage, il est recommandé de confronter de façon formalisée les modèles concurrents à l’aide des critères d’information pénalisés par la parcimonie. L’exécution sous Stata des commandes estimates store puis estimates stats permet de comparer l’Akaike Information Criterion (AIC) et le Bayesian Information Criterion (BIC). Le maintien d’un critère AIC/BIC inférieur ou équivalent suite au retrait du régresseur problématique apporte la caution statistique que la simplification du modèle s’est opérée sans dégradation notable de l’adéquation empirique globale.

10.2 Réduction dimensionnelle et agrégation de variables

Lorsque la théorie substantive récuse catégoriquement l’amputation de l’une quelconque des composantes informatives du modèle, la stratégie de choix réside dans la réduction dimensionnelle par agrégation de variables. Dans les contextes où plusieurs covariables constituent en réalité les facettes divergentes mais convergentes d’un même phénomène abstrait sous-jacent (par exemple plusieurs indicateurs de précarité économique), la création d’un indice composite synthétique standardisé offre une parade méthodologique idéale. Sous Stata, la fusion de scores standardisés (z-scores) s’opère commodément via les instructions egen std_var = std(raw_var), suivies du calcul de la moyenne arithmétique globale des items.

Sur le versant des techniques statistiques avancées, le recours à l’analyse en composantes principales (ACP) permet d’extraire la substantifique moelle d’un ensemble de covariables hautement intercorrélées. La commande native sous Stata s’articule comme suit :

pca indep_var1 indep_var2 indep_var3 indep_var4
predict pc1 pc2, score

En ne conservant que la première ou les deux premières composantes principales (qui concentrent la vaste majorité de la variance partagée) pour les insérer comme régresseurs dans la régression linéaire finale, le statisticien garantit par construction mathématique l’orthogonalité absolue des composantes extraites, anéantissant ainsi définitivement tout risque de colinéarité au sein du modèle final.

Parallèlement, dans les disciplines psychométriques et sociologiques, l’analyse factorielle exploratoire (commande factor varlist, ipf) permet d’isoler des facteurs latents communs en purgeant l’erreur de mesure spécifique propre à chaque item. L’utilisation subséquente de predict f1 f2, regression permet d’injecter des scores factoriels épurés au sein du modèle explicatif, substituant une métrique conceptuelle robuste et non redondante à une nébuleuse d’indicateurs empiriques fragmentés.

10.3 Stratégies d’échantillonnage et restructuration des données

Une troisième voie de remédiation, profondément ancrée dans la conception empirique originelle de la multicolinéarité définie par Arthur Goldberger comme une simple « micronumérisité » (un manque d’information dans l’échantillon disponible), réside dans l’expansion ou la restructuration du protocole d’échantillonnage. En augmentant substantiellement la taille d’échantillonnage n par une collecte de données complémentaire, le chercheur fait croître mécaniquement la somme totale des écarts quadratiques des prédicteurs ∑(xᵢⱼ – x̄ⱼ)². Même si le niveau intrinsèque de colinéarité Rⱼ² demeure invariant dans la population, cette augmentation volumétrique permet de comprimer l’erreur-type globale SE(bⱼ) à un niveau suffisamment fin pour restaurer la puissance inférentielle du modèle.

Lorsque l’élargissement probabiliste de la cohorte est impossible pour des motifs budgétaires ou temporels, l’analyste peut opter pour un échantillonnage stratifié délibérément conçu pour cibler des cellules d’observations atypiques brisant la colinéarité dominante. Par exemple, si le niveau de revenu et le niveau d’éducation sont presque parfaitement colinéaires dans une population générale, sur-échantillonner spécifiquement des individus hautement diplômés mais disposant de faibles revenus, ainsi que des profils non diplômés générant de très hauts revenus, injecte artificiellement de l’orthogonalité au sein de la matrice empirique X.

Enfin, la restructuration arithmétique de la métrique des variables constitue un levier d’action puissant. Au lieu d’intégrer conjointement le numérateur et le dénominateur d’une grandeur dans l’équation (comme le nombre d’employés et la dépense opérationnelle globale d’une entreprise), la transformation de ces variables sous forme de ratio unifié (la dépense moyenne par employé) ou d’indicateur d’intensité élimine instantanément le facteur d’échelle partagé. Dans les devis longitudinaux sur données de panel, le passage aux opérateurs de différences premières (commande Stata D.varname) ou la modélisation en termes de taux de variation relative purge systématiquement la colinéarité tendancielle stable propre aux trajectoires macroéconomiques ou démographiques.

11. Méthodes de régression régularisée alternatives dans Stata

11.1 La régression Ridge (Moindres Carrés Pénalisés L2)

Lorsque la préservation intégrale de l’ensemble des variables originales du devis de recherche s’avère un impératif épistémologique non négociable et que les solutions classiques de purge s’avèrent inapplicables, les méthodes de régression régularisée ou pénalisée constituent la solution méthodologique d’excellence. Formulée à l’origine par Hoerl et Kennard, la régression Ridge (ou régression par les moindres carrés pénalisés L₂) résout magistralement la singularité computationnelle de la matrice (X’X) en injectant une perturbation scalaire positive constante λ le long de sa diagonale principale :

b_ridge = (X’X + λI)⁻¹X’Y

L’introduction de la matrice identité I modulée par le paramètre de pénalité ou de rétrécissement λ > 0 a pour effet direct de forcer le conditionnement de la matrice à devenir strictement positif et inversible, sans aucune fragilité numérique. L’armature philosophique de la méthode Ridge repose sur le compromis fondamental biais-variance : en consentant à introduire sciemment un léger biais d’estimation au sein des paramètres estimés (qui ne sont plus tout à fait sans biais au sens de Gauss-Markov), l’analyste obtient en contrepartie une réduction spectaculaire de leur variance d’échantillonnage, aboutissant à une erreur quadratique moyenne globale (Mean Squared Error) nettement inférieure à celle produite par les MCO.

Sous Stata, l’estimation Ridge peut être conduite via des packages communautaires éprouvés tels que ridgereg (développé par Emad Abd Elmessih Shehata) accessible via ssc install ridgereg. La procédure implique une phase rigoureuse de calibration du paramètre d’ajustement optimal λ, généralement déterminée par la méthode de validation croisée k-fold ou par la minimisation du critère Cₚ de Mallows, garantissant que le compromis opéré stabilise les coefficients sans induire une distorsion substantive disproportionnée.

11.2 La régression Lasso et Elastic Net dans les versions récentes de Stata

Depuis le déploiement de sa version 16, le logiciel Stata intègre nativement une suite logicielle d’apprentissage statistique haut de gamme entièrement dédiée aux méthodes de pénalisation contemporaines via la commande racine lasso. À la différence de la régression Ridge dont la pénalité quadratique L₂ rétrécit les coefficients vers zéro sans jamais les annuler rigoureusement, la régression Lasso (Least Absolute Shrinkage and Selection Operator) mobilise une pénalité fondée sur la norme L₁ (somme de la valeur absolue des coefficients). Cette propriété confère au Lasso une aptitude unique à opérer simultanément une sélection parcimonieuse de variables en forçant les coefficients des prédicteurs les plus redondants à s’annuler exactement :

lasso linear y x1 x2 x3 x4 x5, cv

Néanmoins, face à une situation de très forte colinéarité où un groupe de variables présente des corrélations massives mutuelles, le Lasso tend algorithmiquement à sélectionner de manière arbitraire une unique variable au sein du cluster tout en annulant brutalement toutes les autres, comportement qui peut heurter les préceptes théoriques du chercheur. Pour transcender cette limite, l’algorithme Elastic Net (intégré sous Stata via la commande native elasticnet) associe harmonieusement les pénalités L₁ et L₂ dans une fonction objectif composite paramétrée par un ratio de mélange α :

elasticnet linear y x1 x2 x3 x4 x5, cv

Cette formulation hybride permet de bénéficier du phénomène d’effet de groupe (grouping effect) : les variables explicatives fortement colinéaires entrent ou sortent du modèle collectivement de façon concertée, leurs coefficients étant rétrécis de manière conjointe et équilibrée. Grâce aux routines natives de validation croisée 10-fold intégrées automatiquement sous Stata, l’analyste visualise en temps réel la trajectoire des pénalités via cvplot et extrait un sous-ensemble épuré de coefficients régularisés d’une remarquable robustesse prédictive.

11.3 Régression sur composantes principales et modèles à équations structurelles

Au croisement des méthodes dimensionnelles et de la modélisation explicative se déploie la régression sur composantes principales (Principal Component Regression ou PCR). Cette méthode séquentielle consiste à opérer d’abord une décomposition spectrale intégrale de la matrice des régresseurs, à sélectionner les p premières composantes orthogonales expliquant la majeure partie de l’inertie multidimensionnelle, puis à ajuster l’équation finale par les moindres carrés ordinaires sur ces facteurs décorrélés :

pcr y x1 x2 x3 x4 x5, components(3)

Cette approche garantit une absence absolue de colinéarité dans la phase finale d’estimation tout en préservant le format d’inférence standard des MCO. Toutefois, la projection des régresseurs dans un espace abstrait de composantes complique souvent la réinterprétation des coefficients en regard des unités empiriques d’origine, confinant souvent son usage à des objectifs d’ingénierie purement prédictive.

Enfin, lorsque l’architecture théorique postule explicitement que les corrélations massives observées entre prédicteurs découlent de leur statut de manifestations empiriques imparfaites d’un même construit conceptuel abstrait, la modélisation par équations structurelles (Structural Equation Modeling ou SEM) représente le paradigme de modélisation le plus achevé. Accessible via la commande native sem sous Stata, cette méthode permet de modéliser explicitement les covariances entre régresseurs et de spécifier des structures d’erreurs de mesure :

sem (LatentVar1 -> x1 x2 x3) (LatentVar2 -> x4 x5) (y <- LatentVar1 LatentVar2)

Dans ce cadre intégrateur, la multicolinéarité cesse d’être une nuisance statistique pour devenir un paramètre structurant formellement identifié et modélisé au sein de la matrice de covariance du système, garantissant une estimation sans biais des relations de dépendance structurelle au niveau latent.

12. Bonnes pratiques de reporting académique et automatisation

12.1 Normes de présentation des résultats selon le format APA

La publication de recherches quantitatives au sein de revues scientifiques internationales indexées (soumises aux standards méthodologiques de l’American Psychological Association, APA 7th edition, ou aux normes de l’American Economic Association) exige une transparence intégrale quant aux diagnostics de multicolinéarité menés sur les données empiriques. Il est désormais formellement proscrit de se borner à affirmer laconiquement dans le corps du texte que « les postulats de la régression linéaire ont été vérifiés » sans fournir les statistiques d’appui correspondantes.

Les normes académiques rigoureuses prescrivent l’intégration explicite d’une colonne dédiée aux statistiques de colinéarité au sein du tableau principal de régression. Selon l’orientation disciplinaire, cette colonne renseignera systématiquement soit la Tolérance statistique (Tol), soit le Facteur d’Inflation de la Variance (VIF), voire ces deux métriques complémentaires juxtaposées aux coefficients non standardisés (B), aux erreurs-types (SE) et aux coefficients bêta standardisés (β). La valeur du VIF moyen de l’équation doit être explicitement consignée dans les notes infrapaginales documentant la statistique F, les degrés de liberté et le R² global.

Sur le plan rédactionnel, la section « Résultats » d’un manuscrit quantitatif doit formaliser les constats diagnostiques selon un canevas textuel rigoureux. Une formulation canonique recommandée s’énonce comme suit :

« Préalablement à l’interprétation des coefficients de régression multiple, la présence éventuelle de multicolinéarité entre les prédicteurs a fait l’objet d’un examen systématique. L’évaluation a mis en évidence des indices de tolérance échelonnés entre 0,34 et 0,82, associés à des Facteurs d’Inflation de la Variance (VIF) variant de 1,22 à 2,94. Le VIF moyen de l’ensemble du modèle s’établit à 1,85, demeurant substantiellement inférieur au seuil critique conservateur de 5. Ces métriques attestent formellement de l’absence d’interdépendance linéaire délétère au sein de l’espace des covariables, garantissant la stabilité computationnelle et l’indépendance des erreurs-types des estimateurs des moindres carrés ordinaires. »

12.2 Automatisation et export des diagnostics vers Word et LaTeX

Dans le cadre de flux de travail scientifiques modernes fondés sur le principe de reproductibilité intégrale de la recherche (Reproducible Research Workflow), l’analyste gagne à s’affranchir des saisies manuelles sources d’erreurs en automatisant l’extraction et le formatage des tables de VIF vers les traitements de texte professionnels tels que Microsoft Word ou les éditeurs LaTeX. Sous Stata, cette automatisation s’articule autour de modules communautaires hautement optimisés, parmi lesquels asdoc, outreg2 et l’incontournable suite logicielle estout (incluant la commande esttab) :

ssc install estout, replace

Pour exporter de manière programmatique un tableau de régression enrichi des valeurs de VIF directement vers un fichier formatté, l’analyste peut mobiliser une routine articulant la régression, le stockage des estimations, l’interrogation de la commande estat vif et l’extraction matricielle des résultats vers la macro-mémoire de Stata :

regress mpg weight displacement turn
eststo model1
estat vif
matrix VIF_matrix = r(vif)
esttab model1 using "resultats_regression.rtf", cells("b(star fmt(3)) se(fmt(3))") stats(N r2 F) replace

Pour une intégration documentaire encore plus directe et native au sein de Stata, les commandes de publication intégrée putdocx permettent de concevoir des scripts complets générant des rapports Word automatisés. Il est aisé de programmer des macros Stata intégrant des boucles conditionnelles (if-else) qui analysent automatiquement la matrice des VIFs renvoyée par r(vif), surlignant visuellement en couleur rouge ou apposant une balise d’avertissement formelle pour tout prédicteur dont le VIF franchirait le seuil critique défini au protocole expérimental, prévenant ainsi toute négligence inférentielle avant diffusion.

12.3 Arbre décisionnel de synthèse pour le chercheur quantitatif

Afin de structurer la démarche méthodologique globale face au défi de la multicolinéarité, le chercheur quantitatif doit inscrire son action au sein d’un protocole séquentiel standardisé. Cet arbre de décision stratégique articule les étapes diagnostiques et les arbitrages opérationnels selon une trajectoire logique immuable :

• Étape 1 : Dépistage exploratoire pré-estimation. Calculer la matrice des corrélations bivariées (correlate) et examiner la matrice graphique (graph matrix). Exécuter la commande collin pour évaluer la sensibilité intrinsèque de la matrice X. Si les corrélations sont inférieures à 0,70 et que le nombre de conditionnement est inférieur à 15, procéder sans restriction à l’estimation MCO.
• Étape 2 : Estimation de référence et diagnostic formalisé. Exécuter le modèle théorique via regress, puis invoquer immédiatement la commande post-estimation estat vif. Examiner scrupuleusement la distribution des valeurs individuelles et la valeur du VIF moyen.
• Étape 3 : Qualification de la nature de la colinéarité.
  • Si VIF < 5 (et VIF moyen < 2) : La multicolinéarité est jugée négligeable. Poursuivre l’interprétation inférentielle des coefficients, des tests de Student et des intervalles de confiance en toute sérénité.
  • Si VIF ≥ 5 (ou tolérance ≤ 0,20) : Évaluer s’il s’agit d’une colinéarité structurelle induite par des interactions ou des termes quadratiques. Dans l’affirmative, procéder au centrage sur la moyenne (center) ou basculer vers les opérateurs factoriels natifs (c.var##c.var) associés à la commande margins.
  • Si la colinéarité est d’échantillonnage (essentielle) : Exécuter la commande collin pour analyser la table de décomposition spectrale de Belsley et isoler le groupe de variables en conflit (indices de condition > 30 conjugués à deux proportions de variance > 0,50).
• Étape 4 : Arbitrage guidé par la finalité épistémologique.
  • Si l’objectif est purement prédictif : Tolérer la colinéarité si le R² global est optimal, ou mobiliser la régression pénalisée Ridge / Lasso / Elastic Net (lasso, elasticnet) pour minimiser l’erreur quadratique moyenne de prédiction hors-échantillon.
  • Si l’objectif est inférentiel et explicatif (causalité) : Recourir à l’agrégation de variables en un indice synthétique, à la réduction par composantes principales (pca), ou procéder à la purge raisonnée d’une variable redondante sous réserve de validation théorique et de stabilité des critères d’information (AIC/BIC). En dernier recours pour les mesures psychométriques, ré-articuler le devis au sein d’un modèle à équations structurelles (sem) traitant la variance partagée au niveau latent.
• Étape 5 : Documentation et reporting systématique. Consigner intégralement les résultats des tests VIF, documenter les justifications théoriques des éventuels arbitrages ou éliminations opérées, et formaliser la section des résultats dans le strict respect des standards de transparence de la communauté scientifique.

Références

• American Psychological Association. (2020). Publication manual of the American Psychological Association (7th ed.). https://doi.org/10.1037/0000165-000
• Belsley, D. A., Kuh, E., & Welsch, R. E. (1980). Regression diagnostics: Identifying influential data and sources of collinearity. John Wiley & Sons. https://doi.org/10.1002/0471725153
• Ender, P. B. (2010). COLLIN: Stata module to compute collinearity diagnostics. Statistical Software Components, Boston College Department of Economics. https://ideas.repec.org/c/boc/bocode/s456950.html
• Goldberger, A. S. (1991). A course in econometrics. Harvard University Press.
• Greene, W. H. (2018). Econometric analysis (8th ed.). Pearson.
• Hoerl, A. E., & Kennard, R. W. (1970). Ridge regression: Biased estimation for nonorthogonal problems. Technometrics, 12(1), 55-67. https://doi.org/10.1080/00401706.1970.10488634
• O’Brien, R. M. (2007). A caution regarding rules of thumb for variance inflation factors. Quality & Quantity, 41(5), 673-690. https://doi.org/10.1007/s11135-006-9018-6
• StataCorp. (2023). Stata base reference manual: Release 18. Stata Press. https://www.stata.com/manuals/r.pdf
• Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal Statistical Society: Series B (Methodological), 58(1), 267-288. https://doi.org/10.1111/j.2517-6161.1996.tb02080.x
• Wooldridge, J. M. (2020). Introductory econometrics: A modern approach (7th ed.). Cengage Learning.
• Zou, H., & Hastie, T. (2005). Regularization and variable selection via the elastic net. Journal of the Royal Statistical Society: Series B (Statistical Methodology), 67(2), 301-320. https://doi.org/10.1111/j.1467-9868.2005.00503.x