Régression logistique multinomiale vs régression logistique binaire one-vs-rest

Disons que nous avons une variable dépendante avec peu de catégories et un ensemble de variables indépendantes. $Y$

Quels sont les avantages de la régression logistique multinomiale par rapport à un ensemble de régressions logistiques binaires (c. -à-d. Un schéma un-vs-reste )? Par ensemble de régression logistique binaire, je veux dire que pour chaque catégorie nous construisons un modèle de régression logistique binaire distinct avec target = 1 lorsque et 0 sinon.$y_{i} \in Y$$Y=y_{i}$

Si a plus de deux catégories, votre question sur "l'avantage" d'une régression par rapport à l'autre n'a probablement pas de sens si vous souhaitez comparer les paramètres des modèles , car les modèles seront fondamentalement différents:$Y$

$\bf log \frac{P(i)}{P(not~i)}=logit_i=linear~combination$ pour chaque logistique binaire régression, et$i$

$\bf log \frac{P(i)}{P(r)}=logit_i=linear~combination$ pour chaque catégorie dans la régression logistique multiple , étant la catégorie de référence choisie ( ).$i$$r$$i \ne r$

Toutefois, si votre objectif est seulement de prédire la probabilité de chaque catégorie soit approche est justifiée, même si elles peuvent donner différentes estimations de probabilité. La formule pour estimer une probabilité est générique:$i$

$\bf P'(i)= \frac{exp(logit_i)}{exp(logit_i)+exp(logit_j)+\dots+exp(logit_r)}$ , où sont toutes les catégories, et si été choisi comme référence, son . Ainsi, pour la logistique binaire, cette même formule devient . La logistique multinomiale repose sur l'hypothèse (pas toujours réaliste) d' indépendance des alternatives non pertinentes, contrairement à une série de prédictions logistiques binaires.$i,j,\dots,r$$r$$\bf exp(logit)=1$$\bf P'(i)= \frac{exp(logit_i)}{exp(logit_i)+1}$

Un thème distinct concerne les différences techniques entre les régressions logistiques multinomiales et binaires dans le cas où est dichotomique . Y aura-t-il une différence dans les résultats? La plupart du temps, en l'absence de covariables, les résultats seront les mêmes. Néanmoins, il existe des différences entre les algorithmes et les options de sortie. Permettez-moi de citer l'aide de SPSS sur ce problème dans SPSS:$Y$

Les modèles de régression logistique binaire peuvent être adaptés à l'aide de la procédure de régression logistique ou de la procédure de régression logistique multinomiale. Chaque procédure a des options non disponibles dans l'autre. Une distinction théorique importante est que la procédure de régression logistique produit toutes les prévisions, les résidus, les statistiques d'influence et les tests de qualité de l'ajustement en utilisant des données au niveau du cas individuel, indépendamment de la manière dont les données sont entrées et du nombre de modèles de covariables. est inférieur au nombre total de cas, tandis que la procédure de régression logistique multinomiale agrège en interne les cas pour former des sous-populations avec des modèles de covariables identiques pour les prédicteurs, produisant des prévisions, des résidus et des tests d'ajustement sur la base de ces sous-populations.

La régression logistique offre les fonctionnalités uniques suivantes:

• test de qualité d'ajustement Hosmer-Lemeshow pour le modèle

• Analyses pas à pas

• Contrastes pour définir le paramétrage du modèle

• Points de passage alternatifs pour la classification

• parcelles de classification

• Modèle adapté sur un ensemble de cas à un ensemble de cas éloigné

• Enregistre les prévisions, les résidus et les statistiques d'influence

La régression logistique multinomiale offre les fonctionnalités uniques suivantes:

• Tests de Pearson et de chi-carré de déviance pour la qualité de l'ajustement du modèle

• Spécification des sous-populations pour le regroupement des données pour les tests de qualité de l'ajustement

• Liste des dénombrements, dénombrements prévus et résidus par sous-population

• Correction des estimations de variance pour la dispersion excessive

• matrice de covariance des estimations de paramètres

• Tests de combinaisons linéaires de paramètres

• Spécification explicite de modèles imbriqués

• Ajuster 1-1 des modèles de régression logistique conditionnelle appariés utilisant des variables différenciées

En raison du titre, je suppose que "avantages de la régression logistique multiple" signifie "régression multinomiale". Il y a souvent des avantages lorsque le modèle est ajusté simultanément. Cette situation particulière est décrite dans Agresti (Analyse de données catégoriques, 2002), page 273. En résumé (pour paraphraser Agresti), vous vous attendez à ce que les estimations d'un modèle commun soient différentes de celles d'un modèle stratifié. Les modèles logistiques distincts ont tendance à avoir des erreurs types plus grandes, bien que cela puisse ne pas être aussi grave lorsque le niveau de résultat le plus fréquent est défini comme niveau de référence.