Conversion d'un modèle linéaire multivarié en régression multiple

La refonte d'un modèle de régression linéaire multivariée en régression linéaire multiple est-elle entièrement équivalente? Je ne parle pas simplement en cours d' exécution régressions distinctes. $t$

J'ai lu ceci à quelques endroits (Bayesian Data Analysis - Gelman et al., Et Multivariate Old School - Marden) qu'un modèle linéaire multivarié peut facilement être reparamétré comme une régression multiple. Cependant, aucune source n'élabore sur ce point. Ils le mentionnent essentiellement, puis continuent d'utiliser le modèle multivarié. Mathématiquement, je vais d'abord écrire la version multivariée,

\underset{n \times t}{Oui} = \underset{n \times k}{X} \underset{k \times t}{B} + \underset{n \times t}{R},

$\underset{n \times t}{\mathbf{Y}} = \underset{n \times k}{\mathbf{X}} \hspace{2mm}\underset{k \times t}{\mathbf{B}} + \underset{n \times t}{\mathbf{R}},$ où les variables en gras sont des matrices avec leurs tailles en dessous. Comme d'habitude, est des données, est la matrice de conception, sont des résidus normalement distribués et est ce avec quoi nous voulons faire des inférences.

Y

$\mathbf{Y}$

X

$\mathbf{X}$

R

$\mathbf{R}$

B

$\mathbf{B}$

Pour reparamétrer cela comme la régression linéaire multiple familière, on réécrit simplement les variables comme:

\underset{n t \times 1}{y} = \underset{n t \times n k}{D} \underset{n k \times 1}{β} + \underset{n t \times 1}{r},

$\underset{nt \times 1}{\mathbf{y}} = \underset{nt \times nk}{\mathbf{D}} \hspace{2mm} \underset{nk \times 1}{\boldsymbol{\beta}} + \underset{nt \times 1}{\mathbf{r}},$

où les reparamètres utilisés sont $\mathbf{y} = row(\mathbf{Y})$ , $\boldsymbol\beta = row(\mathbf{B})$ et $\mathbf{D} = \mathbf{X} \otimes \mathbf{I}_{n}$ . $row()$ signifie que les lignes de la matrice sont disposées bout à bout en un long vecteur, et $\otimes$ est le kronecker, ou produit externe.

Donc, si c'est si facile, pourquoi s'embêter à écrire des livres sur des modèles multivariés, tester des statistiques pour eux, etc.? Il est plus efficace de simplement transformer les variables en premier et d'utiliser des techniques univariées communes. Je suis sûr qu'il y a une bonne raison, j'ai juste du mal à en penser une, au moins dans le cas d'un modèle linéaire. Existe-t-il des situations avec le modèle linéaire multivarié et des erreurs aléatoires normalement distribuées où cette reparamétrie ne s'applique pas, ou limite les possibilités de l'analyse que vous pouvez entreprendre?

Sources J'ai vu ceci: Marden - Statistiques multivariées: Old School. Voir sections 5.3 - 5.5. Le livre est disponible gratuitement sur: http://istics.net/stat/

Gelman et al. - Analyse des données bayésiennes. J'ai la deuxième édition, et dans cette version il y a un petit paragraphe dans Ch. 19 «Modèles de régression multivariée» intitulés: «Le modèle de régression univarié équivalent»

Fondamentalement, pouvez-vous tout faire avec le modèle de régression linéaire univariée équivalent à celui que vous pourriez utiliser avec le modèle multivarié? Si oui, pourquoi développer des méthodes pour des modèles linéaires multivariés?

Qu'en est-il des approches bayésiennes?

regression multiple-regression linear-model multivariate-regression bill_e
la source

C'est une bonne question. Peut-être pourriez-vous en demander plus en termes de fondations plutôt que de structure.

Subhash C. Davar

Qu'entendez-vous par fondations plutôt que par structure? Pourriez-vous élaborer?

bill_e

Je peux noter que je n'ai appris que deux articles dans le cadre de mon premier et troisième cycle depuis longtemps, je n'ai pas de toilettage dans les descriptions techniques. Je comprends que l'analyse multivariée a des hypothèses différentes par rapport à une régression linéaire multiple ou simplement un modèle de régression linéaire. Les hypothèses pour l'analyse multivariée sont différentes, c'est-à-dire que l'espérance mathématique prévaut. la régression linéaire multiple fait certaines autres hypothèses qui entraînent une hétéroscédatistique. La structure ici, je veux dire se réfère à vos équations.

Subhash C. Davar

Vous devez le dire clairement dans le titre ou au début si vous parlez de modèle linéaire multivarié (général) ou de régression bayésienne multivariée .

ttnphns

Ok, donc .. ce n'est pas mon approche, j'ai souligné deux endroits où j'ai vu ça. L'approche est au cœur du problème. Quelle est la différence entre la version multivariée et la version univariée reparamétrisée?

bill_e

Réponses:

Fondamentalement, pouvez-vous tout faire avec le modèle de régression linéaire univariée équivalent à celui que vous pourriez utiliser avec le modèle multivarié?

Je crois que la réponse est non.

Si votre objectif est simplement d'estimer les effets (paramètres dans ) ou de faire des prédictions basées sur le modèle, alors oui, il n'est pas important d'adopter la formulation du modèle entre les deux. $\mathbf{B}$

Cependant, pour faire des inférences statistiques, en particulier pour effectuer le test de signification classique, la formulation multivariée semble pratiquement irremplaçable. Plus précisément, permettez-moi d'utiliser l'exemple typique de l'analyse de données en psychologie. Les données de sujets sont exprimées comme $n$

\underset{n \times t}{Y} = \underset{n \times k}{X} \underset{k \times t}{B} + \underset{n \times t}{R},

$\underset{n \times t}{\mathbf{Y}} = \underset{n \times k}{\mathbf{X}} \hspace{2mm}\underset{k \times t}{\mathbf{B}} + \underset{n \times t}{\mathbf{R}},$

où les variables explicatives entre sujets (facteur ou / et covariables quantitatives) sont codées comme les colonnes dans tandis que les niveaux de facteur de mesures répétées (ou intra-sujet) sont représentés comme des variables simultanées ou colonnes dans . $k-1$ $\mathbf{X}$ $t$ $\mathbf{Y}$

Avec la formulation ci-dessus, toute hypothèse linéaire générale peut être facilement exprimée comme

L B M = C,

$\mathbf{L} \mathbf{B} \mathbf{M} = \mathbf{C},$

où est composé des poids parmi les variables explicatives entre sujets tandis que contient les poids parmi les niveaux des facteurs de mesures répétées, et est une matrice constante, généralement . $\mathbf{L}$ $\mathbf{L}$ $\mathbf{C}$ $\mathbf{0}$

La beauté du système multivarié réside dans sa séparation entre les deux types de variables, entre et à l'intérieur du sujet. C'est cette séparation qui permet de formuler facilement trois types de tests de signification dans le cadre multivarié: les tests multivariés classiques, les tests multivariés à mesures répétées et les tests univariés à mesures répétées. De plus, les tests de Mauchly pour la violation de la sphéricité et les méthodes de correction correspondantes (Greenhouse-Geisser et Huynh-Feldt) deviennent également naturels pour les tests univariés dans le système multivarié. C'est exactement ainsi que les progiciels statistiques ont implémenté ces tests tels que car dans R, GLM dans IBM SPSS Statistics et l'instruction REPEATED dans PROC GLM de SAS.

Je ne suis pas sûr que la formulation soit importante dans l'analyse des données bayésiennes, mais je doute que la capacité de test ci-dessus puisse être formulée et mise en œuvre sous la plate-forme univariée.

poteau bleu
la source

Je vois, cela a du sens. Merci pour la bonne réponse. J'adorerais aussi entendre une perspective bayésienne.

bill_e

@PeterRabbit Si vous aimez la réponse, veuillez exprimer votre gratitude à bluepole en acceptant sa réponse. Il obtiendra des points.

pteetor

Je le ferai, je tenais juste un peu pour voir si quelqu'un offrirait une perspective bayésienne.

bill_e

Les deux modèles sont équivalents si vous ajustez la structure de variance-covariance appropriée. Dans le modèle linéaire transformé, nous devons adapter la matrice de variance-covariance du composant d'erreur avec le produit kronecker qui a une disponibilité limitée dans les logiciels informatiques disponibles. Théorie des modèles linéaires - Modèles univariés, multivariés et mixtes est une excellente référence pour ce sujet.

Édité

Voici une autre belle référence disponible gratuitement.

MYaseen208
la source

Oh ok, donc dans un modèle univarié normal, il n'y a pas de type de structure de covariance "à l'intérieur" des DV. Par conséquent, les tests d'hypothèses concernés n'existent pas. Je vous remercie! Je vais voir si je peux prendre ce livre.

bill_e