Question générale Supposons que nous ayons des données iid X1X1x_1 , X2X2x_2 , ... streaming. Nous voulons calculer récursivement l'estimation de la probabilité maximale de . Autrement dit, avoir calculé nous observons un nouveau x_n et souhaitons en quelque sorte mettre à jour progressivement...
Jeffrey Wooldridge, dans son analyse économétrique des données de sections et de panels (page 357), dit que la Hesse empirique "n'est pas garantie d'être définie positive, ou même semi-définie positive, pour l'échantillon particulier avec lequel nous travaillons.". Cela me semble faux car (à part...
MLE = Estimation du maximum de vraisemblance MAP = Maximum a posteriori Le MLE est intuitif / naïf en ce qu'il ne commence qu'avec la probabilité d'observation compte tenu du paramètre (c'est-à-dire la fonction de vraisemblance) et essaie de trouver le paramètre le plus conforme à l'observation ....
Cette question traite de l'estimation du maximum de vraisemblance restreint (REML) dans une version particulière du modèle linéaire, à savoir: Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)),Y=X(α)β+ϵ,ϵ∼Nn(0,Σ(α)), Y = X(\alpha)\beta + \epsilon, \\ \epsilon\sim N_n(0, \Sigma(\alpha)), où X(α)X(α)X(\alpha) est une matrice (...
Il semble y avoir beaucoup de confusion dans la comparaison de l'utilisation à l' glmnetintérieur caretpour rechercher un lambda optimal et à utiliser cv.glmnetpour faire la même tâche. De nombreuses questions ont été posées, par exemple: Modèle de classification train.glmnet vs cv.glmnet? Quelle...
Je me demande si l'estimation du maximum de vraisemblance n'a jamais été utilisée dans les statistiques. Nous en apprenons le concept mais je me demande quand il est réellement utilisé. Si nous supposons la distribution des données, nous trouvons deux paramètres, un pour la moyenne et un pour la...
θ^θ^\hat\thetaθ∗θ∗\theta^*nnn∥θ^−θ∗∥‖θ^−θ∗‖\lVert\hat\theta-\theta^*\rVertO(1/n−−√)O(1/n)O(1/\sqrt n)∥Eθ^−θ∗∥‖Eθ^−θ∗‖\lVert \mathbb E\hat\theta - \theta^*\rVert∥Eθ^−θ^∥‖Eθ^−θ^‖\lVert \mathbb E\hat\theta - \hat\theta\rVertO(1/n−−√)O(1/n)O(1/\sqrt{n}) Je m'intéresse aux modèles qui ont un biais qui...
Dans le premier chapitre de l'ouvrage Algebraic Geometry and Statistical Learning Theory qui parle de la convergence des estimations dans différents espaces fonctionnels, il mentionne que l'estimation bayésienne correspond à la topologie de la distribution de Schwartz, tandis que l'estimation du...
J'essaie de comprendre la régression logistique de Firth (méthode de gestion de la séparation parfaite / complète ou quasi-complète dans la régression logistique) afin de pouvoir l'expliquer aux autres en termes simplifiés. Quelqu'un a-t-il une explication factice de la modification que...
Cette question est motivée par celle-ci . J'ai recherché deux sources et c'est ce que j'ai trouvé. A. van der Vaart, Statistiques asymptotiques: Il est rarement possible de calculer explicitement une vraisemblance de profil, mais son évaluation numérique est souvent réalisable. Ensuite, la...
Quand est-il préférable d'utiliser l'estimation du maximum de vraisemblance au lieu des moindres carrés ordinaires? Quelles sont les forces et les limites de chacune? J'essaie de rassembler des connaissances pratiques sur où les utiliser dans des situations
Contexte: J'essaie de suivre l'examen de Princeton de l'estimation MLE pour GLM . Je comprends les bases de l' estimation MLE: likelihood, score, observée et attendue Fisher informationet la Fisher scoringtechnique. Et je sais comment justifier une régression linéaire simple avec une estimation MLE...
Lors de la régression, si nous nous appuyons sur la définition de: Quelle est la différence entre une vraisemblance partielle, une vraisemblance de profil et une vraisemblance marginale? cela, Maximum de vraisemblance Trouvez β et θ qui maximise L (données β, θ |). Tandis que, vraisemblance...
Étant donné un ensemble de données avec des résultats binaires y∈{0,1}ny∈{0,1}ny\in\{0,1\}^n et une matrice prédictive X∈Rn×pX∈Rn×pX\in\mathbb{R}^{n\times p} , le modèle de régression logistique standard estime les coefficients βMLEβMLE\beta_{MLE} qui maximisent la vraisemblance binomiale. Lorsque...
Je vois mentionné à divers endroits que l'ANOVA fait son estimation en utilisant la méthode des moments. Je suis confus par cette affirmation parce que, même si je ne suis pas familier avec la méthode des moments, ma compréhension est que c'est quelque chose de différent et non équivalent à la...
Disons que j'ai un problème de sélection de modèle et j'essaie d'utiliser AIC ou BIC pour évaluer les modèles. C'est simple pour les modèles qui ont un certain nombre kkk de paramètres à valeur réelle. Cependant, que se passe-t-il si l'un de nos modèles (par exemple, le modèle Mallows ) a une...
Après centrage, les deux mesures x et −x peuvent être supposées être des observations indépendantes d'une distribution de Cauchy avec fonction de densité de probabilité: f(x:θ)=f(x:θ)=f(x :\theta) = 1π(1+(x−θ)2)1π(1+(x−θ)2)1\over\pi (1+(x-\theta)^2) ,−∞<x<∞,−∞<x<∞, -∞ < x < ∞ Montrer...
Cette question est inspirée de la longue discussion dans les commentaires ici: Comment la régression linéaire utilise-t-elle la distribution normale? Dans le modèle de régression linéaire habituel, pour plus de simplicité, écrit ici avec un seul prédicteur: où les sont des constantes connues et...
Prémisse: cela peut être une question stupide. Je ne connais que les déclarations sur les propriétés asymptotiques MLE, mais je n'ai jamais étudié les preuves. Si je le faisais, je ne poserais peut-être pas ces questions, ou je réaliserais peut-être que ces questions n'ont pas de sens ... alors...
J'ai récemment passé en revue quelques vieux articles de Nancy Reid, Barndorff-Nielsen, Richard Cox et, oui, un petit Ronald Fisher sur le concept de "l'inférence conditionnelle" dans le paradigme fréquentiste, ce qui semble signifier que les inférences sont basées en considérant uniquement les...