MLE = Estimation du maximum de vraisemblance MAP = Maximum a posteriori Le MLE est intuitif / naïf en ce qu'il ne commence qu'avec la probabilité d'observation compte tenu du paramètre (c'est-à-dire la fonction de vraisemblance) et essaie de trouver le paramètre le plus conforme à l'observation ....
Prémisse: cela peut être une question stupide. Je ne connais que les déclarations sur les propriétés asymptotiques MLE, mais je n'ai jamais étudié les preuves. Si je le faisais, je ne poserais peut-être pas ces questions, ou je réaliserais peut-être que ces questions n'ont pas de sens ... alors...
En général, il semble que la méthode des moments correspond simplement à la moyenne observée de l'échantillon ou à la variance des moments théoriques pour obtenir des estimations de paramètres. C'est souvent la même chose que MLE pour les familles exponentielles, je suppose. Cependant, il est...
Cette question est motivée par celle-ci . J'ai recherché deux sources et c'est ce que j'ai trouvé. A. van der Vaart, Statistiques asymptotiques: Il est rarement possible de calculer explicitement une vraisemblance de profil, mais son évaluation numérique est souvent réalisable. Ensuite, la...
J'ai un modèle pour prédire une trajectoire (x en fonction du temps) avec plusieurs paramètres. Pour le moment, je calcule l'erreur quadratique moyenne (RMSE) entre la trajectoire prédite et la trajectoire enregistrée expérimentalement. Actuellement, je minimise cette différence (le RMSE) en...
Pour autant que je sache, la différence entre le modèle logistique et le modèle de réponse fractionnaire (frm) est que la variable dépendante (Y) dans laquelle frm est [0,1], mais la logistique est {0, 1}. De plus, frm utilise l'estimateur de quasi-vraisemblance pour déterminer ses paramètres....
Disons que j'ai un problème de sélection de modèle et j'essaie d'utiliser AIC ou BIC pour évaluer les modèles. C'est simple pour les modèles qui ont un certain nombre kkk de paramètres à valeur réelle. Cependant, que se passe-t-il si l'un de nos modèles (par exemple, le modèle Mallows ) a une...
Contexte: J'essaie de suivre l'examen de Princeton de l'estimation MLE pour GLM . Je comprends les bases de l' estimation MLE: likelihood, score, observée et attendue Fisher informationet la Fisher scoringtechnique. Et je sais comment justifier une régression linéaire simple avec une estimation MLE...
Cette question est inspirée de la longue discussion dans les commentaires ici: Comment la régression linéaire utilise-t-elle la distribution normale? Dans le modèle de régression linéaire habituel, pour plus de simplicité, écrit ici avec un seul prédicteur: où les sont des constantes connues et...
1. Le problème J'ai des mesures d'une variable ytyty_t , où t=1,2,..,nt=1,2,..,nt=1,2,..,n , pour lequel j'ai une distribution obtenue via MCMC, qui pour simplifier je suppose que c'est un gaussien de moyenne et de variance .fyt(yt)fyt(yt)f_{y_t}(y_t)μtμt\mu_tσ2tσt2\sigma_t^2 J'ai un modèle...
Je vois mentionné à divers endroits que l'ANOVA fait son estimation en utilisant la méthode des moments. Je suis confus par cette affirmation parce que, même si je ne suis pas familier avec la méthode des moments, ma compréhension est que c'est quelque chose de différent et non équivalent à la...
J'ai récemment passé en revue quelques vieux articles de Nancy Reid, Barndorff-Nielsen, Richard Cox et, oui, un petit Ronald Fisher sur le concept de "l'inférence conditionnelle" dans le paradigme fréquentiste, ce qui semble signifier que les inférences sont basées en considérant uniquement les...
C'est une sorte de pensée étrange que j'ai eue en examinant certaines anciennes statistiques et pour une raison quelconque, je n'arrive pas à penser à la réponse. Un PDF continu nous indique la densité des valeurs d'observation dans une plage donnée. À savoir, si X∼N(μ,σ2)X∼N(μ,σ2)X \sim...
Lors de la régression, si nous nous appuyons sur la définition de: Quelle est la différence entre une vraisemblance partielle, une vraisemblance de profil et une vraisemblance marginale? cela, Maximum de vraisemblance Trouvez β et θ qui maximise L (données β, θ |). Tandis que, vraisemblance...
J'ai écrit du code qui peut effectuer le filtrage de Kalman (en utilisant un certain nombre de filtres de type Kalman différents [Information Filter et al.]) Pour l'analyse linéaire de l'espace d'état gaussien pour un vecteur d'état à n dimensions. Les filtres fonctionnent très bien et j'obtiens...
Étant donné un ensemble de données avec des résultats binaires y∈{0,1}ny∈{0,1}ny\in\{0,1\}^n et une matrice prédictive X∈Rn×pX∈Rn×pX\in\mathbb{R}^{n\times p} , le modèle de régression logistique standard estime les coefficients βMLEβMLE\beta_{MLE} qui maximisent la vraisemblance binomiale. Lorsque...
Quand est-il préférable d'utiliser l'estimation du maximum de vraisemblance au lieu des moindres carrés ordinaires? Quelles sont les forces et les limites de chacune? J'essaie de rassembler des connaissances pratiques sur où les utiliser dans des situations
J'essaie de comprendre la régression logistique de Firth (méthode de gestion de la séparation parfaite / complète ou quasi-complète dans la régression logistique) afin de pouvoir l'expliquer aux autres en termes simplifiés. Quelqu'un a-t-il une explication factice de la modification que...
Après centrage, les deux mesures x et −x peuvent être supposées être des observations indépendantes d'une distribution de Cauchy avec fonction de densité de probabilité: f(x:θ)=f(x:θ)=f(x :\theta) = 1π(1+(x−θ)2)1π(1+(x−θ)2)1\over\pi (1+(x-\theta)^2) ,−∞<x<∞,−∞<x<∞, -∞ < x < ∞ Montrer...
Soit une distribution conjointe de deux variables catégorielles , avec . Supposons que échantillons ont été tirés de cette distribution, mais nous ne recevons que les comptes marginaux, à savoir pour :px,ypx,yp_{x,y}X,YX,YX,Yx,y∈{1,…,K}x,y∈{1,…,K}x,y\in\{1,\ldots,K\}nnnj=1,…,Kj=1,…,Kj=1,\ldots,K...