Existe-t-il une interprétation bayésienne, ML ou MDL connue de la validation croisée? Puis-je interpréter la validation croisée comme effectuant la bonne mise à jour sur une version antérieure spécialement
Mes vraies questions se trouvent dans les deux derniers paragraphes, mais pour les motiver: Si j'essaie d'estimer la moyenne d'une variable aléatoire qui suit une distribution normale avec une variance connue, j'ai lu que le fait de mettre un uniforme avant sur la moyenne donne une distribution...
Le titre dit tout. Je comprends que les moindres carrés et le maximum de vraisemblance donneront le même résultat pour les coefficients de régression si les erreurs du modèle sont normalement distribuées. Mais que se passe-t-il si les erreurs ne sont pas normalement distribuées? Pourquoi les deux...
J'ai rencontré un problème dans les manuels pour estimer la moyenne. Le problème des manuels est le suivant: On suppose que points de données, , ,. . . , , ont été générés par un pdf gaussien unidimensionnel de moyenne inconnue, mais de variance connue. Dériver l'estimation ML de la...
J'essaie de planifier un plan d'étude pour apprendre le MLE. Pour ce faire, j'essaie de déterminer quel est le niveau minimum de calcul nécessaire pour comprendre le MLE. Est-il suffisant de comprendre les bases du calcul (c'est-à-dire trouver le minimum et le maximum de fonctions) pour comprendre...
Considérons un modèle AR ( ) (en supposant une moyenne nulle pour la simplicité):ppp Xt= φ1Xt - 1+ … + ΦpXt - p+ εtXt=φ1Xt-1+…+φpXt-p+εt x_t = \varphi_1 x_{t-1} + \dotsc + \varphi_p x_{t-p} + \varepsilon_t L'estimateur OLS (équivalent à l' estimateur du maximum de vraisemblance conditionnel ) pour...
En général, nous maximisons une fonction L ( θ ;X1, … ,Xn) =∏i = 1nF(Xje∣ θ )L(θ;x1,…,xn)=∏i=1nf(xi∣θ) L(\theta; x_1, \ldots, x_n) = \prod_{i=1}^n f(x_i \mid \theta) où est la fonction de densité de probabilité si la distribution sous-jacente est continue, et une fonction de masse de probabilité...
Propriété d'invariance de MLE: si est le MLE de , alors pour toute fonction , le MLE de est . θ^θ^\hat{\theta}θθ\thetaf(θ)f(θ)f(\theta)f(θ)f(θ)f(\theta)f(θ^)f(θ^)f(\hat{\theta}) De plus, doit être une fonction biunivoque.fff Le livre dit: "Par exemple, pour estimer , le carré d'une moyenne normale,...
Je lisais le livre The Identification Problem in Econometrics de Franklin M. Fisher, et j'étais confus par la partie qu'il démontrait l'identification en visualisant la fonction de vraisemblance. Le problème pourrait être simplifié comme suit: Pour une régression , où u ∼ i . i . d . N ( 0 , σ 2 I...
Quelles sont les estimations des paramètres de formule pour le skew-normal? Si vous le pouvez, la dérivation via MLE ou Mom serait également très bien. Merci Modifier . J'ai un ensemble de données pour lesquelles je peux voir visuellement par des tracés est légèrement biaisé vers la gauche. Je veux...
Récemment, j'ai pris conscience des méthodes «sans vraisemblance» utilisées dans la littérature. Cependant, je ne sais pas exactement ce que signifie qu'une méthode d'inférence ou d'optimisation est sans vraisemblance . Dans l'apprentissage automatique, l'objectif est généralement de maximiser la...
J'ai une fonction de vraisemblance pour la probabilité de mes données étant donné certains paramètres du modèle , que je voudrais estimer. En supposant des a priori plats sur les paramètres, la probabilité est proportionnelle à la probabilité postérieure. J'utilise une méthode MCMC pour...
Je lis le document de théorie de Doug Bates sur le package lme4 de R pour mieux comprendre les moindres détails des modèles mixtes, et suis tombé sur un résultat intrigant que j'aimerais mieux comprendre, à propos de l'utilisation du maximum de vraisemblance restreint (REML) pour estimer la...
Mathématiquement, on voit souvent que les expressions et les algorithmes pour la maximisation des attentes (EM) sont souvent plus simples pour les modèles mixtes, mais il semble que presque tout (sinon tout) qui peut être résolu avec EM peut également être résolu avec MLE (par, disons, la méthode...
La question est la suivante: Un échantillon aléatoire de n valeurs est collecté à partir d'une distribution binomiale négative avec le paramètre k = 3. Trouvez l'estimateur du maximum de vraisemblance du paramètre π. Trouvez une formule asymptotique pour l'erreur standard de cet estimateur....
Je lis un livre sur la sabermétrie, en particulier les mathématiques de Wayne Winston, et dans le premier chapitre, il présente une quantité qui peut être utilisée pour prédire le taux de victoire des équipes: et il semble laisser entendre qu'au milieu de la saison, il peut être utilisé pour...
Supposons que j'observe iid et que je souhaite tester vech pour a matrice conformable et vecteur . Existe-t-il des travaux connus sur ce problème?xi∼N(μ,Σ)xi∼N(μ,Σ)x_i \sim \mathcal{N}\left(\mu,\Sigma\right)H0:A H0:A H_0: A\ (Σ−1)=a(Σ−1)=a\left(\Sigma^{-1}\right) = aAAAaaa La tentative évidente...
J'aimerais comprendre quelques faits sur les estimateurs du maximum de vraisemblance (MLE) pour les régressions logistiques. Est-il vrai qu'en général, le MLE pour la régression logistique est biaisé? Je dirais "oui". Je sais, par exemple, que la dimension de l'échantillon est liée au biais...
Je travaille sur un ensemble de données. Après avoir utilisé certaines techniques d'identification de modèle, je suis sorti avec un modèle ARIMA (0,2,1). J'ai utilisé la detectIOfonction dans le package TSAen R pour détecter une valeur aberrante innovante (IO) à la 48e observation de mon ensemble...
Je suis intéressé par une bonne référence pour les résultats concernant les propriétés asymptotiques des estimateurs du maximum de vraisemblance. Considérons un modèle où est une densité à dimensions, et est le MLE basé sur un exemple de où est la "vraie" valeur de . Il y a deux irrégularités qui...