Les informations de Fisher mesurent la courbure de la log-vraisemblance et peuvent être utilisées pour évaluer l'efficacité des estimateurs.
Je ne suis pas à l'aise avec les informations de Fisher, ce qu'elles mesurent et en quoi elles sont utiles. De plus, sa relation avec la borne Cramer-Rao ne m'est pas apparente. Quelqu'un peut-il s'il vous plaît donner une explication intuitive de ces
Ok, c'est une question assez fondamentale, mais je suis un peu confus. Dans ma thèse j'écris: Les erreurs types peuvent être trouvées en calculant l'inverse de la racine carrée des éléments diagonaux de la matrice (observée) de Fisher Information:
Supposons que nous ayons une variable aléatoire . Si était le vrai paramètre, la fonction de vraisemblance devrait être maximisée et la dérivée égale à zéro. C'est le principe de base de l'estimateur du maximum de vraisemblance.X∼f(x|θ)X∼f(x|θ)X \sim f(x|\theta)θ0θ0\theta_0 Si je comprends bien,...
Quelqu'un peut-il prouver le lien suivant entre la métrique d'information de Fisher et l'entropie relative (ou divergence KL) d'une manière purement mathématique rigoureuse? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) )...
Compte tenu du modèle hiérarchique suivant, et, μ ~ L a p l a c e ( 0 , c ) où N ( ⋅ , ⋅ ) est une distribution normale. Existe-t-il un moyen d'obtenir une expression exacte pour les informations de Fisher de la distribution marginale de X étant donné c . Autrement dit, quelle est l'information de...
Soit . La matrice d'informations de Fisher est définie comme suit:θ∈Rnθ∈Rn\theta \in R^{n} I(θ)i,j=−E[∂2log(f(X|θ))∂θi∂θj∣∣∣θ]I(θ)i,j=−E[∂2log(f(X|θ))∂θi∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] Comment puis-je...
Dans le cadre du maximum de vraisemblance standard (iid échantillon d'une certaine distribution de densité f y ( y | θ 0 )) et dans le cas d'un modèle correctement spécifié, les informations de Fisher sont données parY1,…,YnY1,…,YnY_{1}, \ldots, Y_{n}fy(y|θ0fy(y|θ0f_{y}(y|\theta_{0}...
Je republie une "réponse" à une question que j'avais posée il y a environ deux semaines: Pourquoi le Jeffreys est-il utile avant? C'était vraiment une question (et je n'avais pas non plus le droit de poster des commentaires à l'époque), donc j'espère que c'est OK de le faire: Dans le lien...
J'essaie de prouver que la matrice d'information observée évaluée à l'estimateur du maximum de vraisemblance faiblement cohérent (MLE) est un estimateur faiblement cohérent de la matrice d'information attendue. C'est un résultat largement cité mais personne ne donne de référence ou de preuve (j'ai...
Les tests de permutation (également appelés test de randomisation, test de re-randomisation ou test exact) sont très utiles et s'avèrent utiles lorsque l'hypothèse de distribution normale requise par exemple t-testn'est pas remplie et lorsque la transformation des valeurs par classement des un test...
Différents manuels citent différentes conditions d'existence d'une matrice d'information de Fisher. Plusieurs de ces conditions sont énumérées ci-dessous, chacune d'entre elles apparaissant dans certaines, mais pas toutes, des définitions de «matrice d'information de Fisher». Existe-t-il un...
(J'ai posté une question similaire sur math.se. ) En géométrie de l'information, le déterminant de la matrice d'information de Fisher est une forme volumique naturelle sur une variété statistique, donc elle a une belle interprétation géométrique. Le fait qu'il apparaisse dans la définition d'un a...
Considérons une variable aléatoire de Bernoulli avec le paramètre (probabilité de succès). La fonction de vraisemblance et les informations de Fisher (une matrice ) sont:θ 1 × 1X∈{0,1}X∈{0,1}X\in\{0,1\}θθ\theta1×11×11 \times 1
D'après "In All Lik vraisemblance: modélisation statistique et inférence utilisant la vraisemblance" de Y. Pawitan, la probabilité d'une re-paramétrisation θ↦g(θ)=ψθ↦g(θ)=ψ\theta\mapsto g(\theta)=\psi est définie comme L∗(ψ)=max{θ:g(θ)=ψ}L(θ)L∗(ψ)=max{θ:g(θ)=ψ}L(θ)...
Exemples: J'ai une phrase dans la description de poste: "Java senior engineer in UK". Je veux utiliser un modèle d'apprentissage profond pour le prédire en 2 catégories: English et IT jobs. Si j'utilise un modèle de classification traditionnel, il ne peut prédire qu'une seule étiquette avec...
J'essaie de comprendre la différence entre la Newton-Raphsontechnique et la Fisher scoringtechnique en calculant la première itération pour chaque méthode pour un Bernoulliéchantillon. (Je sais que dans ce cas, je peux calculer explicitement et immédiatement mais je veux le faire de manière...
J'ai du mal à trouver une ressource en ligne qui dérive de la matrice d'informations attendue de Fisher pour la distribution t de Student univariée. Quelqu'un connaît-il une telle ressource? En l'absence de toute ressource existante qui dérive de la matrice d'informations de Fisher attendue pour la...