Je ne suis pas à l'aise avec les informations de Fisher, ce qu'elles mesurent et en quoi elles sont utiles. De plus, sa relation avec la borne Cramer-Rao ne m'est pas apparente. Quelqu'un peut-il s'il vous plaît donner une explication intuitive de ces
Ok, c'est une question assez fondamentale, mais je suis un peu confus. Dans ma thèse j'écris: Les erreurs types peuvent être trouvées en calculant l'inverse de la racine carrée des éléments diagonaux de la matrice (observée) de Fisher Information:
Je veux mesurer l'entropie / densité d'information / ressemblance-motif d'une matrice binaire à deux dimensions. Permettez-moi de montrer quelques images pour clarification: Cet affichage devrait avoir une entropie assez élevée: UNE) Cela devrait avoir une entropie moyenne: B) Enfin, ces images...
Pourquoi et quand utiliser les informations mutuelles sur des mesures de corrélation statistique telles que "Pearson", "spearman" ou "Kendall's
Si l’intérêt consiste simplement à estimer les paramètres d’un modèle (estimation ponctuelle et / ou par intervalle) et que les informations préalables ne sont pas fiables, faibles (je sais que cela est un peu vague, mais j’essaie d’établir un scénario où a priori est difficile) ... Pourquoi...
Supposons que nous ayons une variable aléatoire . Si était le vrai paramètre, la fonction de vraisemblance devrait être maximisée et la dérivée égale à zéro. C'est le principe de base de l'estimateur du maximum de vraisemblance.X∼f(x|θ)X∼f(x|θ)X \sim f(x|\theta)θ0θ0\theta_0 Si je comprends bien,...
Plus récemment, j'ai lu deux articles. Le premier concerne l'historique de la corrélation et le second concerne la nouvelle méthode appelée coefficient d'information maximal (MIC). J'ai besoin de votre aide pour comprendre la méthode MIC pour estimer les corrélations non linéaires entre les...
Quelqu'un peut-il prouver le lien suivant entre la métrique d'information de Fisher et l'entropie relative (ou divergence KL) d'une manière purement mathématique rigoureuse? D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(∥da∥3)D(p(⋅,a+da)∥p(⋅,a))=12gi,jdaidaj+(O(‖da‖3)D( p(\cdot , a+da) \parallel p(\cdot,a) )...
Compte tenu du modèle hiérarchique suivant, et, μ ~ L a p l a c e ( 0 , c ) où N ( ⋅ , ⋅ ) est une distribution normale. Existe-t-il un moyen d'obtenir une expression exacte pour les informations de Fisher de la distribution marginale de X étant donné c . Autrement dit, quelle est l'information de...
Supposons que j'ai deux ensembles XXX et YYY et une distribution de probabilité conjointe sur ces ensembles p(x,y)p(x,y)p(x,y) . Soit p(x)p(x)p(x) et p(y)p(y)p(y) les distributions marginales sur XXX et YYY respectivement. Les informations mutuelles entre XXX et YYY sont définies comme suit:...
Soit . La matrice d'informations de Fisher est définie comme suit:θ∈Rnθ∈Rn\theta \in R^{n} I(θ)i,j=−E[∂2log(f(X|θ))∂θi∂θj∣∣∣θ]I(θ)i,j=−E[∂2log(f(X|θ))∂θi∂θj|θ]I(\theta)_{i,j} = -E\left[\frac{\partial^{2} \log(f(X|\theta))}{\partial \theta_{i} \partial \theta_{j}}\bigg|\theta\right] Comment puis-je...
Je republie une "réponse" à une question que j'avais posée il y a environ deux semaines: Pourquoi le Jeffreys est-il utile avant? C'était vraiment une question (et je n'avais pas non plus le droit de poster des commentaires à l'époque), donc j'espère que c'est OK de le faire: Dans le lien...
Dans le cadre du maximum de vraisemblance standard (iid échantillon d'une certaine distribution de densité f y ( y | θ 0 )) et dans le cas d'un modèle correctement spécifié, les informations de Fisher sont données parY1,…,YnY1,…,YnY_{1}, \ldots, Y_{n}fy(y|θ0fy(y|θ0f_{y}(y|\theta_{0}...
J'essaie de prouver que la matrice d'information observée évaluée à l'estimateur du maximum de vraisemblance faiblement cohérent (MLE) est un estimateur faiblement cohérent de la matrice d'information attendue. C'est un résultat largement cité mais personne ne donne de référence ou de preuve (j'ai...
Je travaille avec l'information mutuelle depuis un certain temps. Mais j'ai trouvé une mesure très récente dans le "monde de corrélation" qui peut également être utilisée pour mesurer l'indépendance de distribution, la soi-disant "corrélation de distance" (également appelée corrélation brownienne):...
ma question s'applique particulièrement à la reconstruction du
Les tests de permutation (également appelés test de randomisation, test de re-randomisation ou test exact) sont très utiles et s'avèrent utiles lorsque l'hypothèse de distribution normale requise par exemple t-testn'est pas remplie et lorsque la transformation des valeurs par classement des un test...
En regardant les vecteurs propres de la matrice de covariance, nous obtenons les directions de variance maximale (le premier vecteur propre est la direction dans laquelle les données varient le plus, etc.); c'est ce qu'on appelle l'analyse en composantes principales (ACP). Je me demandais ce que...
Différents manuels citent différentes conditions d'existence d'une matrice d'information de Fisher. Plusieurs de ces conditions sont énumérées ci-dessous, chacune d'entre elles apparaissant dans certaines, mais pas toutes, des définitions de «matrice d'information de Fisher». Existe-t-il un...
Quant au titre, l'idée est d'utiliser des informations mutuelles, ici et après MI, pour estimer la "corrélation" (définie comme "tout ce que je sais sur A quand je connais B") entre une variable continue et une variable catégorielle. Je vais vous dire mes réflexions sur la question dans un instant,...