Après beaucoup de chalutage de Cross Validated, je n'ai toujours pas l'impression d'être plus proche de la compréhension de la divergence KL en dehors du domaine de la théorie de l'information. Il est plutôt étrange que quelqu'un ayant une formation en mathématiques trouve beaucoup plus facile de...
Je vois que les deux fonctions font partie des méthodes d'extraction de données telles que Gradient Dynamiser régresseurs. Je vois que ce sont aussi des objets séparés. Quelle est la relation entre les deux en
La plupart des ressources sur les règles de notation appropriées mentionnent un certain nombre de règles de notation différentes comme la perte de journal, le score de Brier ou la notation sphérique. Cependant, ils ne donnent souvent pas beaucoup d'indications sur les différences entre eux. (Pièce...
Je ne suis pas sûr que le sujet entre dans l'intérêt de CrossValidated. Tu me dira. Je dois étudier un graphique (à partir de la théorie des graphes ) ie. J'ai un certain nombre de points connectés. J'ai une table avec tous les points et les points dont chacun dépend. (J'ai aussi un autre tableau...
J'ai du mal à comprendre le concept d'une variable aléatoire en tant que fonction. Je comprends la mécanique (je pense) mais je ne comprends pas la motivation ... Disons que est un triple de probabilité, où , est l'algèbre de Borel- sur cet intervalle et est la mesure régulière de Lebesgue. Soit...
J'étudie les arbres de classification et de régression, et l'une des mesures pour l'emplacement divisé est le score GINI. Maintenant, je suis habitué à déterminer le meilleur emplacement divisé lorsque le log du rapport de vraisemblance des mêmes données entre deux distributions est nul, ce qui...
Que signifie dire que "la variance est un estimateur biaisé". Que signifie convertir une estimation biaisée en une estimation non biaisée au moyen d'une formule simple. Que fait exactement cette conversion? Aussi, quelle est l'utilité pratique de cette conversion? Convertissez-vous ces scores...
Plus précisément, je recherche des références (articles, livres) qui montreront et expliqueront rigoureusement la malédiction de la dimensionnalité. Cette question s'est posée après que j'ai commencé à lire ce livre blanc de Lafferty et Wasserman. Dans le troisième paragraphe, ils mentionnent une...
Je souhaite en savoir plus sur les techniques bayésiennes non paramétriques (et connexes). J'ai une formation en informatique et bien que je n'aie jamais suivi de cours sur la théorie des mesures ou la théorie des probabilités, j'ai eu une formation limitée en probabilités et statistiques....
Plus récemment, j'ai lu deux articles. Le premier concerne l'historique de la corrélation et le second concerne la nouvelle méthode appelée coefficient d'information maximal (MIC). J'ai besoin de votre aide pour comprendre la méthode MIC pour estimer les corrélations non linéaires entre les...
Je me demandais si quelqu'un sait ou s'il existe une application en statistique dans laquelle une forte cohérence d'un estimateur est requise au lieu d'une faible cohérence. Autrement dit, une cohérence forte est essentielle pour l'application et l'application ne fonctionnerait pas avec une...
(Pour voir pourquoi j'ai écrit ceci, consultez les commentaires ci-dessous ma réponse à cette question .) Erreurs de type III et théorie de la décision statistique Donner la bonne réponse à la mauvaise question est parfois appelé une erreur de type III. La théorie de la décision statistique est une...
La précision est définie comme: p = true positives / (true positives + false positives) Est - il exact que, true positiveset false positivesapproche 0, la précision approche 1? Même question pour rappel: r = true positives / (true positives + false negatives) J'implémente actuellement un test...
Dans la définition des ensembles communs typiques (dans "Elements of Information Theory", ch. 7.6, p. 195), nous utilisons −1nlogp(xn)−1nlogp(xn)-\frac{1}{n} \log{p(x^n)} comme entropie empirique d'une séquence avec . Je n'ai jamais rencontré cette terminologie auparavant. Il n'est défini...
Si je fixe les valeurs des nœuds observés d'un MRF, devient-il un
Question principalement théorique. Existe-t-il des exemples de distributions non normales dont les quatre premiers moments sont égaux à ceux de la normale? Pourraient-ils exister en
Pourquoi la divergence KL n'est-elle pas négative? Du point de vue de la théorie de l'information, j'ai une telle compréhension intuitive: Disons qu'il y a deux ensembles UNEUNEA et BBB qui sont composés du même ensemble d'éléments étiquetés par XXx . p ( x )p(X)p(x) et q( x )q(X)q(x) sont des...
Considérons les deux distributions de probabilité suivantes P Q 0.01 0.002 0.02 0.004 0.03 0.006 0.04 0.008 0.05 0.01 0.06 0.012 0.07 0.014 0.08 0.016 0.64 0.928 J'ai calculé la divergence Kullback-Leibler qui est égale à , je veux savoir en général ce que ce nombre me montre? En général, la...
Supposons que j'ai deux ensembles XXX et YYY et une distribution de probabilité conjointe sur ces ensembles p(x,y)p(x,y)p(x,y) . Soit p(x)p(x)p(x) et p(y)p(y)p(y) les distributions marginales sur XXX et YYY respectivement. Les informations mutuelles entre XXX et YYY sont définies comme suit:...
J'ai lu ce fil et il me semble que l'on peut dire que: statistiques = induction? probabilité = déduction? Mais je me demande s'il pourrait y avoir plus de détails sur la comparaison qui me manque. Par exemple, les statistiques sont-elles égales à l'induction, ou s'agit-il simplement d'un cas...