Les modèles de mélange gaussiens (GMM) sont attrayants car ils sont simples à utiliser à la fois en analyse et en pratique, et sont capables de modéliser certaines distributions exotiques sans trop de complexité. Il y a quelques propriétés analytiques que nous devrions nous attendre à conserver qui...
L'entropie différentielle du RV gaussien est . Cela dépend de , qui est l'écart-type.log2(σ2πe−−−√)log2(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Si nous normalisons la variable aléatoire pour qu'elle ait une variance unitaire, son entropie différentielle diminue. Pour moi, cela est...
J'ai travaillé sur l'échantillonnage d'importance assez étroitement au cours de la dernière année et j'ai quelques questions ouvertes que j'espérais obtenir de l'aide. D'après mon expérience pratique des schémas d'échantillonnage d'importance, ils peuvent occasionnellement produire des estimations...
Quant au titre, l'idée est d'utiliser des informations mutuelles, ici et après MI, pour estimer la "corrélation" (définie comme "tout ce que je sais sur A quand je connais B") entre une variable continue et une variable catégorielle. Je vais vous dire mes réflexions sur la question dans un instant,...
J'essaie d'obtenir ma tête autour de la preuve suivante que le gaussien a l'entropie maximale. En quoi l'étape suivie est-elle logique? Une covariance spécifique ne fixe que le deuxième moment. Qu'arrive-t-il aux troisième, quatrième, cinquième moments, etc.?
La quantité est-elle utile ∫f(x)2dx∫f(x)2dx \int f(x)^2 dx en statistique ou en théorie de
Remarque: cette question est une rediffusion, car ma question précédente a dû être supprimée pour des raisons juridiques. En comparant PROC MIXED de SAS avec la fonction lmedu nlmepackage dans R, je suis tombé sur des différences assez confuses. Plus précisément, les degrés de liberté dans les...
À partir de Wikipedia, il existe une définition du critère d'information d'Akaike (AIC) comme , où est le nombre de paramètres et est la log-vraisemblance du modèle.k log LAIC=2k−2logLAIC=2k−2logL AIC = 2k -2 \log L kkklogLlogL\log L Cependant, notre économétrie note dans une université bien...
Je voudrais calculer la divergence jensen-shannon pour il suivant 3 distributions. Le calcul ci-dessous est-il correct? (J'ai suivi la formule JSD de wikipedia ): P1 a:1/2 b:1/2 c:0 P2 a:0 b:1/10 c:9/10 P3 a:1/3 b:1/3 c:1/3 All distributions have equal weights, ie 1/3. JSD(P1, P2, P3) = H[(1/6,...
(J'ai posté une question similaire sur math.se. ) En géométrie de l'information, le déterminant de la matrice d'information de Fisher est une forme volumique naturelle sur une variété statistique, donc elle a une belle interprétation géométrique. Le fait qu'il apparaisse dans la définition d'un a...
J'ai écrit un programme pour simuler un pronation aléatoire de la carte. Chaque carte est numérotée, avec une couleur allant de CLUBS, DIAMONDS, HEARTS, SPADESet allant de deux à dix, puis Jack, Queen, King et Ace. Ainsi, les deux clubs ont un nombre de 1, les trois clubs un 2 .... L'as des clubs...
La forme la plus simple de la théorie de l'information CLT est la suivante: Soit iid avec la moyenne et la variance . Soit la densité de la somme normalisée et la densité gaussienne standard. Alors la théorie de l'information CLT déclare que, si est fini pour certains n , alors D (f_n \ | \ phi) \...
J'ai un doute très basique. Désolé si cela dérange peu. Je sais que la valeur des informations mutuelles doit être supérieure à 0, mais doit-elle être inférieure à 1? Est-il limité par une valeur supérieure? Merci,
Pourrait l'information mutuelle sur l'entropie conjointe: 0≤I(X,Y)H(X,Y)≤10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 être défini comme: "La probabilité de transmettre une information de X à Y"? Je suis désolé d'être si naïf, mais je n'ai jamais étudié la théorie de l'information, et...
Dans ma recherche, je suis tombé sur le problème général suivant: j'ai deux distributions et sur le même domaine, et un grand nombre (mais fini) d'échantillons de ces distributions. Les échantillons sont distribués de manière indépendante et identique à partir de l'une de ces deux distributions...
Je veux quantifier la relation entre deux variables, A et B, en utilisant des informations mutuelles. Le moyen de le calculer est de regrouper les observations (voir l'exemple de code Python ci-dessous). Cependant, quels facteurs déterminent quel nombre de bacs est raisonnable? J'ai besoin que le...
Quelle est une bonne mesure pour évaluer la qualité de l'analyse en composantes principales (ACP)? J'ai effectué cet algorithme sur un ensemble de données. Mon objectif était de réduire le nombre de fonctionnalités (l'information était très redondante). Je sais que le pourcentage de variance...
J'essaie d'appliquer l'idée d'information mutuelle à la sélection des fonctionnalités, comme décrit dans ces notes de cours (à la page 5). Ma plateforme est Matlab. Un problème que je trouve lors du calcul d'informations mutuelles à partir de données empiriques est que le nombre est toujours biaisé...
Ou quelles conditions le garantissent? En général (et pas seulement les modèles normaux et binomiaux), je suppose que la principale raison qui a brisé cette affirmation est qu'il y a incohérence entre le modèle d'échantillonnage et le précédent, mais quoi d'autre? Je commence par ce sujet, donc...
Je suis un peu confus. Quelqu'un peut-il m'expliquer comment calculer des informations mutuelles entre deux termes en se basant sur une matrice terme-document avec une occurrence de terme binaire comme poids?