Dans l'article intitulé Deep Learning and the Information Bottleneck Principle, les auteurs déclarent dans la section II A) ce qui suit: Les neurones simples ne classent que les entrées séparables linéairement, car ils ne peuvent implémenter que des hyperplans dans leur espace d'entrée . Les...
J'essaie d'appliquer l'idée d'information mutuelle à la sélection des fonctionnalités, comme décrit dans ces notes de cours (à la page 5). Ma plateforme est Matlab. Un problème que je trouve lors du calcul d'informations mutuelles à partir de données empiriques est que le nombre est toujours biaisé...
Dans ce https://cs231n.github.io/neural-networks-case-study/ pourquoi mentionne-t-il "le classificateur Softmax interprète chaque élément de ff comme détenant les probabilités de log (non normalisées) des trois classes." Je comprends pourquoi il n'est pas normalisé mais pas pourquoi il s'agit d'un...
J'ai du mal à construire une intuition sur l'entropie conjointe. = incertitude dans la distribution conjointe ; = incertitude dans ; = incertitude dans .H(X,Y)H(X,Y)H(X,Y)p(x,y)p(x,y)p(x,y)H(X)H(X)H(X)px(x)px(x)p_x(x)H(Y)H(Y)H(Y)py(y)py(y)p_y(y) Si H (X) est élevé, alors la distribution est plus...
Ma question concerne la relation entre l'hypothèse de codage efficace qui est décrite sur la page Wikipedia sur le codage efficace et les algorithmes d'apprentissage des réseaux de neurones. Quelle est la relation entre l'hypothèse de codage efficace et les réseaux de neurones? Existe-t-il des...
Aujourd'hui, j'ai parcouru le livre "Théorie de l'information: une introduction au didacticiel" de James Stone et réfléchi un instant ou deux à l' étendue de l'utilisation de la théorie de l'information en science des données appliquée (si vous n'êtes pas à l'aise avec ce terme encore quelque peu...
J'essaie de comprendre la forme normalisée d'informations mutuelles ponctuelles. npmi=pmi(x,y)log(p(x,y))npmi=pmi(x,y)log(p(x,y))npmi = \frac{pmi(x,y)}{log(p(x,y))} Pourquoi la probabilité log-jointe normalise-t-elle les informations mutuelles ponctuelles entre [-1, 1]? L'information mutuelle point...
Supposons que j'ai un échantillon de fréquences de 4 événements possibles: Event1 - 5 E2 - 1 E3 - 0 E4 - 12 et j'ai les probabilités attendues que mes événements se produisent: p1 - 0.2 p2 - 0.1 p3 - 0.1 p4 - 0.6 Avec la somme des fréquences observées de mes quatre événements (18), je peux calculer...
Dans l'entrée Wikipedia pour le critère d'information Akaike , nous lisons sous Comparaison avec BIC (critère d'information bayésien) que ... AIC / AICc a des avantages théoriques sur BIC ... AIC / AICc est dérivé des principes de l'information; BIC n'est pas ... BIC a un a priori de 1 / R (où R...
Étant donné deux distributions normales bivariées P≡N(μp,Σp)P≡N(μp,Σp)P \equiv \mathcal{N}(\mu_p, \Sigma_p) et Q≡N(μq,Σq)Q≡N(μq,Σq)Q \equiv \mathcal{N}(\mu_q, \Sigma_q), J'essaie de calculer la divergence Jensen-Shannon entre eux, définie (pour le cas discret) comme:...