Pourrait l'information mutuelle sur l'entropie conjointe: 0≤I(X,Y)H(X,Y)≤10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 être défini comme: "La probabilité de transmettre une information de X à Y"? Je suis désolé d'être si naïf, mais je n'ai jamais étudié la théorie de l'information, et...
Je suis intéressé par (Deep) Reinforcement Learning (RL) . Avant de plonger dans ce domaine, dois-je suivre un cours de théorie des jeux (GT) ? Quel est le lien entre GT et RL
Ou quelles conditions le garantissent? En général (et pas seulement les modèles normaux et binomiaux), je suppose que la principale raison qui a brisé cette affirmation est qu'il y a incohérence entre le modèle d'échantillonnage et le précédent, mais quoi d'autre? Je commence par ce sujet, donc...
Dans ma recherche, je suis tombé sur le problème général suivant: j'ai deux distributions et sur le même domaine, et un grand nombre (mais fini) d'échantillons de ces distributions. Les échantillons sont distribués de manière indépendante et identique à partir de l'une de ces deux distributions...
J'essaie d'appliquer l'idée d'information mutuelle à la sélection des fonctionnalités, comme décrit dans ces notes de cours (à la page 5). Ma plateforme est Matlab. Un problème que je trouve lors du calcul d'informations mutuelles à partir de données empiriques est que le nombre est toujours biaisé...
Je suis un peu confus. Quelqu'un peut-il m'expliquer comment calculer des informations mutuelles entre deux termes en se basant sur une matrice terme-document avec une occurrence de terme binaire comme poids?
Considérons un graphique géométrique aléatoire infini dans lequel les emplacements des nœuds suivent un processus de point de Poisson avec une densité et des arêtes sont placées entre les nœuds plus proches que . Par conséquent, la longueur des bords suit le PDF suivant:dρρ\rhoréréd F( l ) = { 2...
Comme le dit le titre, la réduction de dimension perd-elle toujours des informations? Prenons l'exemple de l'ACP. Si les données dont je dispose sont très rares, je suppose qu'un "meilleur encodage" pourrait être trouvé (est-ce lié en quelque sorte au rang des données?), Et rien ne serait...
Dans l'article intitulé Deep Learning and the Information Bottleneck Principle, les auteurs déclarent dans la section II A) ce qui suit: Les neurones simples ne classent que les entrées séparables linéairement, car ils ne peuvent implémenter que des hyperplans dans leur espace d'entrée . Les...
Quelle est une bonne mesure pour évaluer la qualité de l'analyse en composantes principales (ACP)? J'ai effectué cet algorithme sur un ensemble de données. Mon objectif était de réduire le nombre de fonctionnalités (l'information était très redondante). Je sais que le pourcentage de variance...
La statistique du test de Durbin-Watson peut se situer dans une région non concluante, où il n'est pas possible de rejeter ou de rejeter l'hypothèse nulle (dans ce cas, d'autocorrélation nulle). Quels autres tests statistiques peuvent produire des résultats "non concluants"? Y a-t-il une...
J'ai rencontré ces diapositives (diapositives # 16 et # 17) dans l'un des cours en ligne. L'instructeur tentait d'expliquer comment l'estimation maximale postérieure (MAP) est en fait la solution L ( θ ) = I[ θ ≠ θ∗]L(θ)=I[θ≠θ∗]L(\theta) = \mathcal{I}[\theta \ne \theta^{*}] , où θ∗θ∗\theta^{*} est...
J'ai quelques données qui existent sur un graphique . Les sommets appartiennent à l'une des deux classes , et je suis intéressé à former un SVM pour distinguer les deux classes. Un noyau approprié pour cela est le noyau de diffusion , où est le laplacien de et est un paramètre de réglage.G = ( V,...
Un réseau de petit monde est un type de graphe mathématique dans lequel la plupart des nœuds ne sont pas voisins les uns des autres, mais la plupart des nœuds peuvent être atteints les uns des autres par un petit nombre de sauts ou d'étapes. Plus précisément, un réseau de petit monde est défini...
J'ai fait face à une question d'entrevue pour un emploi où l'intervieweur m'a demandé de supposer que votre est très faible (entre 5 et 10%) pour un modèle d'élasticité-prix. Comment résoudriez-vous cette question?R2R2R^2 Je ne pouvais penser à rien d'autre que le fait que je ferai des diagnostics...
Je veux quantifier la relation entre deux variables, A et B, en utilisant des informations mutuelles. Le moyen de le calculer est de regrouper les observations (voir l'exemple de code Python ci-dessous). Cependant, quels facteurs déterminent quel nombre de bacs est raisonnable? J'ai besoin que le...
Je programme et fais du développement piloté par les tests. Après avoir modifié mon code, je lance mes tests. Parfois, ils réussissent et parfois ils échouent. Avant d'exécuter un test, j'écris un nombre de 0,01 à 0,99 pour ma certitude que le test réussira. Je veux savoir si je m'améliore en...
Considérons un graphe aléatoire Erdos-Renyi . L'ensemble des sommets est étiqueté par . L'ensemble des arêtes est construit par un processus aléatoire.G=(V(n),E(p))G=(V(n),E(p))G=(V(n),E(p))nnnVVVV={1,2,…,n}V={1,2,…,n}V = \{1,2,\ldots,n\}EEE Soit une probabilité , puis chaque paire non ordonnée de...
D'accord - mon message d'origine n'a pas réussi à obtenir une réponse; alors, permettez-moi de poser la question différemment. Je commencerai par expliquer ma compréhension de l'estimation d'un point de vue théorique de la décision. Je n'ai aucune formation formelle et cela ne m'étonnerait pas si...
Je viens de lire que vous pouvez désormais acheter un ordinateur quantique (bien qu'il n'y en ait eu qu'un vendu jusqu'à présent!). L'informatique quantique aura-t-elle des applications en statistique? {edit - pour les besoins de la question, supposons que finalement les ordinateurs quantiques...