Je viens de couvrir les réseaux de neurones artificiels dans le cours d'apprentissage automatique de Coursera et j'aimerais en savoir plus sur la théorie. Je trouve la motivation qu'ils imitent la biologie quelque peu insatisfaisante. En surface, il semble qu'à chaque niveau, nous remplaçons les...
Quant au titre, l'idée est d'utiliser des informations mutuelles, ici et après MI, pour estimer la "corrélation" (définie comme "tout ce que je sais sur A quand je connais B") entre une variable continue et une variable catégorielle. Je vais vous dire mes réflexions sur la question dans un instant,...
J'essaie d'obtenir ma tête autour de la preuve suivante que le gaussien a l'entropie maximale. En quoi l'étape suivie est-elle logique? Une covariance spécifique ne fixe que le deuxième moment. Qu'arrive-t-il aux troisième, quatrième, cinquième moments, etc.?
Imaginez qu'un chercheur explore un ensemble de données et exécute 1000 régressions différentes et qu'il trouve entre elles une relation intéressante. Imaginez maintenant qu'un autre chercheur avec les mêmes données exécute une seule régression, et il s'avère que c'est le même que l'autre chercheur...
Si nous voulions calculer l'effet causal de sur dans le graphique causal ci-dessous, nous pouvons utiliser à la fois les théorèmes d'ajustement de porte arrière et d'ajustement de porte d'entrée, c'est-à-dire XXXYYYP(y|do(X=x))=∑uP(y|x,u)P(u)P(y|do(X=x))=∑uP(y|x,u)P(u)P(y | \textit{do}(X = x)) =...
Supposons que nous ayons un ensemble (mesurable et convenablement bien comporté) S⊆B⊂RnS⊆B⊂RnS\subseteq B\subset\mathbb R^n , où BBB est compact. De plus, supposons que nous puissions tirer des échantillons de la distribution uniforme sur BBB rapport à la mesure de Lebesgue λ(⋅)λ(⋅)\lambda(\cdot)...
(J'ai posté une question similaire sur math.se. ) En géométrie de l'information, le déterminant de la matrice d'information de Fisher est une forme volumique naturelle sur une variété statistique, donc elle a une belle interprétation géométrique. Le fait qu'il apparaisse dans la définition d'un a...
À partir de Wikipedia, il existe une définition du critère d'information d'Akaike (AIC) comme , où est le nombre de paramètres et est la log-vraisemblance du modèle.k log LAIC=2k−2logLAIC=2k−2logL AIC = 2k -2 \log L kkklogLlogL\log L Cependant, notre économétrie note dans une université bien...
Soit le risque bayésien d'un estimateur par rapport à un antérieur , soit le jeu de tous les a priori sur l'espace des paramètres , et soit le jeu de toutes les règles de décision (éventuellement randomisées).r(π,δ)r(π,δ)r(\pi, \delta)δδ\deltaππ\piΠΠ\PiΘΘ\ThetaΔΔ\Delta L'interprétation statistique...
J'ai du mal à comprendre des statistiques suffisantes et complètes? Soit une statistique suffisante.T= Σ xjeT=ΣXjeT=\Sigma x_i Si avec probabilité 1, pour une fonction g , alors c'est une statistique complète suffisante.E[ g( T) ] = 0E[g(T)]=0E[g(T)]=0ggg mais qu'est ce que ça veut dire? J'ai vu...
Remarque: cette question est une rediffusion, car ma question précédente a dû être supprimée pour des raisons juridiques. En comparant PROC MIXED de SAS avec la fonction lmedu nlmepackage dans R, je suis tombé sur des différences assez confuses. Plus précisément, les degrés de liberté dans les...
Je voudrais calculer la divergence jensen-shannon pour il suivant 3 distributions. Le calcul ci-dessous est-il correct? (J'ai suivi la formule JSD de wikipedia ): P1 a:1/2 b:1/2 c:0 P2 a:0 b:1/10 c:9/10 P3 a:1/3 b:1/3 c:1/3 All distributions have equal weights, ie 1/3. JSD(P1, P2, P3) = H[(1/6,...
Je suis intéressé par (Deep) Reinforcement Learning (RL) . Avant de plonger dans ce domaine, dois-je suivre un cours de théorie des jeux (GT) ? Quel est le lien entre GT et RL
J'ai utilisé la méthode d'extraction de réseau fédérateur décrite dans cet article: http://www.pnas.org/content/106/16/6483.abstract Fondamentalement, les auteurs proposent une méthode basée sur des statistiques qui produit une probabilité, pour chaque bord du graphique, que le bord aurait pu...
J'ai écrit un programme pour simuler un pronation aléatoire de la carte. Chaque carte est numérotée, avec une couleur allant de CLUBS, DIAMONDS, HEARTS, SPADESet allant de deux à dix, puis Jack, Queen, King et Ace. Ainsi, les deux clubs ont un nombre de 1, les trois clubs un 2 .... L'as des clubs...
J'essaie de tracer la frontière de décision d'un algorithme perceptron et je suis vraiment confus à propos de quelques choses. Mes instances d'entrée sont sous la forme , essentiellement une instance d'entrée 2D ( et ) et une valeur cible de classe binaire ( ) [1 ou
La forme la plus simple de la théorie de l'information CLT est la suivante: Soit iid avec la moyenne et la variance . Soit la densité de la somme normalisée et la densité gaussienne standard. Alors la théorie de l'information CLT déclare que, si est fini pour certains n , alors D (f_n \ | \ phi) \...
J'ai un doute très basique. Désolé si cela dérange peu. Je sais que la valeur des informations mutuelles doit être supérieure à 0, mais doit-elle être inférieure à 1? Est-il limité par une valeur supérieure? Merci,
Pourrait l'information mutuelle sur l'entropie conjointe: 0≤I(X,Y)H(X,Y)≤10≤I(X,Y)H(X,Y)≤1 0 \leq \frac{I(X,Y)}{H(X,Y)} \leq 1 être défini comme: "La probabilité de transmettre une information de X à Y"? Je suis désolé d'être si naïf, mais je n'ai jamais étudié la théorie de l'information, et...
Ma coiffeuse Stacey a toujours un visage heureux, mais elle est souvent stressée par la gestion de son temps. Aujourd'hui, Stacey était en retard pour ma nomination et très excusée. Tout en obtenant ma coupe de cheveux, je me suis demandé: combien de temps ses rendez-vous standard devraient-ils...