Avec un a priori plat, les estimateurs ML (fréquentiste - maximum de vraisemblance) et MAP (bayésien - maximum a posteriori) coïncident. Plus généralement, cependant, je parle d'estimateurs ponctuels dérivés comme optimiseurs d'une fonction de perte. C'est à dire (Bayésien) x...
Quelles approches théoriques de la causalité devrais-je connaître en tant que statisticien / économètre appliqué? Je connais le (un tout petit peu) Modèle causal de Neyman – Rubin (et Roy , Haavelmo etc.) Le travail de Pearl sur la causalité Causalité de Granger (bien que moins axée sur le...
Existe-t-il de bons livres qui expliquent des concepts importants de la théorie des probabilités comme les fonctions de distribution de probabilité et les fonctions de distribution cumulative? S'il vous plaît, évitez de vous référer à des livres comme "Statistiques mathématiques et analyse des...
J'ai rencontré quelques moyens de base pour mesurer la complexité des réseaux de neurones: Naïf et informel: comptez le nombre de neurones, de neurones cachés, de couches ou de couches cachées Dimension VC (Eduardo D. Sontag [1998] "Dimension VC des réseaux de neurones" [ pdf ].) Une mesure de la...
Cette question a été inspirée par deux interactions récentes que j'ai eues, l'une ici dans CV , l'autre sur economics.se. Là, j'avais posté une réponse au fameux "paradoxe de l'enveloppe" (rappelez-vous, non pas comme la "bonne réponse" mais comme la réponse découlant d'hypothèses spécifiques sur...
J'ai récemment lu cet article sur l'entropie d'une distribution de probabilité discrète. Il décrit une belle façon de penser à l'entropie comme les bits numériques attendus (au moins lors de l'utilisation de log2log2\log_2 dans votre définition d'entropie) nécessaires pour coder un message lorsque...
Les tests de permutation (également appelés test de randomisation, test de re-randomisation ou test exact) sont très utiles et s'avèrent utiles lorsque l'hypothèse de distribution normale requise par exemple t-testn'est pas remplie et lorsque la transformation des valeurs par classement des un test...
Je pensais que le concept d'ensemble typique était assez intuitif: une séquence de longueur nnn appartiendrait à l'ensemble typique si la probabilité de sortie de la séquence était élevée. Donc, toute séquence qui serait probable serait dans . (J'évite la définition formelle liée à l'entropie parce...
Cette question donne une définition quantitative de l'entropie croisée, en termes de formule. Je cherche une définition plus théorique, wikipedia dit: En théorie de l'information, l'entropie croisée entre deux distributions de probabilité mesure le nombre moyen de bits nécessaires pour identifier...
J'ai essayé de calculer l'AIC d'une régression linéaire dans R mais sans utiliser la AICfonction, comme ceci: lm_mtcars <- lm(mpg ~ drat, mtcars) nrow(mtcars)*(log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))+(length(lm_mtcars$coefficients)*2) [1] 97.98786 Cependant, AICdonne une valeur...
Considérons la solution de Jaynes au paradoxe de Bertrand en utilisant le principe d'indifférence . Pourquoi un argument similaire ne s'applique-t-il pas au paradoxe Borel-Kolmogorov ? Y a-t-il quelque chose de mal à faire valoir que, puisque le problème ne spécifie pas une orientation pour la...
Sans citer de sources, Wikipedia définit l'entropie croisée des distributions discrètes et Q commePPPQQQ H×( P; Q )= - ∑Xp ( x )Journalq( x ) .H×(P;Q)=-∑Xp(X)Journalq(X).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Qui a été le premier à commencer à utiliser...
Pour une variable aléatoire continue arbitraire, disons , son entropie différentielle est-elle toujours inférieure à ∞ ? (C'est ok si c'est - ∞ .) Sinon, quelle est la condition nécessaire et suffisante pour qu'elle soit inférieure à ∞
Les modèles de mélange gaussiens (GMM) sont attrayants car ils sont simples à utiliser à la fois en analyse et en pratique, et sont capables de modéliser certaines distributions exotiques sans trop de complexité. Il y a quelques propriétés analytiques que nous devrions nous attendre à conserver qui...
Imaginez la configuration suivante: vous avez 2 pièces, la pièce A qui est garantie d'être juste et la pièce B qui peut ou non être juste. On vous demande de faire 100 lancers de pièces, et votre objectif est de maximiser le nombre de têtes . Votre information préalable sur la pièce B est qu'elle a...
Contexte : Je veux tracer une ligne dans un nuage de points qui n'apparaît pas paramétrique, donc j'utilise geom_smooth()in ggplotin R. Il retourne automatiquement geom_smooth: method="auto" and size of largest group is >=1000, so using gam with formula: y ~ s(x, bs = "cs"). Use 'method = x' to...
Quant au titre, l'idée est d'utiliser des informations mutuelles, ici et après MI, pour estimer la "corrélation" (définie comme "tout ce que je sais sur A quand je connais B") entre une variable continue et une variable catégorielle. Je vais vous dire mes réflexions sur la question dans un instant,...
L'entropie différentielle du RV gaussien est . Cela dépend de , qui est l'écart-type.log2(σ2πe−−−√)log2(σ2πe)\log_2(\sigma \sqrt{2\pi e})σσ\sigma Si nous normalisons la variable aléatoire pour qu'elle ait une variance unitaire, son entropie différentielle diminue. Pour moi, cela est...
J'essaie d'obtenir ma tête autour de la preuve suivante que le gaussien a l'entropie maximale. En quoi l'étape suivie est-elle logique? Une covariance spécifique ne fixe que le deuxième moment. Qu'arrive-t-il aux troisième, quatrième, cinquième moments, etc.?
J'ai travaillé sur l'échantillonnage d'importance assez étroitement au cours de la dernière année et j'ai quelques questions ouvertes que j'espérais obtenir de l'aide. D'après mon expérience pratique des schémas d'échantillonnage d'importance, ils peuvent occasionnellement produire des estimations...