Questions marquées «information-theory»

Branche de mathématiques / statistiques utilisée pour déterminer la capacité de transport d'informations d'un canal, qu'il soit utilisé pour la communication ou défini dans un sens abstrait. L'entropie est l'une des mesures par lesquelles les théoriciens de l'information peuvent quantifier l'incertitude impliquée dans la prédiction d'une variable aléatoire.

20
Quelles sont les valeurs correctes pour la précision et le rappel dans les cas de bord?

La précision est définie comme: p = true positives / (true positives + false positives) Est - il exact que, true positiveset false positivesapproche 0, la précision approche 1? Même question pour rappel: r = true positives / (true positives + false negatives) J'implémente actuellement un test...

19
Qu'est-ce que l'entropie empirique?

Dans la définition des ensembles communs typiques (dans "Elements of Information Theory", ch. 7.6, p. 195), nous utilisons −1nlogp(xn)−1nlog⁡p(xn)-\frac{1}{n} \log{p(x^n)} comme entropie empirique d'une séquence avec . Je n'ai jamais rencontré cette terminologie auparavant. Il n'est défini...

15
Comment interpréter l'entropie différentielle?

J'ai récemment lu cet article sur l'entropie d'une distribution de probabilité discrète. Il décrit une belle façon de penser à l'entropie comme les bits numériques attendus (au moins lors de l'utilisation de log2log2\log_2 dans votre définition d'entropie) nécessaires pour coder un message lorsque...

15
Définition et origine de «l'entropie croisée»

Sans citer de sources, Wikipedia définit l'entropie croisée des distributions discrètes et Q commePPPQQQ H×( P; Q )= - ∑Xp ( x )Journalq( x ) .H×(P;Q)=-∑Xp(X)Journal⁡q(X).\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align} Qui a été le premier à commencer à utiliser...

15
Concept d'ensemble typique

Je pensais que le concept d'ensemble typique était assez intuitif: une séquence de longueur nnn appartiendrait à l'ensemble typique si la probabilité de sortie de la séquence était élevée. Donc, toute séquence qui serait probable serait dans . (J'évite la définition formelle liée à l'entropie parce...

15
Qualitativement ce qui est entropie croisée

Cette question donne une définition quantitative de l'entropie croisée, en termes de formule. Je cherche une définition plus théorique, wikipedia dit: En théorie de l'information, l'entropie croisée entre deux distributions de probabilité mesure le nombre moyen de bits nécessaires pour identifier...

15
Calcul de l'AIC «à la main» dans R

J'ai essayé de calculer l'AIC d'une régression linéaire dans R mais sans utiliser la AICfonction, comme ceci: lm_mtcars <- lm(mpg ~ drat, mtcars) nrow(mtcars)*(log((sum(lm_mtcars$residuals^2)/nrow(mtcars))))+(length(lm_mtcars$coefficients)*2) [1] 97.98786 Cependant, AICdonne une valeur...

15
Quelle est l'intuition derrière les échantillons échangeables sous l'hypothèse nulle?

Les tests de permutation (également appelés test de randomisation, test de re-randomisation ou test exact) sont très utiles et s'avèrent utiles lorsque l'hypothèse de distribution normale requise par exemple t-testn'est pas remplie et lorsque la transformation des valeurs par classement des un test...