l'entropie maximale ou maxent est un principe statistique dérivé de la théorie de l'information. On pense que les distributions maximisant l'entropie (sous certaines contraintes) sont «au maximum non informatives» étant donné les contraintes. L'entropie maximale peut être utilisée à des fins multiples, telles que le choix du préalable, le choix du modèle d'échantillonnage ou la conception des expériences.
Je sais que l'entropie est la mesure du caractère aléatoire d'un processus / variable et elle peut être définie comme suit. pour une variable aléatoire X∈X∈X \in set AAA : - H(X)=∑xi∈A−p(xi)log(p(xi))H(X)=∑xi∈A−p(xi)log(p(xi))H(X)= \sum_{x_i \in A} -p(x_i) \log (p(x_i)) . Dans le livre sur...
Dans cet article , la talentueuse chercheuse Cosma Shalizi soutient que pour accepter pleinement une vision bayésienne subjective, il faut également accepter un résultat non physique selon lequel la flèche du temps (donnée par le flux d'entropie) devrait en fait reculer . Il s'agit principalement...
J'ai utilisé le principe de l'entropie maximale pour justifier l'utilisation de plusieurs distributions dans divers contextes; cependant, je n'ai pas encore été en mesure de formuler une interprétation statistique, par opposition à une théorie de l'information, de l'entropie maximale. En d'autres...
J'ai utilisé des distributions log normales comme distributions antérieures pour les paramètres d'échelle (pour les distributions normales, les distributions t, etc.) quand j'ai une idée approximative de ce que l'échelle devrait être, mais je veux me tromper en disant que je ne sais pas beaucoup à...
Pour une variable aléatoire continue arbitraire, disons , son entropie différentielle est-elle toujours inférieure à ∞ ? (C'est ok si c'est - ∞ .) Sinon, quelle est la condition nécessaire et suffisante pour qu'elle soit inférieure à ∞
Quelle est la distribution d'entropie maximale pour une variable continue positive, compte tenu de ses premier et deuxième moments? Par exemple, une distribution gaussienne est la distribution d'entropie maximale pour une variable non bornée, compte tenu de sa moyenne et de l'écart-type, et une...
J'essaie d'obtenir ma tête autour de la preuve suivante que le gaussien a l'entropie maximale. En quoi l'étape suivie est-elle logique? Une covariance spécifique ne fixe que le deuxième moment. Qu'arrive-t-il aux troisième, quatrième, cinquième moments, etc.?
Soit une distribution conjointe de deux variables catégorielles , avec . Supposons que échantillons ont été tirés de cette distribution, mais nous ne recevons que les comptes marginaux, à savoir pour :px,ypx,yp_{x,y}X,YX,YX,Yx,y∈{1,…,K}x,y∈{1,…,K}x,y\in\{1,\ldots,K\}nnnj=1,…,Kj=1,…,Kj=1,\ldots,K...
La question: Bootstrapping est supérieur au jackknifing; cependant, je me demande s'il existe des cas où le jackknifing est la seule ou au moins une option viable pour caractériser l'incertitude à partir des estimations des paramètres. De plus, dans des situations pratiques, dans quelle mesure le...
Je lisais la discussion sur Hacker News à propos de l'utilisation de l'écart-type par opposition à d'autres mesures telles que l'écart absolu moyen. Donc, si nous devions suivre le principe de l'entropie maximale, avec quel type de distribution utiliserions-nous si nous ne connaissions que la...
L'un des problèmes importants auxquels sont confrontés les prévisionnistes est de savoir si la série donnée peut être prévue ou non? Je suis tombé sur un article intitulé " L'entropie comme indicateur a priori de la prévisibilité " de Peter Catt qui utilise l' entropie approximative (ApEn) comme...
Il existe généralement de nombreuses distributions conjointes cohérentes avec un ensemble connu de distributions marginales .P(X1=x1,X2=x2,...,Xn=xn)P(X1=x1,X2=x2,...,Xn=xn)P(X_1 = x_1, X_2 = x_2, ..., X_n = x_n)fi(xi)=P(Xi=xi)fi(xi)=P(Xi=xi)f_i(x_i) = P(X_i = x_i) De ces distributions conjointes,...
Je suis intrigué par le concept d'un modèle de Markov à entropie maximale (MEMM) et je songe à l'utiliser pour un marqueur de partie de la parole (POS). En ce moment, j'utilise un classificateur conventionnel d'entropie maximale (ME) pour baliser chaque mot individuel. Cela utilise un certain...
Petite question: pourquoi est-ce vrai ?? Longue question: Très simplement, j'essaie de comprendre ce qui justifie cette première équation. L'auteur du livre que je lis, (contexte ici si vous le souhaitez, mais pas nécessaire), affirme ce qui suit: En raison de l'hypothèse de quasi-gaussianité, nous...
Supposons que la quantité que nous voulons inférer soit une distribution de probabilité. Tout ce que nous savons, c'est que la distribution provient d'un ensemble déterminé, disons, par certains de ses moments et nous avons un antérieur .EEEQQQ Le principe d'entropie maximale (MEP) dit que le qui a...
J'ai eu récemment une discussion rapide avec un ami bien informé qui a mentionné que les SVM sont la limite de température zéro de la régression logistique. La justification impliquait des polytopes marginaux et la dualité fenchel. Je n'ai pas pu suivre. Cette affirmation selon laquelle les SVM...