Cette idée m'est venue en tant qu'enfant apprenant à programmer et rencontrant pour la première fois les PRNG. Je ne sais toujours pas à quel point c'est réaliste, mais maintenant, il y a échange de pile. Voici un schéma de 14 ans pour un algorithme de compression incroyable: Prenez un PRNG et...
Selon Wikipedia : L'entropie de Shannon mesure les informations contenues dans un message par opposition à la partie du message qui est déterminée (ou prévisible). Des exemples de ces derniers incluent la redondance dans la structure du langage ou les propriétés statistiques relatives aux...
Alan Turing a proposé un modèle pour une machine (la Turing Machine, TM) qui calcule (nombres, fonctions, etc.) et a démontré le théorème de Halting . Une MT est un concept abstrait d'une machine (ou d'un moteur si vous le souhaitez). Le théorème de l'arrêt est un résultat impossible. Un moteur...
Disons que je dois simuler la distribution discrète suivante: P( X= k ) = { 12N,1 - 12N,si k = 1si k = 0P(X=k)={12N,if k=11−12N,if k=0 P(X = k) = \begin{cases} \frac{1}{2^N}, & \text{if $k = 1$} \\ 1 - \frac{1}{2^N}, & \text{if $k = 0$} \end{cases} La façon la plus évidente est de dessiner NNN...
Un type a dit ce qui suit: Quiconque tente de générer des nombres aléatoires par des moyens déterministes vit, bien sûr, dans un état de péché. Cela signifie toujours que vous ne pouvez pas générer de vrais nombres aléatoires avec juste un ordinateur. Et il a dit que lorsque les ordinateurs étaient...
Sous Linux, les fichiers /dev/randomet les/dev/urandom fichiers sont les sources bloquantes et non bloquantes (respectivement) d'octets pseudo-aléatoires. Ils peuvent être lus comme des fichiers normaux: $ hexdump /dev/random 0000000 28eb d9e7 44bb 1ac9 d06f b943 f904 8ffa 0000010 5652 1f08 ccb8...
Vous avez un tableau de éléments distincts. Vous avez accès à un comparateur (une fonction de boîte noire prenant deux éléments et et retournant vrai ssi ) et une source de bits vraiment aléatoire (une fonction de boîte noire ne prenant aucun argument et retournant un bit aléatoire uniformément...
Étant donné une chaîne de valeurs AAAAAAAABCAAAAAAAABCAAAAAAAABC , l'entropie de Shannon dans la base de log 222 s'élève à 0.9220.9220.922 . D'après ce que je comprends, dans la base 222 l'entropie de Shannon arrondie est le nombre minimum de bits en binaire pour représenter une seule des...
Au travail, j'ai été chargé de déduire des informations de type sur un langage dynamique. Je réécris des séquences d'instructions en imbriquéeslet expressions , comme ceci: return x; Z => x var x; Z => let x = undefined in Z x = y; Z => let x = y in Z if x then T else F; Z => if x then...
En essayant de comprendre les relations entre le codage Huffman, le codage arithmétique et le codage par plage, j'ai commencé à penser que les défauts du codage Huffman étaient liés au problème de la compression fractionnaire des bits . Autrement dit, supposons que vous ayez 240 valeurs possibles...
J'ai un problème d'optimisation contraint dans l'entropie de la matrice (Shannon) . La matrice peut être écrite comme la somme des matrices de rang 1 de la forme où est un vecteur normalisé donné. Les coefficients des matrices de rang 1 sont les inconnues dans lesquelles nous optimisons et ils...
J'essaie de mesurer maintenant beaucoup d'informations non redondantes (réelles) que contient mon fichier. Certains appellent cela la quantité d'entropie. Bien sûr, il existe le journal standard p (x) {p (x)}, mais je pense que Shannon ne le considérait que du point de vue de la transmission via un...