Questions sur la théorie de l'information, l'entropie et le contenu informationnel de diverses sources
Toutes les chaînes de code Morse sont-elles uniquement déchiffrables? Sans les espaces, ......-...-..---.-----.-..-..-.. pourrait être, Hello Worldmais peut-être que la première lettre est un 5- en fait, cela semble très improbable, une séquence arbitraire de points et de tirets devrait avoir une...
Cette idée m'est venue en tant qu'enfant apprenant à programmer et rencontrant pour la première fois les PRNG. Je ne sais toujours pas à quel point c'est réaliste, mais maintenant, il y a échange de pile. Voici un schéma de 14 ans pour un algorithme de compression incroyable: Prenez un PRNG et...
Selon Wikipedia : L'entropie de Shannon mesure les informations contenues dans un message par opposition à la partie du message qui est déterminée (ou prévisible). Des exemples de ces derniers incluent la redondance dans la structure du langage ou les propriétés statistiques relatives aux...
Disons que je dois simuler la distribution discrète suivante: P( X= k ) = { 12N,1 - 12N,si k = 1si k = 0P(X=k)={12N,if k=11−12N,if k=0 P(X = k) = \begin{cases} \frac{1}{2^N}, & \text{if $k = 1$} \\ 1 - \frac{1}{2^N}, & \text{if $k = 0$} \end{cases} La façon la plus évidente est de dessiner NNN...
J'ai un fichier contenant des nombres binaires ordonnés de à 2 n - 1 :0002n- 12n−12^n - 1 0000000000 0000000001 0000000010 0000000011 0000000100 ... 1111111111 7z n'a pas compressé ce fichier très efficacement (pour n = 20, 22 Mo ont été compressés à 300 Ko). Existe-t-il des algorithmes capables de...
Je lis le livre: " Code: Le langage caché du matériel informatique et des logiciels " et dans le chapitre 2, l'auteur dit: Le code Morse est dit être un code binaire (signifiant littéralement deux par deux) parce que les composants du code ne se composent que de deux choses - un point et un tiret....
J'ai récemment découvert l'article intéressant suivant qui prétend compresser efficacement les ensembles de données aléatoires de toujours plus de 50%, quels que soient le type et le format des données. Fondamentalement, il utilise des nombres premiers pour construire de manière unique une...
En comparant une paire ordonnée (x, y) à une paire non ordonnée {x, y} (ensemble), puis en théorie, la différence n'est que d'un bit, car si x vient en premier ou y nécessite exactement un seul bit pour représenter. Donc, si on nous donne un ensemble {x, y} où x, y sont deux entiers 32 bits...
Pour crypter un message avec une touche à pavé unique vous faites .m1m1m_1kkkEnc(m1,k)=m1⊕kEnc(m1,k)=m1⊕kEnc(m_1,k) = m_1 \oplus k Si vous utilisez le même pour crypter un message différent vous obtenez , et si vous effectuez Xor des deux textes chiffrés, vous obtenez
Vous avez un tableau de éléments distincts. Vous avez accès à un comparateur (une fonction de boîte noire prenant deux éléments et et retournant vrai ssi ) et une source de bits vraiment aléatoire (une fonction de boîte noire ne prenant aucun argument et retournant un bit aléatoire uniformément...
Je lisais sur les algorithmes de compression des données et la limite théorique pour la compression des données. Récemment, j'ai rencontré une méthode de compression appelée "Combinatorial Entropy Encoding", l'idée principale de cette méthode est de coder le fichier comme les caractères présentés...
Spécifier une grille arbitraire 9x9 nécessite de donner la position et la valeur de chaque carré. Un codage naïf pour cela pourrait donner 81 triplets (x, y, valeur), nécessitant 4 bits pour chaque x, y et valeur (1-9 = 9 valeurs = 4 bits) pour un total de 81x4x3 = 972 bits. En numérotant chaque...
Selon Wikipedia : Informellement, du point de vue de la théorie algorithmique de l'information, le contenu informationnel d'une chaîne équivaut à la longueur de la représentation autonome la plus courte possible de cette chaîne. Quelle est la définition rigoureuse informelle analogue des...
Étant donné une chaîne de valeurs AAAAAAAABCAAAAAAAABCAAAAAAAABC , l'entropie de Shannon dans la base de log 222 s'élève à 0.9220.9220.922 . D'après ce que je comprends, dans la base 222 l'entropie de Shannon arrondie est le nombre minimum de bits en binaire pour représenter une seule des...
J'écris actuellement du code pour générer des données binaires. J'ai spécifiquement besoin de générer des nombres 64 bits avec un nombre donné de bits définis; plus précisément, la procédure devrait prendre quelque 0<n<640<n<640 < n < 64 et retourner un nombre pseudo-aléatoire de 64...
Au travail, j'ai été chargé de déduire des informations de type sur un langage dynamique. Je réécris des séquences d'instructions en imbriquéeslet expressions , comme ceci: return x; Z => x var x; Z => let x = undefined in Z x = y; Z => let x = y in Z if x then T else F; Z => if x then...
En essayant de comprendre les relations entre le codage Huffman, le codage arithmétique et le codage par plage, j'ai commencé à penser que les défauts du codage Huffman étaient liés au problème de la compression fractionnaire des bits . Autrement dit, supposons que vous ayez 240 valeurs possibles...
Dans la théorie du codage, «la qualité d'un code» signifie combien d'erreurs de canal peuvent être corrigées, ou mieux, le niveau de bruit maximal auquel le code peut faire face. Afin d'obtenir de meilleurs codes, les codes sont conçus à l'aide d'un grand alphabet (plutôt que binaire). Et puis, le...
L'exigence que le codage soit exempt de préfixe se traduit par de grands arbres car l'arbre doit être complet. Existe-t-il un seuil où le stockage de données non codé de longueur fixe serait plus efficace que le codage des
Le problème est de prouver ou de réfuter l'existence de CCC , st, ; ; . ( signifie hamming distance)| c | = 6 , ∀ c ∈ C|c|=6,∀c∈C|c| = 6,\forall c\in C| C| =32|C|=32|C| = 32ré( cje, cj) ≥ 2 , 1 ≤ i < j ≤ 32d(ci,cj)≥2,1≤i<j≤32d(c_i,c_j)\geq2,1\leq