Réfutation basée sur l'entropie du paradoxe de la flèche en arrière bayésienne du temps de Shalizi?

31

Dans cet article , la talentueuse chercheuse Cosma Shalizi soutient que pour accepter pleinement une vision bayésienne subjective, il faut également accepter un résultat non physique selon lequel la flèche du temps (donnée par le flux d'entropie) devrait en fait reculer . Il s'agit principalement d'une tentative d'argumenter contre l'entropie maximale / vue bayésienne pleinement subjective avancée et popularisée par ET Jaynes .

Plus à LessWrong , de nombreux collaborateurs sont très intéressés par la théorie des probabilités bayésienne et aussi dans l'approche bayésienne subjective comme base pour les théories de décision formelle et un tremplin vers une forte AI Eliezer Yudkowsky est un contributeur commun en train de lire et j'étais récemment ce poste quand je est tombé sur ce commentaire (plusieurs autres bons commentaires viennent peu de temps après sur la page de l'article d'origine).

Quelqu'un peut-il commenter la validité de la réfutation de Shalizi par Yudkowsky? En bref, l'argument de Yudkowsky est que le mécanisme physique par lequel un agent de raisonnement met à jour ses croyances nécessite un travail et a donc un coût thermodynamique que Shalizi balaie sous le tapis. Dans un autre commentaire, Yudkowsky défend cela, en disant:

"Si vous prenez la perspective d'un observateur parfait logiquement omniscient en dehors du système, la notion d '" entropie "est à peu près dénuée de sens, tout comme la" probabilité "- vous n'avez jamais à utiliser la thermodynamique statistique pour modéliser quoi que ce soit, vous utilisez simplement la précision déterministe équation d'onde. "

Des probabilistes ou des mécaniciens statisticiens peuvent-ils commenter cela? Je ne me soucie pas beaucoup des arguments de l'autorité concernant le statut de Shalizi ou de Yudkowsky, mais j'aimerais vraiment voir un résumé de la façon dont les trois points de Yudkowsky critiquent l'article de Shalizi.

Pour se conformer aux directives de la FAQ et en faire une question à réponse concrète, veuillez noter que je demande une réponse spécifique et détaillée qui prend l'argument en trois étapes de Yudkowsky et indique où dans l'article de Shalizi ces trois étapes réfutent les hypothèses et / ou les dérivations, ou, d'autre part, indique où, dans l'article de Shalizi, les arguments de Yudkowsky sont abordés.

J'ai souvent entendu l'article de Shalizi présenté comme une preuve à toute épreuve que le bayésianisme subjectif à part entière ne peut pas être défendu ... mais après avoir lu l'article de Shalizi plusieurs fois, cela ressemble à un argument de jouet pour moi qui ne pourrait jamais s'appliquer à un observateur interagissant avec tout ce qui est observé (c'est-à-dire toute la physique réelle). Mais Shalizi est un grand chercheur, donc j'accueillerais favorablement les deuxièmes opinions parce qu'il est fort probable que je ne comprenne pas des morceaux importants de ce débat.

ely
la source
10
Shalizi aime être provocateur ... son argument me semble être essentiellement le même que l'argument créationniste selon lequel l'évolution viole la deuxième loi de la thermodynamique parce que les organismes "ultérieurs" sont plus complexes, de manière organisée, que les organismes "antérieurs", mais la deuxième loi dit que l'entropie ne diminue pas. Cependant, 1) il n'y a rien dans la deuxième loi qui empêche les diminutions locales de l'entropie, et 2) l'argument implique que personne ne peut rien apprendre de quoi que ce soit, jamais (pourquoi l'apprentissage via la mise à jour bayésienne devrait-il être différent de tout autre processus d'apprentissage?)
jbowman
4
Je ne me laisserais pas entraîner par un débat entre Shalizi et Yudkowsky; ni une autorité. (Shalizi écrit bien, cependant.) Quoi qu'il en soit, ne pensez-vous pas que physics.se soit un meilleur endroit pour cette question?
Emre
1
Avez-vous lu de nombreux messages de séquence de Yudkowsky? Je pense qu'il écrit assez bien aussi. Ces deux figures ont des positions controversées, mais Shalizi semble vraiment vouloir le bayésianisme subjectif. La raison pour laquelle j'ai demandé ici, c'est parce qu'il est étroitement lié au document de statistiques plus purement théorique que Shalizi a écrit avec Andrew Gelman, qui est également truffé de problèmes philosophiques (bien que Gelman soit un pro absolu en matière de pratique). ( lien )
ely
1
J'ai essayé de mettre cela en équations, mais je n'arrive pas encore à le faire. Je pense que le plus gros problème de Shazili est son hypothèse secondaire sur la section 1, à savoir que vous pouvez simplement mettre à jour le point de phase (aléatoire) utilisant la règle de Bayes. Comme le souligne Yudkowsky, cela néglige le fait que lorsque vous mesurez à nouveau et mettez à jour votre distribution initiale, vous devez additionner VOTRE contribution au système ...X
Néstor
... et cela se présente sous de nombreuses formes: essayer de contrôler votre système (qui est unique à chaque fois, rendant le problème peut-être essentiellement stochastique, auquel cas la notion d'entropie n'aurait pas de sens ... peut-être devrions-nous parler de taux d'entropie?). J'ai essayé de me convaincre que cette contribution peut être modélisée comme une transformation linéaire du vecteur point-phase : cela expliquerait que l'inégalité que Shazili utilise n'est pas valide, car l'entropie résultante aurait un terme supplémentaire (le logarithme du déterminant de la transformation linéaire). X
Néstor

Réponses:

16

En bref: 1: 0 pour Yudkowsky.

Cosma Shalizi considère une distribution de probabilité soumise à certaines mesures. Il met à jour les probabilités en conséquence (ici ce n'est pas important si c'est l'inférence bayensienne ou autre).

Pas étonnant du tout, l'entropie de la distribution de probabilité diminue.

Cependant, il tire une conclusion erronée que cela dit quelque chose sur la flèche du temps:

Ces hypothèses inversent la flèche du temps, c'est-à-dire qu'elles rendent l'entropie non croissante.

Comme il a été souligné dans les commentaires, ce qui compte pour la thermodynamique, c'est l'entropie d'un système fermé . Autrement dit, selon la deuxième loi de la thermodynamique , l'entropie d'un système fermé ne peut pas diminuer. Il ne dit rien sur l'entropie d'un sous-système (ou d'un système ouvert); sinon vous ne pourriez pas utiliser votre réfrigérateur.

Et une fois que nous mesurons qch (c'est-à-dire interagissons et collectons des informations), ce n'est plus un système fermé. Soit nous ne pouvons pas utiliser la deuxième loi, soit - nous devons considérer un système fermé composé du système mesuré et de l'observateur (c'est-à-dire nous-mêmes).

En particulier, lorsque nous mesurons l'état exact d'une particule (alors qu'avant nous connaissions sa distribution), nous diminuons en effet son entropie. Cependant, pour stocker les informations dont nous avons besoin pour augmenter notre entropie au moins du même montant (il y a généralement d'énormes frais généraux).

Eliezer Yudkowsky fait donc un bon point:

1) Les mesures utilisent du travail (ou du moins l'effacement en préparation de la prochaine mesure utilise du travail).

En fait, la remarque sur le travail n'est pas la plus importante ici. Bien que la thermodynamique concerne la relation (ou l'échange) de l'entropie avec l'énergie, vous pouvez vous déplacer (c'est-à-dire que nous n'avons pas besoin de recourir au principe de Landauer , dont Shalizi est sceptique ). Pour rassembler de nouvelles informations, vous devez effacer les informations précédentes.

Pour être cohérent avec la mécanique classique (et quantique également), vous ne pouvez pas créer une fonction mappant arbitrairement quoi que ce soit à tous les zéros (sans effets secondaires). Vous pouvez créer une fonction mappant votre mémoire à zéro , mais en même temps, vider les informations quelque part, ce qui augmente efficacement l'entropie de l'environnement.

(Ce qui précède provient de la dynamique hamiltonienne - c'est-à-dire la préservation de l'espace de phase dans le cas classique, et l'unité de l'évolution dans le cas quantique.)

PS: Une astuce pour aujourd'hui - "réduire l'entropie":

  • Lancez une pièce impartiale, mais ne regardez pas le résultat ( bit).H=1
  • Ouvre tes yeux. Maintenant que vous connaissez son état, son entropie est bits.H=0
Piotr Migdal
la source
1
est-ce tl; dr version correct-ish: "Le papier de Shalizi est juste une reformulation spécialisée du démon de Maxwell"?
Artem Kaznatcheev
@ArtemKaznatcheev Fondamentalement oui. Mais plus dans le goût des systèmes fermés vs ouverts. Mais pour ceux qui n'aiment pas lire, il y a la première ligne;).
Piotr Migdal
J'aime cette réponse, mais j'ai du mal à me réconcilier avec une discussion sur un autre fil. Regardez ce lien et trouvez le fil / réponse lancé par l'utilisateur "pragmatiste". Si vous ajoutez un ou deux paragraphes traitant de cet argument (ou expliquant pourquoi cet argument est valide / en désaccord avec votre réponse ci-dessus), je serai heureux d'accepter.
ely
@EMS Eh bien, "Pourriez-vous commenter une discussion?" n'est pas le mieux adapté pour SE (et en général, il existe de nombreux arguments). De plus, en fait, j'ai justifié la critique de l'article de Shalizi. Y compris aussi la critique d'une critique d'une critique d'un article demande trop. Pourriez-vous être plus précis, c'est-à-dire pointer des points exacts? Cependant: "Quand nous faisons de la mécanique statistique, nous ne sommes généralement pas intéressés par l'entropie du système plus l'observateur" - faux (systèmes ouverts vs fermés), "l'évolution du système ne sera pas unitaire" - vrai, mais même classiquement vous ne pouvez pas diminuer l'entropie totale.
Piotr Migdal
@EMS Le principe d'effacement est plus profond que stat. mech. - comme je l'ai dit, s'il ne satisfait pas, il réfute à la fois la mécanique quantique et la mécanique classique. Et encore une fois: vous ne pouvez pas appliquer des règles pour des systèmes fermés à des systèmes ouverts - donc la plupart des arguments du pragmatique ne sont pas scientifiques (c'est-à-dire en quoi croire ou non) ou ignorent la physique.
Piotr Migdal
4

La faille de Shalizi est très basique et découle de l'hypothèse I, que l'évolution temporelle est inversible (réversible).

L'évolution temporelle des états INDIVIDUELS est réversible. L'évolution temporelle d'une distribution sur TOUT L'ESPACE DE PHASE n'est certainement pas réversible, sauf si le système est en équilibre. L'article traite de l'évolution dans le temps des distributions sur tout l'espace des phases, et non de celui des états individuels, et donc l'hypothèse d'invertibilité est totalement non physique. Dans le cas de l'équilibre, les résultats sont triviaux.

La flèche du temps vient de ce fait, en fait, que l'évolution temporelle des distributions n'est pas réversible (la raison pour laquelle les gradients diminuent et les gaz s'étalent). L'irréversibilité est connue pour émerger de «termes de collision»

Si vous en tenez compte, son argument s'effondre. Entropie de l'information = entropie thermodynamique, encore, pour l'instant. :RÉ

Ethan
la source
1
Parce qu'à un niveau fondamental, QM est déterministe - l'équation de Schrodinger décrit précisément comment un système évolue dans le temps et il n'y a aucune incertitude à ce sujet - et il est linéaire , il semblerait que la réversibilité dans l'évolution des états individuels impliquerait immédiatement une réversibilité dans toute distribution de ces états. J'aimerais donc voir votre justification mathématique de votre affirmation contraire, car elle montrera plus clairement ce que vous supposez maintenant implicitement sur les équations dynamiques.
whuber
Pour une distribution d'équilibre, les choses sont triviales, l'évolution temporelle est réversible. Pour un système dissipatif, où le volume d'espace de phase n'est pas constant, de nombreux états de la distribution initiale peuvent être mappés à un seul état de la distribution finale, ou vice versa (plus réversible). Cela est clair dans le cas, par exemple, de la détente libre d'un gaz idéal. Le mouvement de chaque particule individuelle est clairement réversible, mais l'expansion elle-même ne l'est pas, car elle implique une modification du volume de l'espace des phases. Le gaz ne se «dilate» jamais. Si vous n'êtes toujours pas satisfait, je peux travailler pour vous.
Ethan
Puisque vous accusez Shalizi de se tromper à ce sujet, offrir une sorte de support mathématique objectif serait une bonne idée. Mais attention à ne pas trop vous éloigner de l'objectif de ce site, qui est d'analyser des données, pas de la physique! Néanmoins, l'exemple d'expansion libre ne semble pas concluante pour moi, parce que , dans un (hypothétiquement) univers compact , il semble y avoir pas une telle chose: les gaz se dilate dans un autre endroit.
whuber
Parfois j'oublie sur quel échange de pile je suis. Peut-être que je vais commencer quelque chose là-bas. Mais pour le gaz, le changement d'entropie est TdS = dU + pdV mais dU est nul si nous sommes adiabatiques donc dS = pdV / T. Par la loi du gaz idéal dS = nRdV / V, le passage de v1 à v2 modifie l'entropie de ln (v2 / v1). Fondamentalement, tous les processus macroscopiques spontanés (c'est-à-dire reproductibles) sont irréversibles. Mais peut-être que cela ne dérive pas des principes de base (Boltzmann y a passé sa vie)
Ethan
3

Le document lié suppose explicitement que

L'opérateur d'évolution T est inversible.

Mais si vous utilisez QM de manière conventionnelle, cette hypothèse ne tient pas. Supposons que vous ayez un état X1 qui peut évoluer en X2 ou X3 avec une probabilité égale. Vous diriez que l'état X1 évolue vers l'ensemble pondéré [1/2 X2 + 1/2 X3]. Shalizi prouve que cet ensemble n'a pas plus d'entropie que X1.

Mais nous, en tant qu'observateurs ou en tant que membres de ce système, ne pouvons regarder que l'une des branches, X2 ou X3. Choisir laquelle de ces deux branches nous regardons ajoute un peu de nouvelle entropie, et cette sélection n'est pas inversible. C'est de là que vient l'augmentation de l'entropie avec le temps. Ce que Shalizi a fait, c'est d'utiliser des mathématiques dans lesquelles toute l'entropie provient de la ramification quantique, puis oublier que la ramification quantique se produit.

jimrandomh
la source
2
L'article (comme la deuxième loi) traite des systèmes fermés. La mécanique quantique est complètement réversible sur un système fermé (c'est-à-dire que tous les opérateurs sont unitaires). La seule opération non réversible en mécanique quantique est la mesure; si vous mesurez un système fermé, il n'est plus fermé du point de vue thermodynamique. Si votre observateur est à l'intérieur du système, et mesure un sous-système, alors l'observateur + le sous-système évoluent ensemble ensemble, et ainsi l'opération est inversible (cette astuce est informellement appelée "l'église du plus grand espace Hilbert"). Ainsi, votre argument de "QM" est faux.
Artem Kaznatcheev
1
C'est seulement si vous croyez à l'interprétation de Copenhague (ou à d'autres qui séparent la «mesure» des processus unitaires). De nombreux mondes soutiennent que la mesure n'est que les lois unitaires habituelles et est donc parfaitement réversible; c'est juste un artefact de l'état initial de l'univers qu'il est probablement peu probable de voir son renversement (je ne l'explique peut-être pas très bien, je ne suis pas physicien). En tout cas, je ne suis pas convaincu que cette réponse doive être rétrogradée en raison de cette critique.
ely
1
@EMS Peu importe l'interprétation que vous utilisez, le QM d'un système fermé est réversible. Mais dans le contexte plus large de la question initiale, les détails du répondeur se trompant sur la QM sont sans importance: Shalizi aborde déjà ce point dans la section II.A dans un sens plus général; même une forme correcte de cette réponse ne va pas au-delà du défaut que Shalizi lui-même souligne.
Artem Kaznatcheev
1
Comme mentionné dans un autre fil traitant de cela, cette réponse semble être juste le revers de l'autre réponse donnée: si vous insistez sur l'exigence de système fermé, alors vous devez trouver votre source d'entropie (c'est-à-dire que le "système fermé" de Shalizi doit inclure le personne avec le peu d'entropie pour "arriver à descendre une branche (inconnue) des deux branches". Autrement dit, il semble que cette réponse indique également que le papier de Shalizi est juste une reformulation du démon de Maxwell. Encore une fois, je peux être l'incompréhension due au manque de formation formelle en physique
ely