Dériver P (C | A + B) des deux règles de Cox

9

Je travaille mon chemin (auto-apprentissage) à travers le livre d'ET Jaynes Probability Theory - The Logic of Science

Problème d'origine

L'exercice 2.1 dit: "Est-il possible de trouver une formule générale pour analogue à [la formule ] à partir des règles de produit et de somme. Si oui, dérivez-la; sinon, expliquez pourquoi cela ne peut pas être fait. "p(C|A+B)p(A+B|C)=p(A|C)+p(B|C)p(AB|C)

Givens

Les règles avec lesquelles je dois travailler sont:

p(AB|C)=p(A|C)p(B|AC)=p(B|C)p(A|BC) etp(A|B)+p(A¯|B)=1

Où nous pouvons également utiliser des identités logiques pour manipuler des propositions. Par exemple:A+B=A¯B¯¯

Hypothèse de solvabilité

Je crois que cela doit être possible car il n'introduit pas d'autres règles plus tard et avoir une simple combinaison logique de propositions qui n'était pas facilement exprimable irait à l'encontre de la thèse centrale de Jaynes. Cependant, je n'ai pas pu dériver la règle.

Ma tentative

Pour éviter de me tromper en raison de l'utilisation des mêmes noms de variables que les données, je résous le problème en:

Dériver une formule pourp(X|Y+Z)

Introduire une tautologie pour le conditionnement

Jusqu'à présent, ma meilleure tentative pour le résoudre a été d'introduire une proposition qui est toujours vraie. Ainsi je peux réécrire en (puisque la vérité est l'identité multiplicative).WY+Z(Y+Z)W

Ensuite, je peux écrire:

p(X|Y+Z)=p(X|(Y+Z)W)

Donc, en réécrivant l'un des données comme la règle de Bayes: , je peux écrire:p(A|BC)=p(B|AC)p(A|C)p(B|C)

p(X|(Y+Z)W)=p(Y+Z|XW)p(X|W)p(Y+Z|W)=p(Y+Z|X)p(X|W)p(Y+Z|W)

Pourquoi cela ne fonctionne pas

Le terme est facile à traiter. (Son expansion est mentionnée dans la définition du problème.)p(Y+Z|X)

Cependant, je ne sais pas quoi faire avec et . Il n'y a aucune transformation logique que je puisse appliquer pour me débarrasser du , et je ne peux pas penser à une quelconque façon d'appliquer les règles données pour y arriver.p(X|W)p(Y+Z|W)W

D'autres endroits où j'ai regardé

J'ai fait une recherche Google, qui a fait apparaître cette page de forum . Mais l'auteur fait la même chose que j'ai essayé sans voir la difficulté que j'ai avec le conditionnement résultant sur la tautologie introduite.

J'ai également recherché stats.stackexchange.com pour "Jaynes" et aussi pour "Exercice 2.1" sans trouver de résultats utiles.

Éponyme
la source
Je ne pense pas que cela soit digne de sa propre réponse, mais je pense que ce que vous avez est correct, et c'est ce que Jaynes attendait de vous. Vous pouvez supposer que est toujours vrai. Et la question suivante qu'il pose concerne le cas plus général de , dans lequel il vous demande de prouver la forme plus générale du théorème de Bayes. (C'est des années après que cette question a été posée, mais j'étais coincé sur la même partie. J'espère que ce commentaire aide les autres)Wp(C|(A1+A2+...+An)W)
William Oliver

Réponses:

3

Je ne suis pas sûr de ce que Jaynes considère comme analogue à mais les étudiants ont joyeusement utilisé un ou plusieurs des éléments suivants sur les devoirs et les examens: Pensez-vous que ces éléments sont corrects?P(ABC)=P(AC)+P(BC)P(ABC)

P(ABC)=P(AB)+P(C)P(ABC)=P(AB)+P(C)P(AC)P(ABC)=P(AB)+P(AC),P(ABC)=P(AB)+P(AC)P(ABC),P(ABC)=P(ABBC)+P(ACBC)P(ABCBC).

Remarque: Changer mon commentaire (maintenant supprimé) en un addendum à ma réponse, les règles permettent les manipulations suivantes: Le premier introduit le conditionnement sur un sous - ensemble de , mais ne supprime pas le conditionnement sur . La seconde n'élimine pas aussi le conditionnement sur . Ainsi, toute manipulation de inclura toujours des termes de la forme , et ne peut pas être exprimé en termes de , , , etc. sans inclure les probabilités conditionnées parP(ABC)=P(AC)P(BAC);P(AC)=1P(AcC).CCCP(ABC)P(XBC)P(ABC)P(AB)P(AC)P(ABC)BC également.

Dilip Sarwate
la source
Je n'aime aucun d'eux. Je pense que la dernière réponse est techniquement correcte, mais elle n'élimine pas le conditionnement que j'essaie de supprimer car tous les termes ont toujours une fonction de donnéeABC.
Éponyme
@Eponymous Mais notez que dans l'expression que Jaynes veut que vous émuliez, à savoir. P(ABC)=P(AC)+P(BC)P(ABC), le conditionnement reste activé Ctout au long de. La question se résume donc à ce que Jaynes considère comme analogue. Ma dernière "identité" est une véritable déclaration, et a un conditionnement sur le même événement des deux côtés, tout comme JaynesP(ABC)=P(AC)+P(BC)P(ABC)ne
Dilip Sarwate
Dans le cadre de Jaynes, vous devez toujours conditionner quelque chose. est définie pour tous . Le conditionnement sur un seul terme est donc inévitable. Ma compréhension du problème est que je dois en quelque sorte diviser en des choses qui pourraient être plus naturelles / plus faciles à calculer, en supprimant idéalement le (bien qu'il puisse être inamovible). Je ne vois pas votre dernière identité comme cela. P(X)XP(A|BC)
Éponyme
@Dilip Je ne pense pas qu'il y ait quelque chose de mal avec votre réponse, et je pense qu'il y en a beaucoup (en particulier le dernier bit) qui sont tout à fait raison (+1). En l'absence d'un manuel de solution (dont je ne pense même pas qu'il existe), nous ne pouvons jamais savoir ce que pensait Jaynes. Mais je pense que vous avez raison que la réponse finale devrait avoir conditionné tout au long, et ce qui semble être l'événement de conditionnement naturel serait la suivante: . AB
2

Pour des problèmes comme celui-ci, il est parfois utile de penser moins aux formules et de dessiner à la place une image (dans ce cas, un diagramme de Venn).

entrez la description de l'image ici

Maintenant, regardez l'image et essayez de visualiser ce que représente. Si vous pouvez le retirer de l'image, vous verrez qu'il existe plusieurs façons valables de l'écrire (deux façons me viennent à l'esprit). Si vous êtes toujours bloqué, essayez de revenir à la preuve habituelle de la règle d'addition générale ordinaire pour obtenir des conseils.P(C|AB)

Rappelez-vous: une probabilité conditionnelle concentre toute sa masse de probabilité sur l'événement de conditionnement (dans ce cas, ). L'idée est de se concentrer sur les endroits où coupe cet événement.ABC

Soit dit en passant, le code R de la figure est

library(venneuler)
vd <- venneuler(c(A=0.2, B=0.2, C=0.2, "A&B"=0.04, "A&C"=0.04, "B&C"=0.04 ,"A&B&C"=0.008))
plot(vd)

la source
Comment cela aide-t-il à écrire une formule en utilisant uniquement les règles de Jaynes? Nous sommes censés utiliser uniquement les deux règles énoncées par le PO.
Dilip Sarwate
1
@Dilip Je pense que la partie la plus difficile de ce problème de Jaynes est qu'il n'a pas explicitement indiqué la formule pour laquelle viser. Mais le diagramme nous permet de voir les formules potentielles qui ont une chance dans Heck d'être valides, et oui, celle à laquelle je pense peut être prouvée avec seulement les règles de produit et de somme (en fait, Jaynes l'a fait dans le paragraphe immédiatement procéder à l'exercice d'origine!).
@Jay Le problème, comme je l' ai souligné dans les commentaires sur ma propre réponse, est que tout dans une formule pour doit nécessairement être conditionné sur . D'autre part, comme vous le dites, le texte de Jaynes prouve la version conditionnelle du résultat bien connu: . Il est facile de séparer l' événement conditionné , pas pour l' événement de conditionnement . P(CAB)ABP(AB)=P(A)+P(B)P(AB)
Dilip Sarwate
@Dilip ouais, je ne peux pas interrompre l'événement de conditionnement, je suis avec toi.
1

Le théorème de Bayes donne Maintenant, en utilisant les règles de somme conditionnelles et inconditionnelles, nous avons Bien sûr, la question est de savoir si cette formule serait "assez analogue" pour Jaynes.

p(CA+B)=p(A+BC)p(C)p(A+B).
p(CA+B)=p(AC)+p(BC)p(ABC)p(A)+p(B)p(AB)p(C).
Zen
la source
Comme l'OP l'a souligné dans un commentaire, "Dans le cadre de Jaynes, vous devez toujours conditionner quelque chose. P (X) n'est pas défini pour tous les X. Ainsi, le conditionnement sur un seul terme est inévitable." Donc, vous n'êtes pas autorisé à écrire P (C), P (A), etc.
Dilip Sarwate
1

Vous ne pouvez pas vous débarrasser de la tautologie. Je pense que vous êtes censé simplement ajouter la tautologie et appliquer la règle du produit, puis la règle de somme et vous obtenez:

p(C|(A+B)W)=p(CA|W)+p(CB|W)p(AB|W)p(A|W)+p(B|W)p(AB|W)

où toutes les probabilités sont exprimées comme postérieures à la tautologie. Je pense que c'est l'équivalent le plus similaire à la règle de somme que vous pouvez obtenir pour ce problème, donc ce serait la solution.

Notez que si vous ajoutez la condition (c'est-à-dire que et s'excluent mutuellement) vous obtenez la même expression que vous devez prouver dans le problème 2.2, cela indiquerait que cette solution est très probablement correcte (par Induction bayésienne;).p(AB|W)=0AB

MastermindX
la source
0

En suivant uniquement les règles de Cox, en prenant W=X comme dans le livre de Jaynes, nous avons la solution de MastermindX:

p(C|(A+B)X)=p(C(A+B)|X)p((A+B)|X)(product rule)
=p((CA+CB)|X)p((A+B)|X)(distributive property of the conjunction)
=p(CA|X)+p(CB|X)p(CAB|X)p((A+B)|X)(sum rule on numerator)
=p(CA|X)+p(CB|X)p(CAB|X)p(A|X)+p(B|X)p(AB|X)(sum rule on demoninator)
=p(A|X)p(C|AX)+p(B|X)p(C|BX)p(AB|X)p(C|ABX)p(A|X)+p(B|X)p(AB|X)(product rule on numerator)

La solution pour Ex. 2.1 suit l'intention du chapitre 2 de la règle du produit: "nous recherchons d'abord une règle cohérente concernant la plausibilité du produit logiqueAB à la plausibilité de A et B séparément "(page 24). De plus, pour les propositions mutuellement exclusives A et B, ceci est égal à l'équation. (2,67) dans l'Ex. 2.2, si nous prenons{A1=A, A2=B}; également indiqué par MastermindX. Notez que Jaynes lui-même ne se débarrasse pas des informations supplémentairesXsur Eq. (2.67), donc je pense que c'est la solution attendue pour les deux exercices.

aatr
la source