Parce que je les trouve fascinantes, j'aimerais savoir ce que les gens de cette communauté considèrent comme le paradoxe statistique le plus intéressant et pourquoi.
Ce n'est pas un paradoxe en soi , mais c'est un commentaire déroutant, du moins au début.
Pendant la Seconde Guerre mondiale, Abraham Wald était un statisticien du gouvernement des États-Unis. Il a examiné les bombardiers qui revenaient de missions et analysé le schéma de "blessures" par balle sur les avions. Il a recommandé que la marine renforce les zones où les avions ne sont pas endommagés.
Pourquoi? Nous avons des effets de sélection au travail. Cet échantillon suggère que les dommages infligés dans les zones observées pourraient être supportés. Soit les avions n’ont jamais été touchés dans les zones intactes, une proposition improbable, soit les impacts sur ces parties ont été mortels. Nous nous soucions des avions qui sont tombés, pas seulement de ceux qui sont revenus. Ceux qui sont tombés ont probablement subi une attaque dans un endroit qui n’était pas touché par ceux qui ont survécu.
Développant un thème, selon ce billet de blog , lors de la Première Guerre mondiale, l’introduction d’un casque en étain a provoqué plus de blessures à la tête qu’un chapeau en tissu standard. Le nouveau casque était-il pire pour les soldats? Non; bien que les blessures aient été plus élevées, les décès ont été moins nombreux.
Je me souviens d’avoir lu ceci à quelques endroits auparavant, mais je n’ai pas de référence sous la main. Y a-t-il un que vous pouvez ajouter?
cardinal
1
@ cardinal, j'ai trouvé des mémos pour vous. On dirait que la recherche était en fait pour les États
Charlie Le
Quelque part, il y a un diagramme de dispersion d'un avion hypothétique pour cet exemple, mais je ne le trouve pas.
Fomite
+1 Ceci est un exemple de biais de survie , peut-être le plus préjudiciable des biais. Je l'ai développé dans une réponse.
Cliff AB
47
Un autre exemple est l’ erreur écologique .
Exemple
Supposons que nous recherchions une relation entre le vote et le revenu en faisant régresser la part des voix du sénateur Obama de l'époque sur le revenu médian d'un État (en milliers). On obtient une intersection d’environ 20 et un coefficient de pente de 0,61.
Beaucoup interprèteraient ce résultat comme disant que les personnes à revenu élevé ont plus de chances de voter pour les démocrates; en effet, les livres de presse populaires ont avancé cet argument.
Mais attendez, je pensais que les riches étaient plus susceptibles d'être républicains? Elles sont.
Ce que cette régression nous dit vraiment, c’est que les États riches votent plus pour un démocrate et les États pauvres qu’ils votent pour un républicain. Dans un État donné , les riches ont plus de chances de voter républicain et les pauvres, de voter démocrate. Voir le travail de Andrew Gelman et ses coauteurs .
Sans autres hypothèses, nous ne pouvons pas utiliser de données au niveau du groupe (agrégées) pour faire des déductions sur le comportement au niveau individuel. C'est l'erreur écologique. Les données au niveau du groupe ne peuvent nous renseigner que sur le comportement au niveau du groupe.
Pour faire le saut aux inférences au niveau individuel, nous avons besoin de l' hypothèse de la constance . Ici, le choix des personnes en matière de vote ne varie pas systématiquement avec le revenu médian d’un État; une personne qui gagne X $ dans un État riche doit être tout aussi susceptible de voter pour un démocrate qu'une personne qui gagne X $ dans un État pauvre. Mais les habitants du Connecticut, quel que soit leur niveau de revenu, votent plus pour un démocrate que les habitants du Mississippi ayant les mêmes niveaux de revenu . Par conséquent, l'hypothèse de cohérence est violée et nous aboutissons à une conclusion erronée (dupé par le biais d'agrégation ).
Ce sujet était un cheval de bataille fréquent de feu David Freedman ; voir ce papier , par exemple. Dans cet article, Freedman fournit un moyen de limiter les probabilités au niveau individuel en utilisant des données de groupe.
Comparaison avec le paradoxe de Simpson
Ailleurs dans cette CW, @Michelle propose le paradoxe de Simpson comme un bon exemple, comme il l'est en réalité. Le paradoxe de Simpson et l'erreur écologique sont étroitement liés, mais distincts. Les deux exemples diffèrent par la nature des données fournies et de l'analyse utilisée.
La formulation standard du paradoxe de Simpson est un tableau à double sens. Dans notre exemple ici, supposons que nous ayons des données individuelles et que nous classions chaque individu en tant que revenu élevé ou faible. Nous obtiendrions un tableau de contingence revenu par vote 2x2 des totaux. Nous verrions qu'une proportion plus élevée de personnes à revenu élevé ont voté pour le démocrate par rapport à la part de personnes à faible revenu. Si nous devions créer un tableau de contingence pour chaque État, nous constaterions le schéma opposé.
Dans l’erreur écologique, nous ne réduisons pas les revenus en une variable dichotomique (ou peut-être multichotomique). Pour obtenir le niveau d'un État, nous obtenons la part moyenne (ou médiane) du revenu et de la part des voix d'un État, puis nous régressons et constatons que les États à revenu élevé ont plus de chances de voter pour le démocrate. Si nous conservions les données au niveau individuel et effectuions la régression séparément par état, nous trouverions l'effet inverse.
En résumé, les différences sont les suivantes:
Mode d'analyse : Nous pourrions dire, après nos compétences en préparation SAT, que le paradoxe de Simpson est celui des tableaux de contingence, car l'erreur écologique concerne les coefficients de corrélation et la régression.
Degré d'agrégation / nature des données : alors que l'exemple du paradoxe de Simpson compare deux chiffres (part du vote démocrate parmi les individus à revenu élevé et identique pour les individus à faible revenu), la sophisme écologique utilise 50 points de données ( c'est -à- dire , chaque État) pour calculer un coefficient de corrélation . Pour obtenir le récit complet dans l'exemple du paradoxe de Simpson, nous aurions simplement besoin des deux nombres de chacun des cinquante États (100 nombres), tandis que dans le cas de l'erreur écologique, nous avons besoin des données au niveau individuel (ou alors recevoir corrélations au niveau des états / pentes de régression).
L'observation générale
@NeilG commente que cela semble simplement indiquer qu'il est impossible de sélectionner des problèmes de biais inobservables / omis dans votre régression. C'est vrai! Au moins dans le contexte de la régression, je pense que presque tous les "paradoxes" ne sont qu'un cas particulier de biais de variables omises.
Le biais de sélection (voir mon autre réponse sur cette CW) peut être contrôlé en incluant les variables qui déterminent la sélection. Bien entendu, ces variables ne sont généralement pas observées, ce qui entraîne le problème / paradoxe. La régression parasite (mon autre autre réponse) peut être surmontée en ajoutant une tendance temporelle. Ces cas indiquent essentiellement que vous disposez de suffisamment de données, mais que vous avez besoin de davantage de prédicteurs.
Dans le cas de l'erreur écologique, il est vrai que vous avez besoin de davantage de prédicteurs (ici, les pentes et les intersections spécifiques à un état). Mais vous avez besoin de davantage d'observations, individuelles plutôt que de groupes, pour pouvoir estimer ces relations.
(Incidemment, si vous avez une sélection extrême où la variable de sélection divise parfaitement le traitement et le contrôle, comme dans l'exemple de la Seconde Guerre mondiale que je donne, vous aurez peut-être besoin de plus de données pour estimer la régression; là aussi, les plans abattus.)
Comment est-il possible de formaliser l' hypothèse de cohérence ? Cela ressemble à supposer qu'il n'y a pas de facteurs de confusion (causaux) dans le modèle.
Neil G
2
En outre, l'exemple fourni est également un exemple du paradoxe de Simpson, car le conditionnement de l'état inverse la corrélation entre le revenu et le parti. Quand l'erreur écologique est-elle différente du paradoxe de Simpson?
Neil G
Je voudrais également souligner que faire des déductions sur les associations au niveau du groupe ou la causalité sur la base d'associations au niveau individuel ou de relations causales est également un mauvais: le sophisme atomistique, bien articulé ici: [Diez-Roux, 1998] Diez-Roux, AV (1998). Ramener le contexte dans l'épidémiologie: variables et erreurs dans l'analyse multiniveau. Journal américain de santé publique , 88 (2): 216-222.
les raisons du paradoxe ne sont pas intuitives pour beaucoup de gens, donc
il peut être très difficile d’expliquer pourquoi les conclusions sont telles qu’elles sont formulées en anglais clair.
Version du paradoxe: la signification statistique d'un résultat semble différer selon le mode de partitionnement des données. La cause semble souvent être due à une variable de confusion.
+1, j'ai pensé mettre cela moi-même. Pour ceux qui sont intéressés, le paradoxe de Simpson est également discuté sur CV ici: stats.stackexchange.com/questions/21896
Il n’ya pas de paradoxes dans les statistiques, il n’ya que des énigmes à résoudre.
Néanmoins, mon préféré est le "paradoxe" à deux enveloppes . Supposons que je mette deux enveloppes devant vous et vous dise que l’une contient deux fois plus d’argent que l’autre (mais pas lequel est lequel). Vous raisonnez comme suit. Supposons que l'enveloppe de gauche contient , puis avec une probabilité de 50% l'enveloppe de droite contienne et avec une probabilité de 50%, elle contient , pour une valeur attendue de . Mais bien sûr, vous pouvez simplement inverser les enveloppes et conclure que l’enveloppe de gauche contient fois la valeur de l’enveloppe de droite. Qu'est-il arrivé?x2x0.5x1.25x1.25
Paradoxe génial - il est intéressant de noter que si nous allons avec la deuxième interprétation sur wikipedia et essayons de calculer , nous constatons que pour éviter la préférence de commutation, nous avons besoin de où . Résoudre pour signifie que nous obtenons . De même, nous pouvons calculer où et obtenir .... Bizzare! E[B|A=a]E[B|A=a]=a=2ap+a2(1−p)p=Pr(A<B|A=a)pp=13E[A|B=b]=b=2bq+b2(1−q)q=Pr(B<A|B=b)q=13
probabilitéislogic
6
J'ai donné des présentations sur ce paradoxe dans lequel le jeu est réellement joué avec le public, avec de vraies sommes d'argent (généralement un chèque à l'institution hôte). Cela attire leur attention ...
Whuber
Je pense avoir résolu celui-ci ... Le paradoxe est résolu lorsque nous reconnaissons que le paradoxe des deux enveloppes propose à tort 1) il existe trois quantités possibles: 0,5x, x et 2x, lorsque les enveloppes ne contiennent que deux quantités (disons x et 2x), et 2) que nous savons a priori que l'enveloppe de gauche contient x (auquel cas l'enveloppe de droite contiendrait 2x avec une certitude de 100%!). Étant donné les valeurs possibles de x et 2x attribuées de manière aléatoire aux deux enveloppes, la réponse correcte est une valeur attendue de 1,5x, que je choisisse l'enveloppe de gauche ou l'enveloppe de droite.
RobertF
3
@RobertF La situation est plus compliquée. Supposons que l’on sait que l’argent est réparti dans les deux enveloppes comme suit. Lancer une pièce juste jusqu'à ce qu'il atterrit des têtes et compte le nombre n de fois que la pièce a été lancée. Placez 2 ^ n dollars dans une enveloppe et 2 ^ (n + 1) dans l’autre. Vous pouvez maintenant effectuer des calculs d’attente très exacts tout en conservant le paradoxe.
Ceci est une invention récente; Au cours des dix dernières années, cette question a été abondamment discutée dans un petit nombre de revues de philosophie. Il existe de fervents défenseurs de deux réponses très différentes (les "Halfers" et les "Thirders"). Cela soulève des questions sur la nature de la croyance, des probabilités et du conditionnement, et a amené les gens à invoquer une interprétation de la mécanique quantique "beaucoup de mondes" (entre autres choses bizarres).
Voici la déclaration de Wikipedia:
La Belle au bois dormant s'engage volontairement dans l'expérience suivante. On lui communique tous les détails suivants. Le dimanche, elle est endormie. Une pièce équitable est ensuite lancée pour déterminer quelle procédure expérimentale est entreprise. Si la pièce frappe la tête, Beauty est réveillée et interviewée lundi, puis l'expérience se termine. Si la pièce se termine, elle est réveillée et interrogée lundi et mardi. Mais lorsqu'elle est de nouveau endormie lundi, elle reçoit une dose d'un médicament induisant une amnésie qui lui évite de se souvenir de son réveil précédent. Dans ce cas, l'expérience se termine après son interview mardi.
À chaque fois que la Belle au bois dormant est éveillée et interviewée, on lui demande: "Quel est votre crédit maintenant pour la proposition selon laquelle la pièce a atterri la tête?"
La position Thirder indique que SB devrait répondre "1/3" (il s’agit d’un simple calcul du théorème de Bayes) et la position de Halfer selon laquelle elle devrait indiquer "1/2" (car c’est la probabilité correcte pour une pièce équitable, évidemment! ) IMHO, tout le débat repose sur une compréhension limitée de la probabilité, mais n'est-ce pas là le but d'explorer des paradoxes apparents?
Bien que ce ne soit pas le lieu pour tenter de résoudre les paradoxes - mais seulement pour les énoncer - je ne veux pas laisser les gens en suspens et je suis sûr que la plupart des lecteurs de cette page ne veulent pas parcourir les explications philosophiques. Nous pouvons prendre un conseil de ET Jaynes , qui remplace la question «Comment pouvons-nous construire un modèle mathématique du bon sens humain?», Ce dont nous avons besoin pour réfléchir au problème de la Belle au bois dormant, par «Comment pourrions-nous construire une machine? qui ferait un raisonnement plausible utile, suivant des principes clairement définis exprimant un sens commun idéalisé? »Ainsi, si vous voulez, remplacez SB par le robot penseur de Jaynes. Vous pouvez clonerce robot (au lieu d’administrer un médicament amnésique fantaisiste) pour la partie de l’expérience du mardi, créant ainsi un modèle clair de la configuration de SB pouvant être analysé sans ambiguïté. Modéliser cela de manière standard en utilisant la théorie de la décision statistique révèle ensuite que deux questions sont réellement posées: quelle est la chance qu'une pièce soit juste? Et quelle est la chance que la pièce lui tombe une tête, à condition que vous soyez le clone qui a été réveillé? ). La réponse est soit 1/2 (dans le premier cas) ou 1/3 (dans le second, en utilisant le théorème de Bayes). Aucun principe de la mécanique quantique n'a été impliqué dans cette solution :-).
Références
Arntzenius, Frank (2002). Réflexions sur la belle au bois dormant . Analyse 62,1 p. 53-62. Elga, Adam (2000). Croyance auto-localisante et problème de la Belle au bois dormant. Analyse 60 pp 143-7.
Franceschi, Paul (2005). La Belle au bois dormant et le problème de la réduction du monde . Pré-impression.
Groisman, Berry (2007). La fin du cauchemar de la Belle au bois dormant .
Lewis, D (2001). Belle au bois dormant: réponds à Elga . Analyse 61,3 p 171-6.
Papineau, David et Victor Dura-Vila (2008). Un enregistreur et un Everettien: une réponse à la "Quantum Sleeping Beauty" de Lewis .
Pust, Joel (2008). Horgan sur La Belle au bois dormant . Synthese 160 pp 97-101.
Vineberg, Susan (non daté, peut-être 2003). Le récit édifiant de la beauté .
Tous peuvent être trouvés (ou du moins ont été trouvés il y a plusieurs années) sur le Web.
Pensez-vous qu’il est tout aussi efficace de formuler la solution en termes d’unités de base? J'entends par là que vous devez déterminer si l'unité de base est la personne ou l'interview. La moitié des personnes aura eu la tête, mais 1/3 des interviews le seront. Ensuite, pour choisir notre unité de base, nous pouvons réexaminer la question et la phrase comme suit: "Quelles sont les chances pour que cet entretien soit associé à un résultat" têtes "?
Jonathan
1
SB ne sait pas combien d'entretiens il y a eu et la question concerne son évaluation de la probabilité, pas celle des expérimentateurs. De son point de vue, le nombre d'entretiens ne peut être déterminé.
whuber
2
Je pense que vous devriez d'abord lire les arguments de la littérature, Aaron. (J'avoue que je suis titulaire d'un diplôme, mais je pense que les concurrents ne seront pas convaincus par votre raisonnement. Vous devez au moins leur montrer pourquoi leur argument est erroné.)
whuber
1
Bon point, @ whuber, j’ai maintenant jeté un coup d’œil sur la littérature. Je lis la Belle au bois dormant d' Ellis : réponds à Elga . C'est cette phrase qui m'inquiète au début de la section '4. Mon argument '. "Seules les nouvelles preuves pertinentes, centrées ou non, entraînent un changement de crédibilité". Je vais réfléchir plus longuement et peut-être bloguer à nouveau. J'ai eu une longue discussion avec sept autres doctorants à ce sujet!
Aaron McDaid
1
La Belle au bois dormant est-il autorisé à regarder le calendrier lorsqu'il est réveillé? Si lundi, alors elle devrait répondre P (X = tête) = 0.5. Si mardi, alors P (X = tête) = 0.
RobertF
25
Le paradoxe de Saint-Pétersbourg , qui vous fait penser différemment sur le concept et la signification de la valeur attendue . L'intuition (principalement pour les personnes ayant une formation en statistiques) et les calculs donnent des résultats différents.
En voici une autre qui me plait qui semble si mal connue qu’elle ne porte pas de nom, mais a une saveur similaire et une leçon statistique intéressante: Il existe une séquence de variables aléatoires indépendantes de moyenne nulle et uniforme. variance bornée telle que converge dans la distribution vers une normale normale (comme le CLT). Cependant, (ou votre nombre positif préféré). X1,X2,…n−−√X¯nN(0,1)Var(n−−√X¯n)→17
cardinal
@ cardinal Avez-vous une chance de publier des détails à ce sujet séparément?
Silverfish
@Silver Donne à chaque une distribution normale avec un zéro moyen et une variance . À quoi ressemblerait apparemment asymptotiquement la convergence de ? f ( n ) f Var ( √Xif(n)fVar(n−−√X¯n)
whuber
Xif(i)XiVar(n−−√X¯n)=1n∑ni=1f(i)f(i)Var(n−−√X¯n)
22
Le paradoxe de Jeffreys-Lindley , qui montre que, dans certaines circonstances, les méthodes de test d'hypothèses fréquentistes et bayésiennes par défaut peuvent donner des réponses complètement contradictoires. Cela oblige vraiment les utilisateurs à réfléchir à la signification exacte de ces formes de test et à déterminer si c'est ce qu'ils veulent vraiment. Pour un exemple récent, voir cette discussion .
Dans une famille de deux enfants, quelles sont les chances, si l'un des enfants est une fille , que les deux enfants soient des filles?
La plupart des gens disent intuitivement 1/2, mais la réponse est 1/3. Le problème, fondamentalement, est que choisir uniformément «une fille parmi toutes les filles ayant un frère ou une soeur» au hasard n’est pas la même chose que choisir uniformément «une famille, parmi toutes les familles avec deux enfants et au moins une fille».
Celui-ci est assez simple pour se lier à l'intuition, une fois que vous l'avez compris, mais il existe des versions plus compliquées qui sont plus difficiles à comprendre:
Dans une famille de deux enfants, quelles sont les chances, si l’un des enfants est un garçon né le mardi , que les deux enfants soient des garçons? (Réponse: 13/27)
Dans une famille de deux enfants, quelles sont les chances, si l’un des enfants est une fille nommée Florida , que les deux enfants soient des filles? (Réponse: très proche de 1/2, en supposant que "Florida" est un nom extrêmement rare)
La réponse n'est 1/3pas 2/3sûrement? Un seul surGB, BG, GG
Martin Smith
3
L'article "garçon né le mardi" est bon. Son principal argument, qui est formulé très clairement ("le problème est sous-défini"), est que la réponse dépend du modèle de probabilité que l'on adopte. Dire que "la" réponse est 13/27 est trompeur (au mieux).
whuber
@Martin: hehe whoops :)
BlueRaja - Danny Pflughoeft le
2
La raison pour laquelle ces problèmes sont si déroutants est que la question est libellée de sorte qu'il est très difficile de déterminer ce qu'est l'espace d'hypothèses. Cela crée à son tour de la confusion quant à ce que sont réellement les cas "d'égale probabilité" (et par conséquent à ce qui devrait être compté).
probabilitéislogic
1
p(B1G2)=p(G1B2)p(G1G2)2p(B1G2)+p(G1G2)
12
Désolé, mais je ne peux pas m'en empêcher (moi aussi, j'aime les paradoxes statistiques!).
Encore une fois, peut-être pas un paradoxe en soi et un autre exemple de biais de variables omises.
Causerie / régression parasite
Toute variable ayant une tendance temporelle sera corrélée à une autre variable ayant également une tendance temporelle. Par exemple, mon poids de la naissance à 27 ans sera étroitement lié à votre poids de la naissance à 27 ans. De toute évidence, mon poids n'est pas causé par votre poids. Si c'était le cas, je vous demanderais d'aller au gymnase plus souvent, s'il vous plaît.
xtyt
xtyt=α0+α1t+ϵt and=β0+β1t+ηt.
yt=γ0+γ1xt+νt
xtγ1
Lorsque vous effectuez une analyse de série chronologique, vous devez vous assurer que vos variables sont stationnaires ou vous obtiendrez ces résultats de causalité parasites.
(J'avoue tout à fait que j'ai plagié ma propre réponse donnée ici .)
Un de mes favoris est le problème de Monty Hall. Je me souviens d’avoir appris cela dans un cours de statistiques élémentaire, en le racontant à mon père. Comme nous étions tous les deux incrédules, j’ai simulé des nombres aléatoires et nous avons essayé le problème. À notre grand étonnement, c'était vrai.
En gros, le problème est que si vous aviez trois portes dans un jeu télévisé, derrière lequel il y a un prix et les deux autres rien, si vous choisissez une porte et que vous êtes informé des deux autres portes, l'une des deux n'est pas une porte. et autorisé à changer votre choix si vous le souhaitez, vous devriez changer votre porte actuelle à la porte restante.
Voici également le lien vers une simulation R: LINK
From wikipdedia : "Le paradoxe de Parrondo, un paradoxe dans la théorie des jeux, a été décrit comme suit : Une combinaison de stratégies perdantes devient une stratégie gagnante. Elle porte le nom de son créateur, Juan Parrondo, qui a découvert le paradoxe en 1996. Une description plus explicative est :
Il existe des paires de jeux, chacun avec une probabilité plus élevée de perdre que de gagner, pour lesquels il est possible de construire une stratégie gagnante en jouant les jeux en alternance.
Parrondo a conçu le paradoxe lié à son analyse du cliquet brownien, une expérience de pensée sur une machine censée extraire de l'énergie à partir de mouvements de chaleur aléatoires popularisés par le physicien Richard Feynman. Cependant, le paradoxe disparaît lorsqu'il est rigoureusement analysé ".
PB(W)=3/4+ϵPA(W)=1/10+ϵ
Il existe également un paradoxe plus récent, appelé « mélange allison », qui montre que nous pouvons prendre deux séries d’ID et de séries non corrélées, et les brouiller aléatoirement de sorte que certains mélanges puissent créer une série résultante avec une autocorrélation non nulle.
Il est intéressant de noter que le problème des deux enfants et le problème de Monty Hall sont si souvent mentionnés ensemble dans le contexte du paradoxe. Tous deux illustrent un paradoxe apparent illustré pour la première fois en 1889, appelé Box's Paradox de Bertrand, qui peut être généralisé pour représenter l'un ou l'autre. Je trouve cela un "paradoxe" des plus intéressants car les mêmes personnes très instruites et très intelligentes répondent à ces deux problèmes de manière opposée en ce qui concerne ce paradoxe. Il se compare également à un principe utilisé dans les jeux de cartes comme le bridge, appelé Principe de choix restreint, dans lequel sa résolution est testée dans le temps.
Supposons que vous ayez un élément sélectionné au hasard que j'appellerai une "boîte". Chaque case possible a au moins une des deux propriétés symétriques, mais certaines ont les deux. J'appellerai les propriétés "or" et "argent". La probabilité qu'une boîte ne soit que de l'or est P; et puisque les propriétés sont symétriques, P est également la probabilité qu’une boîte ne soit que de l’argent. Cela rend la probabilité qu’une boîte n’ait qu’une propriété 2P, et la probabilité qu’elle ait à la fois 1-2P.
Si on vous dit qu'une boîte est en or, mais pas si elle est en argent, vous pourriez être tenté de dire que les chances qu'il s'agisse simplement d'or sont P / (P + (1-2P)) = P / (1-P). Mais il faudrait alors énoncer la même probabilité pour une boîte d'une couleur si on vous disait que c'était de l'argent. Et si cette probabilité est P / (1-P) chaque fois qu'on vous dit une seule couleur, il faut que ce soit P / (1-P) même si on ne vous dit pas une couleur. Pourtant, nous savons que c'est 2P du dernier paragraphe.
Ce paradoxe apparent est résolu en notant que si une boîte n'a qu'une couleur, il n'y a aucune ambiguïté quant à la couleur qui vous sera racontée. Mais s'il en a deux, il y a un choix implicite. Vous devez savoir comment ce choix a été fait pour répondre à la question. C’est là la racine du paradoxe apparent. Si vous ne le savez pas, vous ne pouvez que supposer qu'une couleur a été choisie au hasard, ce qui donne la réponse P / (P + (1-2P) / 2) = 2P. Si vous insistez sur le fait que P / (1-P) est la réponse, vous supposez implicitement qu’il n’y avait aucune possibilité que l’autre couleur ait été mentionnée à moins qu’il ne s’agisse de la seule couleur.
Dans le problème de Monty Hall, l’analogie pour les couleurs n’est pas très intuitive, mais P = 1/3. Les réponses basées sur les deux portes non ouvertes étant à l' origine aussi susceptibles d' avoir le prix sont Monty Hall a été supposer nécessaire pour ouvrir la porte qu'il a fait, même s'il avait le choix. Cette réponse est P / (1-P) = 1/2. La réponse lui permettant de choisir au hasard est 2P = 2/3 pour la probabilité que la commutation gagne.
Dans le problème des deux enfants, les couleurs de mon analogie se comparent assez bien aux genres. Avec quatre cas, P = 1/4. Pour répondre à la question, nous devons savoir comment on a déterminé qu'il y avait une fille dans la famille. S'il était possible de connaître un garçon de la famille par cette méthode, la réponse est 2P = 1/2, pas P / (1-P) = 1/3. C'est un peu plus compliqué si vous considérez le nom Florida, ou "né le mardi", mais les résultats sont les mêmes. La réponse est exactement 1/2 s'il y avait un choix, et la plupart des énoncés du problème impliquent un tel choix. Et la raison "changer" de 1/3 à 13/27, ou de 1/3 à "presque 1/2", semble paradoxale et non intuitive, c'est parce que l'hypothèse de non-choix est non-intuitive.
Dans le principe de choix restreint, supposons qu'il vous manque un jeu de cartes équivalentes, comme le valet, la reine et le roi de la même couleur. Les chances commencent même si une carte particulière appartient à un adversaire spécifique. Mais après qu'un adversaire en ait joué un, ses chances d’avoir l’un des autres diminuent car il aurait pu jouer cette carte s’il l’avait eue.
Désolé, je n'ai peut-être pas bien expliqué pourquoi je voulais être aussi bref que possible. Mon P n'était pas la probabilité qu'une boîte ait la couleur or, c'était la probabilité que ce soit seulement de l' or. La probabilité qu'il ait la couleur or est 1-P. Et bien que les deux propriétés soient symmertiques, elles ne doivent pas nécessairement être indépendantes. Vous ne pouvez donc pas simplement multiplier les probabilités. En outre, aucune case n'est "ni". Bertrand a utilisé trois boîtes contenant chacune deux pièces: or + or, or + argent et argent + argent. Une boîte avec un nombre quelconque de pièces d'or est "l'or" dans ma généralisation.
JeffJo
+1, ça aide. Je vois maintenant la phrase "au moins un des deux" et le mot "juste", que je dois avoir survolé.
gung
6
[0,1]x,y∈[0,1]P(x=y)=0xy>xy > x 0.5y<xy>x0.5. Cependant, au moins étonnamment sinon paradoxalement, le joueur peut améliorer cette stratégie. J'ai bien peur de ne pas avoir de lien avec le problème (je l'ai entendu dire il y a plusieurs années lors d'un atelier).
Je trouve une illustration graphique simplifiée de l'erreur écologique (ici le paradoxe de vote État riche / État pauvre) m'aide à comprendre intuitivement pourquoi nous assistons à un renversement de la structure du vote lorsque nous agrégons des populations d'État:
@ Nick: cet exemple particulier est en réalité distinct du paradoxe de Simpson, mais il peut être difficile de savoir quel sophisme s'applique dans une situation donnée car ils se ressemblent sur le plan statistique. La différence est que SP est un "faux effet" qui apparaît uniquement lors de l'analyse de sous-groupes. Cette tendance affichée est toutefois un "effet réel" qui apparaît uniquement lors de l’analyse de sous-groupes. Dans ce cas, cela suggère que si le revenu en tant que chiffre brut n’affecte pas les habitudes de vote dans l’ensemble, le revenu par rapport à vos voisins (votre état) influence les habitudes de vote.
Jonathan
C'est l'erreur écologique, discutée ci-dessous.
Charlie
3
@Charlie 'lower' et 'above' sont des fonctions de la manière dont le lecteur de la page trie (actif / ancien / votes), et dans tous les cas, l'ordre de certains critères de tri peut changer dans le temps (y compris la valeur par défaut). . En tant que tel, il est probablement préférable de mentionner la personne qui a posté la discussion à laquelle vous faites référence, ou même de la relier.
Glen_b
2
Supposons que vous obteniez des données sur les naissances dans la famille royale d’un royaume. Dans l'arbre généalogique, chaque naissance était notée. La particularité de cette famille est que les parents n’essayaient d’avoir un bébé que lorsque leur premier fils est né et qu’ils n’avaient plus d’enfants.
Donc, vos données ressemblent potentiellement à ceci:
G G B
B
G G B
G B
G G G G G G G G G B
etc.
La proportion de garçons et de filles dans cet échantillon reflétera-t-elle la probabilité générale de donner naissance à un garçon (par exemple 0,5)? La réponse et l'explication peuvent être trouvées dans ce fil .
Cette réponse se lit comme un casse-tête, pas comme un paradoxe. Je peux imaginer pourquoi vous vouliez le poster comme ça, mais je pense que pour que cette réponse soit qualifiée de paradoxe et corresponde à ce fil, vous devez être plus explicite.
amibe
2
Cette question (avec les garçons et les filles échangés) a été posée à stats.stackexchange.com/questions/93830 , qui a reçu un grand nombre de réponses - pas tout à fait d'accord! (J'ai appris quelque chose en prenant le problème au sérieux et en y réfléchissant de manière de plus en plus réaliste, en explorant les hypothèses nécessaires pour le faire.)
whuber
@whuber merci pour le lien! Je l'ai ajouté dans la description.
Tim
2
Ceci est à nouveau le paradoxe de Simpson, mais «à l'envers» ainsi que de l'avant, vient du nouveau livre de Judea Pearl, Causal Inference in Statistics: A Primer [^ 1].
Le paradoxe classique de Simpon fonctionne comme suit: envisagez d'essayer de choisir entre deux médecins. Vous choisissez automatiquement celui qui donne les meilleurs résultats. Mais supposons que celui qui obtient les meilleurs résultats choisisse les cas les plus faciles. Le plus mauvais bilan de l'autre est la conséquence d'un travail plus délicat.
Maintenant qui choisissez-vous? Mieux vaut regarder les résultats stratifiés par difficulté, puis décider.
Il y a un autre côté de la pièce (un autre paradoxe) qui dit que les résultats stratifiés peuvent également vous conduire au mauvais choix.
Cette fois, envisagez de choisir d’utiliser un médicament ou non. Le médicament a un effet secondaire toxique, mais son mécanisme d’action thérapeutique consiste à abaisser la pression artérielle. Globalement, le médicament améliore les résultats dans la population, mais lors de la stratification sur la pression artérielle après le traitement , les résultats sont pires tant dans le groupe hypotenseur que dans le groupe hypotenseur. Comment cela peut-il être vrai? Parce que nous avons involontairement stratifié sur le résultat, et à l'intérieur de chaque résultat, il ne reste plus qu'à observer l'effet secondaire toxique.
Pour clarifier, imaginez que le médicament soit conçu pour soigner les cœurs brisés, et ce en faisant baisser la pression artérielle. Au lieu de stratifier sur la pression artérielle, nous stratifions sur des cœurs fixes. Lorsque le médicament agit, le cœur est fixe (et la pression artérielle sera plus basse), mais certains patients auront également un effet secondaire toxique. Parce que le médicament fonctionne, le groupe «cœur fixe» aura plus de patients qui ont pris le médicament qu'il n'y a de patients prenant le médicament dans le groupe cardiaque «brisé». Plus le nombre de patients prenant le médicament est élevé, plus le nombre de patients subissant des effets indésirables, et apparemment (mais faussement) de meilleurs résultats pour les patients qui n'ont pas pris le médicament.
Les patients qui vont mieux sans prendre le médicament ont simplement de la chance. Les patients qui ont pris le médicament et qui se sont améliorés sont un mélange de ceux qui avaient besoin du médicament pour s’améliorer et de ceux qui auraient été chanceux de toute façon. Examiner uniquement les patients avec «cœur fixe» signifie exclure les patients qui auraient été fixés s'ils avaient pris le médicament. Exclure de tels patients signifie exclure le mal de ne pas prendre le médicament, ce qui signifie que nous ne voyons que le mal de prendre le médicament.
Le paradoxe de Simpson survient lorsqu'il y a une cause au résultat autre que le traitement, telle que le fait que votre médecin ne traite que les cas difficiles. Contrôler pour la cause commune (cas difficiles ou faciles) nous permet de voir le véritable effet. Dans le dernier exemple, nous avons involontairement stratifié sur un résultat et non sur une cause, ce qui signifie que la vraie réponse est dans l'ensemble, pas les données stratifiées.
[^ 1]: Pearl J. Causal Inference in Statistics. John Wiley & Sons; 2016
L'un de mes "favoris", c'est-à-dire que c'est ce qui me rend dingue de l'interprétation de nombreuses études (et souvent par les auteurs eux-mêmes, et pas seulement par les médias) est celui de Survivorship Bias .
Une façon de l’imaginer est de supposer que certains effets sont très préjudiciables aux sujets, à tel point qu’ils ont de très bonnes chances de les tuer. Si les sujets sont exposés à cet effet avant l’étude , alors, au début de l’étude, les sujets exposés encore en vie ont une très grande probabilité d’être exceptionnellement résilients. Sélection littéralement naturelle au travail. Lorsque cela se produit, l’étude indiquera que les sujets exposés sont exceptionnellement en bonne santé (puisque tous les insalubres sont déjà morts ou s’assurent de cesser d’être exposés à l’effet). Cela est souvent interprété à tort comme impliquant que l’exposition est réellement bonne pour les sujets. Ceci est le résultat d'ignorer la troncature (c’est-à-dire en ignorant les sujets qui sont décédés et n’ont pas pu se rendre à l’étude).
De même, les sujets qui cessent d’être exposés à l’effet au cours de l’étude sont souvent extrêmement malsains: c’est parce qu’ils se sont rendus compte que l’exposition continue les tuerait probablement. Mais l'étude observe simplement que ceux qui ont arrêté de fumer sont très malsains!
La réponse de @ Charlie au sujet des bombardiers de la Seconde Guerre mondiale peut être considérée comme un exemple, mais il existe également de nombreux exemples modernes. Un exemple récent sont les études rapportant que boire plus de 8 tasses de café par jour(!!) est lié à une bien meilleure santé cardiaque chez les sujets de plus de 55 ans. Beaucoup de personnes ayant un doctorat ont interprété cela comme "boire du café, c'est bon pour le cœur!", Y compris les auteurs de l'étude. J'ai lu ceci, car vous devez avoir un cœur incroyablement sain pour pouvoir boire 8 tasses de café par jour après 55 ans et ne pas avoir de crise cardiaque. Même si cela ne vous tue pas, dès que quelque chose vous semble préoccupant pour votre santé, tous ceux qui vous aiment (ainsi que votre médecin) vous encourageront immédiatement à cesser de boire du café. D'autres études ont montré que boire autant de café n'avait aucun effet bénéfique chez les groupes les plus jeunes, ce qui, à mon avis, est une preuve supplémentaire que nous constatons un effet de survie plutôt qu'un effet causal positif. Pourtant, il y a beaucoup de docteurs qui courent "
Je ne suis pas si sûr de votre interprétation. En Norvège, boire 8 tasses de café par jour n’est pas inhabituel, la valeur moyenne (enfants et autres non-buveurs compris) étant d’environ deux tasses par jour. En Finlande, la moyenne est d'environ 2,5 tasses par jour. J'avais l'habitude de boire plus de dix tasses par jour, mais plus maintenant.
kjetil b halvorsen
1
Je suis surpris que personne n'ait encore mentionné le paradoxe de Newcombe , bien qu'il soit davantage discuté dans la théorie de la décision. C'est certainement l'un de mes favoris.
Réponses:
Ce n'est pas un paradoxe en soi , mais c'est un commentaire déroutant, du moins au début.
Pendant la Seconde Guerre mondiale, Abraham Wald était un statisticien du gouvernement des États-Unis. Il a examiné les bombardiers qui revenaient de missions et analysé le schéma de "blessures" par balle sur les avions. Il a recommandé que la marine renforce les zones où les avions ne sont pas endommagés.
Pourquoi? Nous avons des effets de sélection au travail. Cet échantillon suggère que les dommages infligés dans les zones observées pourraient être supportés. Soit les avions n’ont jamais été touchés dans les zones intactes, une proposition improbable, soit les impacts sur ces parties ont été mortels. Nous nous soucions des avions qui sont tombés, pas seulement de ceux qui sont revenus. Ceux qui sont tombés ont probablement subi une attaque dans un endroit qui n’était pas touché par ceux qui ont survécu.
Pour des copies de ses mémorandums originaux, voir ici . Pour une application plus moderne, consultez cet article du blog Scientific American .
Développant un thème, selon ce billet de blog , lors de la Première Guerre mondiale, l’introduction d’un casque en étain a provoqué plus de blessures à la tête qu’un chapeau en tissu standard. Le nouveau casque était-il pire pour les soldats? Non; bien que les blessures aient été plus élevées, les décès ont été moins nombreux.
la source
Un autre exemple est l’ erreur écologique .
Exemple
Supposons que nous recherchions une relation entre le vote et le revenu en faisant régresser la part des voix du sénateur Obama de l'époque sur le revenu médian d'un État (en milliers). On obtient une intersection d’environ 20 et un coefficient de pente de 0,61.
Beaucoup interprèteraient ce résultat comme disant que les personnes à revenu élevé ont plus de chances de voter pour les démocrates; en effet, les livres de presse populaires ont avancé cet argument.
Mais attendez, je pensais que les riches étaient plus susceptibles d'être républicains? Elles sont.
Ce que cette régression nous dit vraiment, c’est que les États riches votent plus pour un démocrate et les États pauvres qu’ils votent pour un républicain. Dans un État donné , les riches ont plus de chances de voter républicain et les pauvres, de voter démocrate. Voir le travail de Andrew Gelman et ses coauteurs .
Sans autres hypothèses, nous ne pouvons pas utiliser de données au niveau du groupe (agrégées) pour faire des déductions sur le comportement au niveau individuel. C'est l'erreur écologique. Les données au niveau du groupe ne peuvent nous renseigner que sur le comportement au niveau du groupe.
Pour faire le saut aux inférences au niveau individuel, nous avons besoin de l' hypothèse de la constance . Ici, le choix des personnes en matière de vote ne varie pas systématiquement avec le revenu médian d’un État; une personne qui gagne X $ dans un État riche doit être tout aussi susceptible de voter pour un démocrate qu'une personne qui gagne X $ dans un État pauvre. Mais les habitants du Connecticut, quel que soit leur niveau de revenu, votent plus pour un démocrate que les habitants du Mississippi ayant les mêmes niveaux de revenu . Par conséquent, l'hypothèse de cohérence est violée et nous aboutissons à une conclusion erronée (dupé par le biais d'agrégation ).
Ce sujet était un cheval de bataille fréquent de feu David Freedman ; voir ce papier , par exemple. Dans cet article, Freedman fournit un moyen de limiter les probabilités au niveau individuel en utilisant des données de groupe.
Comparaison avec le paradoxe de Simpson
Ailleurs dans cette CW, @Michelle propose le paradoxe de Simpson comme un bon exemple, comme il l'est en réalité. Le paradoxe de Simpson et l'erreur écologique sont étroitement liés, mais distincts. Les deux exemples diffèrent par la nature des données fournies et de l'analyse utilisée.
La formulation standard du paradoxe de Simpson est un tableau à double sens. Dans notre exemple ici, supposons que nous ayons des données individuelles et que nous classions chaque individu en tant que revenu élevé ou faible. Nous obtiendrions un tableau de contingence revenu par vote 2x2 des totaux. Nous verrions qu'une proportion plus élevée de personnes à revenu élevé ont voté pour le démocrate par rapport à la part de personnes à faible revenu. Si nous devions créer un tableau de contingence pour chaque État, nous constaterions le schéma opposé.
Dans l’erreur écologique, nous ne réduisons pas les revenus en une variable dichotomique (ou peut-être multichotomique). Pour obtenir le niveau d'un État, nous obtenons la part moyenne (ou médiane) du revenu et de la part des voix d'un État, puis nous régressons et constatons que les États à revenu élevé ont plus de chances de voter pour le démocrate. Si nous conservions les données au niveau individuel et effectuions la régression séparément par état, nous trouverions l'effet inverse.
En résumé, les différences sont les suivantes:
L'observation générale
@NeilG commente que cela semble simplement indiquer qu'il est impossible de sélectionner des problèmes de biais inobservables / omis dans votre régression. C'est vrai! Au moins dans le contexte de la régression, je pense que presque tous les "paradoxes" ne sont qu'un cas particulier de biais de variables omises.
Le biais de sélection (voir mon autre réponse sur cette CW) peut être contrôlé en incluant les variables qui déterminent la sélection. Bien entendu, ces variables ne sont généralement pas observées, ce qui entraîne le problème / paradoxe. La régression parasite (mon autre autre réponse) peut être surmontée en ajoutant une tendance temporelle. Ces cas indiquent essentiellement que vous disposez de suffisamment de données, mais que vous avez besoin de davantage de prédicteurs.
Dans le cas de l'erreur écologique, il est vrai que vous avez besoin de davantage de prédicteurs (ici, les pentes et les intersections spécifiques à un état). Mais vous avez besoin de davantage d'observations, individuelles plutôt que de groupes, pour pouvoir estimer ces relations.
(Incidemment, si vous avez une sélection extrême où la variable de sélection divise parfaitement le traitement et le contrôle, comme dans l'exemple de la Seconde Guerre mondiale que je donne, vous aurez peut-être besoin de plus de données pour estimer la régression; là aussi, les plans abattus.)
la source
Ma contribution est le paradoxe de Simpson car:
il peut être très difficile d’expliquer pourquoi les conclusions sont telles qu’elles sont formulées en anglais clair.
Version du paradoxe: la signification statistique d'un résultat semble différer selon le mode de partitionnement des données. La cause semble souvent être due à une variable de confusion.
Voici un autre bon aperçu du paradoxe .
la source
Il n’ya pas de paradoxes dans les statistiques, il n’ya que des énigmes à résoudre.
Néanmoins, mon préféré est le "paradoxe" à deux enveloppes . Supposons que je mette deux enveloppes devant vous et vous dise que l’une contient deux fois plus d’argent que l’autre (mais pas lequel est lequel). Vous raisonnez comme suit. Supposons que l'enveloppe de gauche contient , puis avec une probabilité de 50% l'enveloppe de droite contienne et avec une probabilité de 50%, elle contient , pour une valeur attendue de . Mais bien sûr, vous pouvez simplement inverser les enveloppes et conclure que l’enveloppe de gauche contient fois la valeur de l’enveloppe de droite. Qu'est-il arrivé?x 2x 0.5x 1.25x 1.25
la source
Le problème de la belle au bois dormant .
Ceci est une invention récente; Au cours des dix dernières années, cette question a été abondamment discutée dans un petit nombre de revues de philosophie. Il existe de fervents défenseurs de deux réponses très différentes (les "Halfers" et les "Thirders"). Cela soulève des questions sur la nature de la croyance, des probabilités et du conditionnement, et a amené les gens à invoquer une interprétation de la mécanique quantique "beaucoup de mondes" (entre autres choses bizarres).
Voici la déclaration de Wikipedia:
La position Thirder indique que SB devrait répondre "1/3" (il s’agit d’un simple calcul du théorème de Bayes) et la position de Halfer selon laquelle elle devrait indiquer "1/2" (car c’est la probabilité correcte pour une pièce équitable, évidemment! ) IMHO, tout le débat repose sur une compréhension limitée de la probabilité, mais n'est-ce pas là le but d'explorer des paradoxes apparents?
(Illustration du projet Gutenberg .)
Bien que ce ne soit pas le lieu pour tenter de résoudre les paradoxes - mais seulement pour les énoncer - je ne veux pas laisser les gens en suspens et je suis sûr que la plupart des lecteurs de cette page ne veulent pas parcourir les explications philosophiques. Nous pouvons prendre un conseil de ET Jaynes , qui remplace la question «Comment pouvons-nous construire un modèle mathématique du bon sens humain?», Ce dont nous avons besoin pour réfléchir au problème de la Belle au bois dormant, par «Comment pourrions-nous construire une machine? qui ferait un raisonnement plausible utile, suivant des principes clairement définis exprimant un sens commun idéalisé? »Ainsi, si vous voulez, remplacez SB par le robot penseur de Jaynes. Vous pouvez clonerce robot (au lieu d’administrer un médicament amnésique fantaisiste) pour la partie de l’expérience du mardi, créant ainsi un modèle clair de la configuration de SB pouvant être analysé sans ambiguïté. Modéliser cela de manière standard en utilisant la théorie de la décision statistique révèle ensuite que deux questions sont réellement posées: quelle est la chance qu'une pièce soit juste? Et quelle est la chance que la pièce lui tombe une tête, à condition que vous soyez le clone qui a été réveillé? ). La réponse est soit 1/2 (dans le premier cas) ou 1/3 (dans le second, en utilisant le théorème de Bayes). Aucun principe de la mécanique quantique n'a été impliqué dans cette solution :-).
Références
Arntzenius, Frank (2002). Réflexions sur la belle au bois dormant . Analyse 62,1 p. 53-62. Elga, Adam (2000). Croyance auto-localisante et problème de la Belle au bois dormant. Analyse 60 pp 143-7.
Franceschi, Paul (2005). La Belle au bois dormant et le problème de la réduction du monde . Pré-impression.
Groisman, Berry (2007). La fin du cauchemar de la Belle au bois dormant .
Lewis, D (2001). Belle au bois dormant: réponds à Elga . Analyse 61,3 p 171-6.
Papineau, David et Victor Dura-Vila (2008). Un enregistreur et un Everettien: une réponse à la "Quantum Sleeping Beauty" de Lewis .
Pust, Joel (2008). Horgan sur La Belle au bois dormant . Synthese 160 pp 97-101.
Vineberg, Susan (non daté, peut-être 2003). Le récit édifiant de la beauté .
Tous peuvent être trouvés (ou du moins ont été trouvés il y a plusieurs années) sur le Web.
la source
Le paradoxe de Saint-Pétersbourg , qui vous fait penser différemment sur le concept et la signification de la valeur attendue . L'intuition (principalement pour les personnes ayant une formation en statistiques) et les calculs donnent des résultats différents.
la source
Le paradoxe de Jeffreys-Lindley , qui montre que, dans certaines circonstances, les méthodes de test d'hypothèses fréquentistes et bayésiennes par défaut peuvent donner des réponses complètement contradictoires. Cela oblige vraiment les utilisateurs à réfléchir à la signification exacte de ces formes de test et à déterminer si c'est ce qu'ils veulent vraiment. Pour un exemple récent, voir cette discussion .
la source
Il y a la fameuse illusion de deux filles:
La plupart des gens disent intuitivement
1/2, mais la réponse est1/3. Le problème, fondamentalement, est que choisir uniformément «une fille parmi toutes les filles ayant un frère ou une soeur» au hasard n’est pas la même chose que choisir uniformément «une famille, parmi toutes les familles avec deux enfants et au moins une fille».Celui-ci est assez simple pour se lier à l'intuition, une fois que vous l'avez compris, mais il existe des versions plus compliquées qui sont plus difficiles à comprendre:
Plus d'informations sur tous ces puzzles peuvent être trouvés dans cette réponse .
(Aussi: Plus d'informations sur le garçon né le mardi , plus d'informations sur la fille nommée Floride )
la source
1/3pas2/3sûrement? Un seul surGB, BG, GGDésolé, mais je ne peux pas m'en empêcher (moi aussi, j'aime les paradoxes statistiques!).
Encore une fois, peut-être pas un paradoxe en soi et un autre exemple de biais de variables omises.
Causerie / régression parasite
Toute variable ayant une tendance temporelle sera corrélée à une autre variable ayant également une tendance temporelle. Par exemple, mon poids de la naissance à 27 ans sera étroitement lié à votre poids de la naissance à 27 ans. De toute évidence, mon poids n'est pas causé par votre poids. Si c'était le cas, je vous demanderais d'aller au gymnase plus souvent, s'il vous plaît.
Lorsque vous effectuez une analyse de série chronologique, vous devez vous assurer que vos variables sont stationnaires ou vous obtiendrez ces résultats de causalité parasites.
(J'avoue tout à fait que j'ai plagié ma propre réponse donnée ici .)
la source
Un de mes favoris est le problème de Monty Hall. Je me souviens d’avoir appris cela dans un cours de statistiques élémentaire, en le racontant à mon père. Comme nous étions tous les deux incrédules, j’ai simulé des nombres aléatoires et nous avons essayé le problème. À notre grand étonnement, c'était vrai.
En gros, le problème est que si vous aviez trois portes dans un jeu télévisé, derrière lequel il y a un prix et les deux autres rien, si vous choisissez une porte et que vous êtes informé des deux autres portes, l'une des deux n'est pas une porte. et autorisé à changer votre choix si vous le souhaitez, vous devriez changer votre porte actuelle à la porte restante.
Voici également le lien vers une simulation R: LINK
la source
Le paradoxe de Parrondo:
From wikipdedia : "Le paradoxe de Parrondo, un paradoxe dans la théorie des jeux, a été décrit comme suit : Une combinaison de stratégies perdantes devient une stratégie gagnante. Elle porte le nom de son créateur, Juan Parrondo, qui a découvert le paradoxe en 1996. Une description plus explicative est :
Parrondo a conçu le paradoxe lié à son analyse du cliquet brownien, une expérience de pensée sur une machine censée extraire de l'énergie à partir de mouvements de chaleur aléatoires popularisés par le physicien Richard Feynman. Cependant, le paradoxe disparaît lorsqu'il est rigoureusement analysé ".
Il existe également un paradoxe plus récent, appelé « mélange allison », qui montre que nous pouvons prendre deux séries d’ID et de séries non corrélées, et les brouiller aléatoirement de sorte que certains mélanges puissent créer une série résultante avec une autocorrélation non nulle.
la source
Il est intéressant de noter que le problème des deux enfants et le problème de Monty Hall sont si souvent mentionnés ensemble dans le contexte du paradoxe. Tous deux illustrent un paradoxe apparent illustré pour la première fois en 1889, appelé Box's Paradox de Bertrand, qui peut être généralisé pour représenter l'un ou l'autre. Je trouve cela un "paradoxe" des plus intéressants car les mêmes personnes très instruites et très intelligentes répondent à ces deux problèmes de manière opposée en ce qui concerne ce paradoxe. Il se compare également à un principe utilisé dans les jeux de cartes comme le bridge, appelé Principe de choix restreint, dans lequel sa résolution est testée dans le temps.
Supposons que vous ayez un élément sélectionné au hasard que j'appellerai une "boîte". Chaque case possible a au moins une des deux propriétés symétriques, mais certaines ont les deux. J'appellerai les propriétés "or" et "argent". La probabilité qu'une boîte ne soit que de l'or est P; et puisque les propriétés sont symétriques, P est également la probabilité qu’une boîte ne soit que de l’argent. Cela rend la probabilité qu’une boîte n’ait qu’une propriété 2P, et la probabilité qu’elle ait à la fois 1-2P.
Si on vous dit qu'une boîte est en or, mais pas si elle est en argent, vous pourriez être tenté de dire que les chances qu'il s'agisse simplement d'or sont P / (P + (1-2P)) = P / (1-P). Mais il faudrait alors énoncer la même probabilité pour une boîte d'une couleur si on vous disait que c'était de l'argent. Et si cette probabilité est P / (1-P) chaque fois qu'on vous dit une seule couleur, il faut que ce soit P / (1-P) même si on ne vous dit pas une couleur. Pourtant, nous savons que c'est 2P du dernier paragraphe.
Ce paradoxe apparent est résolu en notant que si une boîte n'a qu'une couleur, il n'y a aucune ambiguïté quant à la couleur qui vous sera racontée. Mais s'il en a deux, il y a un choix implicite. Vous devez savoir comment ce choix a été fait pour répondre à la question. C’est là la racine du paradoxe apparent. Si vous ne le savez pas, vous ne pouvez que supposer qu'une couleur a été choisie au hasard, ce qui donne la réponse P / (P + (1-2P) / 2) = 2P. Si vous insistez sur le fait que P / (1-P) est la réponse, vous supposez implicitement qu’il n’y avait aucune possibilité que l’autre couleur ait été mentionnée à moins qu’il ne s’agisse de la seule couleur.
Dans le problème de Monty Hall, l’analogie pour les couleurs n’est pas très intuitive, mais P = 1/3. Les réponses basées sur les deux portes non ouvertes étant à l' origine aussi susceptibles d' avoir le prix sont Monty Hall a été supposer nécessaire pour ouvrir la porte qu'il a fait, même s'il avait le choix. Cette réponse est P / (1-P) = 1/2. La réponse lui permettant de choisir au hasard est 2P = 2/3 pour la probabilité que la commutation gagne.
Dans le problème des deux enfants, les couleurs de mon analogie se comparent assez bien aux genres. Avec quatre cas, P = 1/4. Pour répondre à la question, nous devons savoir comment on a déterminé qu'il y avait une fille dans la famille. S'il était possible de connaître un garçon de la famille par cette méthode, la réponse est 2P = 1/2, pas P / (1-P) = 1/3. C'est un peu plus compliqué si vous considérez le nom Florida, ou "né le mardi", mais les résultats sont les mêmes. La réponse est exactement 1/2 s'il y avait un choix, et la plupart des énoncés du problème impliquent un tel choix. Et la raison "changer" de 1/3 à 13/27, ou de 1/3 à "presque 1/2", semble paradoxale et non intuitive, c'est parce que l'hypothèse de non-choix est non-intuitive.
Dans le principe de choix restreint, supposons qu'il vous manque un jeu de cartes équivalentes, comme le valet, la reine et le roi de la même couleur. Les chances commencent même si une carte particulière appartient à un adversaire spécifique. Mais après qu'un adversaire en ait joué un, ses chances d’avoir l’un des autres diminuent car il aurait pu jouer cette carte s’il l’avait eue.
la source
la source
Je trouve une illustration graphique simplifiée de l'erreur écologique (ici le paradoxe de vote État riche / État pauvre) m'aide à comprendre intuitivement pourquoi nous assistons à un renversement de la structure du vote lorsque nous agrégons des populations d'État:
la source
Donc, vos données ressemblent potentiellement à ceci:
La proportion de garçons et de filles dans cet échantillon reflétera-t-elle la probabilité générale de donner naissance à un garçon (par exemple 0,5)? La réponse et l'explication peuvent être trouvées dans ce fil .
la source
Ceci est à nouveau le paradoxe de Simpson, mais «à l'envers» ainsi que de l'avant, vient du nouveau livre de Judea Pearl, Causal Inference in Statistics: A Primer [^ 1].
Le paradoxe classique de Simpon fonctionne comme suit: envisagez d'essayer de choisir entre deux médecins. Vous choisissez automatiquement celui qui donne les meilleurs résultats. Mais supposons que celui qui obtient les meilleurs résultats choisisse les cas les plus faciles. Le plus mauvais bilan de l'autre est la conséquence d'un travail plus délicat.
Maintenant qui choisissez-vous? Mieux vaut regarder les résultats stratifiés par difficulté, puis décider.
Il y a un autre côté de la pièce (un autre paradoxe) qui dit que les résultats stratifiés peuvent également vous conduire au mauvais choix.
Cette fois, envisagez de choisir d’utiliser un médicament ou non. Le médicament a un effet secondaire toxique, mais son mécanisme d’action thérapeutique consiste à abaisser la pression artérielle. Globalement, le médicament améliore les résultats dans la population, mais lors de la stratification sur la pression artérielle après le traitement , les résultats sont pires tant dans le groupe hypotenseur que dans le groupe hypotenseur. Comment cela peut-il être vrai? Parce que nous avons involontairement stratifié sur le résultat, et à l'intérieur de chaque résultat, il ne reste plus qu'à observer l'effet secondaire toxique.
Pour clarifier, imaginez que le médicament soit conçu pour soigner les cœurs brisés, et ce en faisant baisser la pression artérielle. Au lieu de stratifier sur la pression artérielle, nous stratifions sur des cœurs fixes. Lorsque le médicament agit, le cœur est fixe (et la pression artérielle sera plus basse), mais certains patients auront également un effet secondaire toxique. Parce que le médicament fonctionne, le groupe «cœur fixe» aura plus de patients qui ont pris le médicament qu'il n'y a de patients prenant le médicament dans le groupe cardiaque «brisé». Plus le nombre de patients prenant le médicament est élevé, plus le nombre de patients subissant des effets indésirables, et apparemment (mais faussement) de meilleurs résultats pour les patients qui n'ont pas pris le médicament.
Les patients qui vont mieux sans prendre le médicament ont simplement de la chance. Les patients qui ont pris le médicament et qui se sont améliorés sont un mélange de ceux qui avaient besoin du médicament pour s’améliorer et de ceux qui auraient été chanceux de toute façon. Examiner uniquement les patients avec «cœur fixe» signifie exclure les patients qui auraient été fixés s'ils avaient pris le médicament. Exclure de tels patients signifie exclure le mal de ne pas prendre le médicament, ce qui signifie que nous ne voyons que le mal de prendre le médicament.
Le paradoxe de Simpson survient lorsqu'il y a une cause au résultat autre que le traitement, telle que le fait que votre médecin ne traite que les cas difficiles. Contrôler pour la cause commune (cas difficiles ou faciles) nous permet de voir le véritable effet. Dans le dernier exemple, nous avons involontairement stratifié sur un résultat et non sur une cause, ce qui signifie que la vraie réponse est dans l'ensemble, pas les données stratifiées.
[^ 1]: Pearl J. Causal Inference in Statistics. John Wiley & Sons; 2016
la source
L'un de mes "favoris", c'est-à-dire que c'est ce qui me rend dingue de l'interprétation de nombreuses études (et souvent par les auteurs eux-mêmes, et pas seulement par les médias) est celui de Survivorship Bias .
Une façon de l’imaginer est de supposer que certains effets sont très préjudiciables aux sujets, à tel point qu’ils ont de très bonnes chances de les tuer. Si les sujets sont exposés à cet effet avant l’étude , alors, au début de l’étude, les sujets exposés encore en vie ont une très grande probabilité d’être exceptionnellement résilients. Sélection littéralement naturelle au travail. Lorsque cela se produit, l’étude indiquera que les sujets exposés sont exceptionnellement en bonne santé (puisque tous les insalubres sont déjà morts ou s’assurent de cesser d’être exposés à l’effet). Cela est souvent interprété à tort comme impliquant que l’exposition est réellement bonne pour les sujets. Ceci est le résultat d'ignorer la troncature (c’est-à-dire en ignorant les sujets qui sont décédés et n’ont pas pu se rendre à l’étude).
De même, les sujets qui cessent d’être exposés à l’effet au cours de l’étude sont souvent extrêmement malsains: c’est parce qu’ils se sont rendus compte que l’exposition continue les tuerait probablement. Mais l'étude observe simplement que ceux qui ont arrêté de fumer sont très malsains!
La réponse de @ Charlie au sujet des bombardiers de la Seconde Guerre mondiale peut être considérée comme un exemple, mais il existe également de nombreux exemples modernes. Un exemple récent sont les études rapportant que boire plus de 8 tasses de café par jour(!!) est lié à une bien meilleure santé cardiaque chez les sujets de plus de 55 ans. Beaucoup de personnes ayant un doctorat ont interprété cela comme "boire du café, c'est bon pour le cœur!", Y compris les auteurs de l'étude. J'ai lu ceci, car vous devez avoir un cœur incroyablement sain pour pouvoir boire 8 tasses de café par jour après 55 ans et ne pas avoir de crise cardiaque. Même si cela ne vous tue pas, dès que quelque chose vous semble préoccupant pour votre santé, tous ceux qui vous aiment (ainsi que votre médecin) vous encourageront immédiatement à cesser de boire du café. D'autres études ont montré que boire autant de café n'avait aucun effet bénéfique chez les groupes les plus jeunes, ce qui, à mon avis, est une preuve supplémentaire que nous constatons un effet de survie plutôt qu'un effet causal positif. Pourtant, il y a beaucoup de docteurs qui courent "
la source
Je suis surpris que personne n'ait encore mentionné le paradoxe de Newcombe , bien qu'il soit davantage discuté dans la théorie de la décision. C'est certainement l'un de mes favoris.
la source
Soit x, y et z des vecteurs non corrélés. Pourtant, x / z et y / z seront corrélés.
la source