Quelle sera la bonne réponse si nous modifions la «meilleure question statistique de tous les temps»?

8

Il y a une question populaire, appelée "Meilleure question de statistiques jamais".

Si vous choisissez une réponse à cette question au hasard, quelle est la chance que vous ayez raison?

A) 25% B) 50% C) 60% D) 25%

Cette tâche n'est pas très difficile, la bonne réponse est 0%. Mais si nous le modifions comme ceci:

Si vous choisissez une réponse à cette question au hasard, quelle est la chance que vous ayez raison?

A) 50% B) 25% C) 60% D) 50%

Quelle sera la bonne réponse? Avons-nous deux bonnes réponses: 25% et 50%, ou il n'y a pas de bonne réponse, car avec ces deux bonnes réponses, la chance de choisir la bonne réponse est en fait 75% (mais nous n'avons pas 75% écrit sur le bureau )?

Au fait. La réponse 0% reste-t-elle la bonne réponse, la troisième bonne réponse dans ce cas?

pseudo
la source
1
La réponse, bien sûr, dépend de la façon dont le choix aléatoire est effectué. "Au hasard" ne signifie pas toujours "uniformément au hasard" ...;)
MånsT
Supposons "uniformément au hasard". La logique derrière la question d'origine était: comme une réponse, 25% a une probabilité de 50% d'être choisie, et une réponse de 50% et 60% a une probabilité de 25% d'être choisie, ces réponses ne sont pas correctes. La réponse 0% est correcte, car la probabilité de la choisir est de 0%.
Nick
2
Ce problème a été analysé de manière exhaustive sur math.SE il y a quelque temps.
cardinal
4
@whuber: Voici celui avec le plus de votes . Il y en avait d'autres, mais ils ont peut-être été fermés / fusionnés.
cardinal
2
@Cardinal Merci. Je suppose que je suis heureux de voir qu'il ne semble pas y avoir de réponses profondes ou éclairantes (malgré le vote lourd), car cela signifie qu'il peut y avoir une certaine marge d'exégèse ici :-).
whuber

Réponses:

11

Les paradoxes apparents (de logique ou de probabilité) peuvent être résolus en formulant les questions clairement et soigneusement.

L'analyse suivante est motivée par l'idée de défendre une réponse: lorsqu'un candidat à l'examen peut présenter un état de fait possible (cohérent avec toutes les informations disponibles) dans lequel sa réponse est effectivement correcte, alors il doit être marqué comme correct. De manière équivalente, une réponse est incorrecte en l’absence d’une telle défense; elle est considérée comme correcte sinon. Ceci modélise les interactions habituelles entre les correcteurs (bienveillants, rationnels) et les candidats (rationnels) :-). Le paradoxe apparent est résolu en présentant plusieurs de ces moyens de défense pour la deuxième question, dont un seul pourrait s'appliquer dans tous les cas.


Je prendrai le sens de "aléatoire" dans ces questions dans un sens conventionnel: pour modéliser un choix de réponse aléatoire, j'écrirai chaque réponse sur une feuille de papier ("ticket") et je la mettrai dans une boîte: ce sera quatre billets au total. Sortir un ticket de la boîte (après avoir soigneusement et aveuglément mélangé le contenu de la boîte) est un modèle physique pour un choix "aléatoire". Il motive et justifie un modèle de probabilité correspondant .

Maintenant, que signifie "avoir raison"? Dans mon ignorance, j'explorerai toutes les possibilités. Dans tous les cas, je considère comme certain que zéro, un ou même plusieurs billets peuvent être "corrects". (Comment pourrais-je savoir? Je consulte simplement la feuille de notation!) Je marquerai les réponses "correctes" comme telles en écrivant la valeur sur chaque ticket correct et en écrivant sur les autres. C'est une routine et cela ne devrait pas être controversé.10

Une chose évidente mais importante à noter est que la règle pour écrire ou doit être basée uniquement sur la réponse écrite sur chaque ticket: mathématiquement, c'est un mappage (ou une réaffectation) envoyant l'ensemble des réponses listées ( dans les deux questions) dans l'ensemble . Cette règle est nécessaire pour l'auto-cohérence.01{.25,.50,.60}{0,1}

Passons maintenant à l'élément probabiliste de la question: par définition, la chance d'être correct, sous un tirage aléatoire de tickets, est l' attente des valeurs avec lesquelles ils ont été marqués. L'espérance est calculée en additionnant les valeurs sur les tickets et en les divisant par leur nombre total. Ce sera donc , , , ou .0.25.50.751

Un marquage aura du sens à condition que seuls les tickets dont les réponses correspondent à l'attente soient marqués de s1 . Il s'agit également d'une exigence d'auto-cohérence. Je prétends que c'est le nœud du problème: trouver et interpréter les marquages ​​qui ont du sens. S'il n'y en a pas, la question elle-même peut être qualifiée de vide de sens. S'il y a un marquage unique, alors il n'y aura pas de controverse. Ce n'est que si deux ou plusieurs marquages ​​ont un sens qu'il y aura une difficulté potentielle.

Quels marquages ​​ont du sens?

Nous n'avons même pas besoin de faire une recherche exhaustive. Dans la première question , les attentes inscrites sur les billets sont de 25%, 50% et 60%. Ce dernier est impossible avec quatre billets. Le premier nécessiterait de marquer exactement un ticket; le second, deux billets. Cela donne au maximum marquages ​​possibles à explorer. Le seul marquage qui fait sens met s sur chaque ticket. Pour ce marquage, l'attente est . Cela justifie la réponse affirmée à la première question. (Sans doute, la seule réponse correcte à la première question est de ne sélectionner aucune réponse!)3+3=60(0+0+0+0)/4=0

Dans la deuxième question , les mêmes réponses apparaissent et encore une fois il y a six repères à explorer. Cette fois, trois marquages ​​sont cohérents. Je les tabule:

Solution 1                Solution 2                Solution 3
Ticket Answer Mark        Ticket Answer Mark        Ticket Answer Mark
     A    50%    1             A    50%    0             A    50%    0
     B    25%    0             B    25%    1             B    25%    0
     C    60%    0             C    60%    0             C    60%    0
     D    50%    1             D    50%    0             D    50%    0

Par conséquent, il y a trois définitions distinctes possibles de "correct" dans le deuxième problème, conduisant à ce que A ou D soit correct (dans la solution 1) ou seulement B soit correct (dans la solution 2), ou aucune des réponses ne soit correcte (dans solution 3).

Une façon d'interpréter cet état de fait est que pour chacune des réponses A, B et D, il existe au moins une façon de marquer les tickets qui rend ces réponses correctes. Cela ne signifie pas que les trois sont simultanément corrects: ils ne peuvent pas l'être, car . Si vous étiez le correcteur du test, alors si vous aviez corrigé A, B ou D, vous n’obtiendrez pas d’argument du candidat; mais si vous en avez marqué un incorrect,.25.50 le candidat aurait une base légitime pour contester votre score: il invoquerait la solution 1 ou la solution 2. En effet, si un candidat refusait de répondre à la question, la solution 3 lui donnerait une base légitime pour faire valoir que son non -la réponse devrait également obtenir un crédit complet!

En résumé, cette analyse aborde la deuxième partie de la question en concluant que l' une des réponses suivantes à la question 2 doit être indiquée comme correcte car chacune d'elles est défendable : A, B, D, A et D, et rien. Aucune autre réponse ne peut être défendue et ne serait donc pas correcte.

whuber
la source
1
Quelle est donc votre réponse à la question 2? Il semble que vous ayez donné une explication extrêmement compliquée avec trois réponses cohérentes possibles. Je maintiens toujours que cela indique un problème avec la définition de correct.
Michael R. Chernick
2
@Michael Merci: J'ai ajouté un paragraphe pour rendre les conclusions parfaitement claires. Je reconnais avoir élaboré une réponse relativement longue (ce qui est peut-être justifié par la longueur collective beaucoup plus longue des réponses ici et sur le site de mathématiques). "Immensément compliqué" doit être dans l'œil du spectateur: j'ai travaillé pour rendre les idées aussi simples que possible afin que les lecteurs puissent facilement vérifier que je n'essaye pas de les tromper. Lorsque d'autres affirment qu'il existe un «paradoxe» ou une «question de logique», il est essentiel d'être simple, clair et explicite, bien que cela puisse allonger la durée.
whuber
1
@Michael J'apprécie ça. Je suis un peu méfiant à propos de cette résolution moi-même, car les gens ne sont pas à l'aise avec l'idée qu'il puisse y avoir plusieurs bonnes réponses à des questions simples et claires. J'invite à une évaluation critique de cette idée de «défensibilité» comme moyen de contourner le paradoxe apparent. Pour moi, cela semble être une façon originale de contourner les conclusions négatives auxquelles sont parvenus les autres (à savoir, que la deuxième question est dénuée de sens, ou absurde, ou illogique). La principale valeur de l'examen des paradoxes consiste à encourager un examen plus approfondi des idées fondamentales.
whuber
1
Ah, c'est le point, @Michael: même si les trois sont contradictoires, chacun est défendable. J'ai fourni la défense dans l'explication menant aux solutions tabulées. Soyons pratiques ici: imaginez que vous êtes enseignant dans une institution de l'Ivy League (où les étudiants et leurs parents, malheureusement, sont devenus plutôt litigieux ces dernières années) et que vous avez posé de telles questions dans le cadre d'un examen. Comment les notez-vous? Mon analyse suggère une voie qui est rationnelle, objective, juste et évite les disputes entre l'enseignant et l'élève - même si les élèves peuvent différer entre eux!
whuber
2
Voilà votre problème, @Michael: l'hypothèse qu'il doit y avoir une réponse unique à une question à choix multiples. (Parlez aux médecins que vous connaissez et posez-leur des questions à choix multiples sur leurs examens de certification du conseil: au moins par le passé, plusieurs réponses à chaque question seraient correctes.) Ici, la présence de deux réponses identiques à la deuxième question indique la possibilité que plus d'une réponse à une question puisse être considérée comme correcte.// À ce stade, nous semblons en danger de nous éloigner du problème, donc si vous avez d'autres remarques, veuillez ouvrir un salon de discussion.
whuber
9

Je pense qu'il y a ici un problème de sémantique en plus de la probabilité. Choisir au hasard est clair. Chacun de A, B, C et D sera sélectionné à 25%. Mais que signifie être correct lorsque vous choisissez au hasard? Il semble que cela devrait signifier étant donné que vous choisissez A comme réponse, donnez le% correct d'échantillons qui sera correct et le même pour B, C et D. Donc, vous devez compter 1/4 pour chaque réponse correcte et additionner toutes les bonnes réponses pour obtenir le bon pourcentage. Mais cela conduit à un argument circulaire. D'où le paradoxe. Cela semble vraiment être une question de logique plutôt que de probabilité ou de statistique.

Michael R. Chernick
la source
1
+1. Je me demandais "Mais qu'est-ce que cela signifie d'être correct ...?". Je suis d'accord que cela semble être plus un casse-tête logique qu'une question de probabilité (bien que j'aimerais entendre une explication de quelqu'un sur la raison pour laquelle cette perception est fausse).
Macro
La logique derrière la question d'origine était exactement comme vous l'avez décrite. Comme une réponse de 25% a une probabilité de 50% d'être choisie, et une réponse de 50% et 60% a une probabilité de 25% d'être choisie, ces réponses ne sont pas correctes. La réponse 0% est correcte, car la probabilité de la choisir est de 0%. Cela rappelle l'argument circulaire, mais cela rend-il la question incorrecte?
Nick
@ Nick, je ne pense pas. Je pense que l'argument circulaire le rend indéterminé. Vous ne pouvez pas dire quelles réponses sont correctes et vous ne pouvez pas dire quelles réponses sont incorrectes. Donc 0% n'est pas la réponse. On ne peut pas répondre à la question. Vous pouvez peut-être dire que 60% est incorrect parce que s'il y avait une réponse, il faudrait que ce soit un multiple de 1/4.
Michael R. Chernick
1

whuber donne une excellente analyse où plusieurs réponses sont autorisées. Cependant, il existe également un moyen cohérent de comprendre la question de sorte qu'il n'y a qu'une seule bonne réponse (bien que nous devions l'indiquer dans le cadre de la question):

Si vous choisissez une réponse à cette question au hasard, quelle est la chance que vous ayez raison, étant donné qu'il n'y a qu'une seule bonne réponse?

A) 50% B) 25% C) 60% D) 50%

Encore une fois, nous définirons une réponse "correcte" comme étant une réponse rationnellement défendable et suivrons l'argument de whuber. Un marquage est une carte de l'ensemble des réponses à telle que les réponses correctes sont envoyées à 1 et les réponses incorrectes à 0. Il existe trois marquages ​​auto-cohérents possibles:{0,1}

Solution 1                Solution 2                Solution 3
Ticket Answer Mark        Ticket Answer Mark        Ticket Answer Mark
     A    50%    1             A    50%    0             A    50%    0
     B    25%    0             B    25%    1             B    25%    0
     C    60%    0             C    60%    0             C    60%    0
     D    50%    1             D    50%    0             D    50%    0

Pourtant, nous avons besoin d'une autre étape logique pour les réduire à une seule réponse défendable. En posant ce problème, l'enseignant était confronté à trois marques possibles, chacune pouvant être une réponse unique aussi acceptable que les autres. Cependant, comme une seule réponse peut être correcte, l'enseignant doit choisir au hasard entre elles. Cela attribue une probabilité égale à chaque marquage de sorte que:

  • 1/3 du temps l'étudiant aura raison du temps50%
  • 1/3 du temps l'étudiant aura raison du temps25%
  • 1/3 du temps l'étudiant aura raison du temps0%

Cela se traduit par l'attente que l'élève aura raison % du temps. Ainsi, 25% devrait être la bonne réponse et le marquage de la solution 2 devrait être choisi. Il s'agit d'une mise à jour cohérente de la priorité de l'enseignant sur les trois marquages ​​possibles, c'est-à-dire que si la solution 2 est fixée pour être le bon marquage 100% du temps, alors 25% est toujours la seule réponse correcte.(50+25+0)/3=25

Résumé: Si nous précisons qu'il n'y a qu'une seule bonne réponse, alors cette réponse est de 25%.

WJ Zeng
la source
Pourriez-vous expliquer la justification de "Cependant, comme une seule réponse peut être correcte, l'enseignant doit choisir au hasard entre elles"? Je ne vois pas pourquoi un choix aléatoire est requis à ce stade.
whuber
Bien sûr, il est possible que l'enseignant ait une sorte de parti pris, mais il n'y a aucune raison de penser qu'il y en a un. En l'absence totale de toute autre information, je pense que le rationnel avant de supposer est que le choix suit une distribution uniforme. Faites-moi savoir si cela semble erroné.
WJ Zeng du
Je ne sais pas si c'est faux ou pas, mais l'appeler "le prieur rationnel" ne semble pas du tout être une explication. Ce qui me dérange, c'est que "spécifier qu'il n'y a qu'une seule bonne réponse" pourrait être intrinsèquement contradictoire, auquel cas aucune distribution préalable ne sera pertinente. De plus, le schéma logique de votre argument semble être "si nous supposons qu'il y a une seule réponse correcte et que nous adoptons également une distribution préalable entre les trois réponses correctes possibles, alors nous concluons qu'il existe une réponse correcte unique". Cela semble terriblement circulaire, mais peut-être que cela pourrait être corrigé.
whuber
0

Je pense que la réponse est 1/3. Nous ne savons pas quelle réponse (25%, 50% ou 60%) est correcte. Ainsi, chaque réponse, 25%, 50% et 60% a 1/3 de chance d'être correcte si elle est sélectionnée. Même si 25% apparaît deux fois, il a encore 1/3 de chance d'être la bonne réponse. Peu importe le nombre de fois où 25% apparaît comme réponse. Si elle apparaît 10 fois avec les 50% et les 60%, la probabilité que ce soit la bonne réponse serait toujours de 1/3. Cela suppose qu'une des réponses est correcte. S'il est possible qu'aucune des réponses ne soit correcte, la réponse serait 1/4. Ceci est basé sur mon interprétation de ce que la question demande.

Jamie
la source
1
Cette tentative d'explication échoue car elle confond invalidement l'ignorance (nous ne savons pas laquelle des trois réponses serait correcte) avec la probabilité (en attribuant 1/3 à chaque réponse).
whuber