Les chercheurs précédents n'ont-ils pas détecté la main chaude simplement en raison d'une erreur statistique?

De nombreux fans / joueurs de basket-ball croient que, après avoir fait plusieurs tirs consécutifs, le coup suivant est plus susceptible d'entrer. C'est ce qu'on appelle parfois la main chaude.

À partir (je pense) de Gilovich, Mallone et Tversky (1985) , il a été "démontré" qu'il s'agissait en fait d'une erreur. Même si plusieurs tirs consécutifs ont été effectués, le prochain coup n'est pas plus susceptible d'entrer que votre pourcentage de prise de vue moyen ne le dicterait.

Miller et Sanjurjo (2015) soutiennent que la main chaude existe en fait et que les chercheurs précédents étaient tout simplement tombés en proie à une erreur statistique assez basique. Leur argument est quelque chose comme ceci:

Lancez une pièce quatre fois. Calculez la probabilité que H suive H.Pour donner quelques exemples: HHTT aurait une probabilité 1/2, HTHT aurait une probabilité 0/2, TTHH aurait une probabilité 0/1 1/1, et TTTT et TTTH seraient tous deux NA

La punchline de Miller et Sanjurjo est que la valeur attendue de cette probabilité n'est pas 0,5, mais ≈0,4. Et l'erreur commise par les chercheurs précédents était de supposer à tort que la valeur attendue de cette probabilité est de 0,5. Donc, si, par exemple, ces chercheurs précédents ont mené l'expérience de retournement de pièces ci-dessus et trouvé la probabilité moyenne de 0,497, ils ont conclu à tort qu'il n'y avait aucune preuve d'une main chaude (pas significativement différente de 0,5), alors qu'en fait il y avait très preuve forte d'une main chaude (significativement différente de 0,4).

Ma question est la suivante: Miller et Sanjurjo ont-ils raison de dire que les chercheurs précédents n'ont pas détecté la main chaude simplement à cause de cette erreur? Je n'ai parcouru qu'un ou deux articles à ce sujet, je voulais donc obtenir une confirmation de quelqu'un ici qui pourrait mieux connaître cette littérature. Cela semble être une erreur étonnamment stupide d'avoir persisté pendant trois décennies ou plus.

(Cette réponse a été entièrement réécrite pour plus de clarté et de lisibilité en juillet 2017.)

Lancez une pièce 100 fois de suite.

Examinez le flip immédiatement après une séquence de trois queues. Soit p ( H | 3 T ) soit la proportion de pièce de monnaie se retourne après chaque série de trois queues dans une rangée qui sont têtes. De même, soit p ( H | 3 H ) soit la proportion de pièce de monnaie se retourne après chaque série de trois têtes dans une rangée qui sont têtes. ( Exemple au bas de cette réponse. )$\hat{p}(H|3T)$$\hat{p}(H|3H)$

Soit .$x:=\hat{p}(H|3H)-\hat{p}(H|3T)$

Si les pièces sont lancées, alors "évidemment", sur de nombreuses séquences de 100 pièces,

(1) devrait se produire aussi souvent que x < 0 .$x>0$$x<0$

(2) .$E(X)=0$

Nous générons un million de séquences de 100 jetons et obtenons les deux résultats suivants:

(I) se produit à peu près aussi souvent que x < 0 .$x>0$$x<0$

(II) ( ˉ x est la moyenne de x sur les millions de séquences).$\bar{x} \approx 0$$\bar{x}$$x$

Et donc nous concluons que les lancers de pièces sont en effet iid et il n'y a aucune preuve d'une main chaude. C'est ce qu'a fait GVT (1985) (mais avec des tirs de basket-ball à la place des lancers de pièces). Et c'est ainsi qu'ils ont conclu que la main chaude n'existe pas.

Punchline: Étonnamment, (1) et (2) sont incorrects. Si les lancers de pièces sont iid, alors il devrait plutôt être que

$x>0$$x<0$$x=0$$x$

$E(X) \approx -0.08$

L'intuition (ou contre-intuition) impliquée est similaire à celle de plusieurs autres puzzles de probabilité célèbres: le problème de Monty Hall, le problème des deux garçons et le principe du choix restreint (dans le jeu de cartes). Cette réponse est déjà assez longue et je vais donc sauter l'explication de cette intuition.

Ainsi, les résultats mêmes (I) et (II) obtenus par GVT (1985) sont en fait des preuves solides en faveur de la main chaude. C'est ce que Miller et Sanjurjo (2015) ont montré.

Analyse approfondie du tableau 4 de GVT.

Beaucoup (par exemple @scerwin ci-dessous) ont - sans prendre la peine de lire GVT (1985) - exprimé leur incrédulité que tout "statisticien qualifié aurait jamais" pris une moyenne des moyennes dans ce contexte.

Mais c'est exactement ce que GVT (1985) a fait dans son tableau 4. Voir leur tableau 4, colonnes 2-4 et 5-6, rangée du bas. Ils trouvent que la moyenne des 26 joueurs,

$\hat{p}(H|1M) \approx 0.47$$\hat{p}(H|1H) \approx 0.48$

$\hat{p}(H|2M) \approx 0.47$$\hat{p}(H|2H) \approx 0.49$

$\hat{p}(H|3M) \approx 0.45$$\hat{p}(H|3H) \approx 0.49$

$k=1,2,3$$\hat{p}(H|kH)>\hat{p}(H|kM)$

Mais si au lieu de prendre la moyenne des moyennes (un geste considéré comme incroyablement stupide par certains), nous refaisons leur analyse et agrégons les 26 joueurs (100 tirs pour chacun, à quelques exceptions près), nous obtenons le tableau suivant des moyennes pondérées.

Any                     1175/2515 = 0.4672

3 misses in a row       161/400 = 0.4025
3 hits in a row         179/313 = 0.5719

2 misses in a row       315/719 = 0.4381
2 hits in a row         316/581 = 0.5439        

1 miss in a row         592/1317 = 0.4495
1 hit in a row          581/1150 = 0.5052

Le tableau indique, par exemple, qu'un total de 2 515 tirs ont été effectués par les 26 joueurs, dont 1 175 ou 46,72% ont été réalisés.

Et sur les 400 cas où un joueur a raté 3 d'affilée, 161 ou 40,25% ont été immédiatement suivis d'un coup sûr. Et sur les 313 cas où un joueur a touché 3 d'affilée, 179 ou 57,19% ont été immédiatement suivis d'un coup.

Les moyennes pondérées ci-dessus semblent être des preuves solides en faveur de la main chaude.

Gardez à l'esprit que l'expérience de tir a été conçue de manière à ce que chaque joueur tire depuis l'endroit où il a été déterminé qu'il pouvait effectuer environ 50% de ses tirs.

(Remarque: "étrangement" assez, dans le tableau 1 pour une analyse très similaire avec les tirs en jeu des Sixers, GVT présente plutôt les moyennes pondérées. Alors pourquoi n'ont-ils pas fait la même chose pour le tableau 4? Je suppose qu'ils a certainement calculé les moyennes pondérées pour le tableau 4 - les chiffres que je présente ci-dessus, n'a pas aimé ce qu'ils ont vu et ont choisi de les supprimer. Ce type de comportement est malheureusement comparable à celui des cours universitaires.)

$HHHTTTHHHHH…H$$\hat{p}(H|3T)=1/1=1$

$\hat{p}(H|3H)=91/92 \approx 0.989$

Le tableau 4 de PS GVT (1985) contient plusieurs erreurs. J'ai repéré au moins deux erreurs d'arrondi. Et aussi pour le joueur 10, les valeurs entre parenthèses dans les colonnes 4 et 6 ne totalisent pas une de moins que celle de la colonne 5 (contrairement à la note en bas). J'ai contacté Gilovich (Tversky est mort et Vallone je ne suis pas sûr), mais malheureusement il n'a plus les séquences originales de coups sûrs et manqués. Le tableau 4 est tout ce que nous avons.

(Avertissement: je ne connais pas cette littérature.) Il me semble que Miller et Sanjurjo critiquent valablement une mesure statistique particulière. Je ne sais pas si cela devrait être considéré comme invalidant tous les travaux antérieurs sur l'effet hot-hand, car ils se concentrent uniquement sur cette mesure particulière.

La mesure est

$M$$\mathbb{E} M > 0$$\mathbb{E} M = 0$

$\mathbb{E} M < 0$$M$

$M$

Aucun des deux articles n'est assez clair en ce qui concerne leurs applications de la statistique, donc dans cette réponse, je vais tenter une clarification.

Gilovich, Mallone et Tversky (1985) définissent dans leur résumé «l'effet Hot-Hand» comme suit:

" Les joueurs de basket-ball et les fans ont tendance à croire que les chances d'un joueur de frapper un coup sont plus grandes après un coup que suite à un coup manqué lors du coup précédent. "

$k$$H_k$$k$$M_k$

là où pour la compacité, il est entendu que le tir en question est celui qui suit immédiatement les coups ou échecs séquentiels. Ce sont des probabilités conditionnelles théoriques (c'est-à-dire des constantes), et non des fréquences empiriques relatives conditionnelles.

$\hat P(H \mid H_k) ,\; \hat P(H\mid M_k)$

$P(H)$

$T\equiv \hat P(H \mid H_k) - \hat P(H\mid M_k)$

$T$

$T$

Par conséquent, s'il y a un problème avec Gilovich et al. papier, ce n'est pas la définition de la Hot-Hand, ce n'est pas la formulation de l'hypothèse nulle, ce n'est pas la sélection de la statistique à utiliser: c'est la validité des valeurs critiques utilisées pour exécuter les tests ( et donc de l'hypothèse de distribution implicite), si en effet la distribution finie de petits échantillons (sous l'hypothèse nulle) est visiblement non centrée à zéro et également asymétrique.

Dans de tels cas, ce que l'on fait habituellement est d'obtenir par simulation des valeurs critiques spéciales afin d'effectuer le test (rappelez-vous par exemple les valeurs critiques spéciales pour le test de Dickey-Fuller pour une racine unitaire). Je n'ai pas vu une telle approche dans le document Miller-Sanjurjo - au lieu de cela, ils effectuent un "ajustement de biais moyen" et constatent qu'après cet ajustement, la conclusion du test est inversée. Je ne suis pas sûr que ce soit la voie à suivre.

$200$$n=100$$p=0.5$
$T_3 = \hat P(H \mid H_3) - \hat P(H\mid M_3)$$-0.0807$$-0.072$$62.5\%$des valeurs étant négatives. L'histogramme empirique est

À mon avis, Miller et Sanjurjo ont simplement mal calculé les fréquences relatives du tableau 1. Leur tableau est montré ci-dessous avec deux nouvelles colonnes ajoutées, qui comptent le nombre de sous-séquences HH et HT qui se produisent dans chaque séquence de 4 tours de pièces. Pour obtenir la probabilité conditionnelle souhaitée p (H | H), il faut additionner ces nombres N (HH) et N (HT) puis diviser comme indiqué ci-dessous. Cela donne p (H | H) = 0,5, comme prévu. Pour une raison quelconque, Miller et Sanjurjo ont d'abord calculé la fréquence relative de chaque séquence, puis ont fait la moyenne sur les séquences. C'est juste faux.

Sequence     Subsequences       N(HH) N(HT)    p(H|H)
TTTT  ->  TT.. , .TT. , ..TT      0     0        -  
TTTH  ->  TT.. , .TT. , ..TH      0     0        -  
TTHT  ->  TT.. , .TH. , ..HT      0     1       0.0 
THTT  ->  TH.. , .HT. , ..TT      0     1       0.0 
HTTT  ->  HT.. , .TT. , ..TT      0     1       0.0 
TTHH  ->  TT.. , .TH. , ..HH      1     0       1.0 
THTH  ->  TH.. , .HT. , ..TH      0     1       0.0 
THHT  ->  TH.. , .HH. , ..HT      1     1       0.5 
HTTH  ->  HT.. , .TT. , ..TH      0     1       0.0 
HTHT  ->  HT.. , .TH. , ..HT      0     2       0.0 
HHTT  ->  HH.. , .HT. , ..TT      1     1       0.5 
THHH  ->  TH.. , .HH. , ..HH      2     0       1.0 
HTHH  ->  HT.. , .TH. , ..HH      1     1       0.5 
HHTH  ->  HH.. , .HT. , ..TH      1     1       0.5 
HHHT  ->  HH.. , .HH. , ..HT      2     1       0.66
HHHH  ->  HH.. , .HH. , ..HH      3     0       1.0 
                                 --    --       ----
                                 12    12       0.40
                            p(H|H)=N(HH)/N(H*)
                                  =12/(12+12)
                                  =0.5

Dans toute séquence observée, le dernier conditionnel est "manquant" dans le sens où il n'y a plus de valeur par la suite. Les auteurs traitent cela en ignorant simplement les cas où cela se produit, en disant qu'ils ne sont pas définis. Si la série est courte, ce choix aura un impact évident sur les calculs. La figure 1 est une belle illustration de cette idée.

Je vais changer un commentaire que j'ai fait ci-dessus en réponse, et prétendre que la réponse à la question d'origine est que les documents originaux sont corrects. Les auteurs de l'article de 2015 lancent des séquences qui devraient logiquement être incluses dans leur analyse, comme je le décris dans le commentaire, et introduisent donc un biais qui soutient leurs affirmations. Le monde fonctionne comme il se doit.

Addendum en réponse au commentaire: Nous examinons le tableau 1 du document. Nous voyons que nous rejetons 4 valeurs de la dernière colonne, donc pour obtenir la différence attendue, nous ne faisons que la moyenne sur 12 des 16 séquences. Si nous regardons ces probabilités comme des fréquences, et nous disons, pour la première ligne TTTT, quelle est la fréquence à laquelle une tête suit une tête, alors logiquement cela se produit toujours, et nous devrions mettre un 1 dans le p (H, H ), pas un tiret. Nous faisons cela pour les trois autres séquences que nous avons jetées, et nous concluons que la valeur attendue de la différence est 0, pas -.33. Nous ne pouvons pas simplement jeter des données comme ça, quand il y a une interprétation logique claire des données.

Notez que pour faire disparaître la dérive, nous devons calculer correctement les probabilités, ce qui n'est pas fait dans le papier. Les probabilités dans le tableau seraient la "probabilité qu'une tête suive une queue, dans cette séquence donnée de quatre lancers". Et nous voyons que pour la ligne TTTH, nous sommes censés croire que la probabilité est de 1/3. Ce n'est pas. Il y a quatre lancers dans la rangée, et l'un des quatre lancers dans cette rangée est l'événement "une tête suit une queue". La probabilité est de 1/4. Calculez donc correctement les probabilités et utilisez toutes les lignes pour obtenir la réponse acceptée depuis 30 ans.