Probabilité que l'hypothèse nulle soit vraie

14

Donc, cela peut être une question courante, mais je n'ai jamais trouvé de réponse satisfaisante.

Comment déterminez-vous la probabilité que l'hypothèse nulle soit vraie (ou fausse)?

Supposons que vous offriez aux élèves deux versions différentes d'un test et que vous vouliez voir si les versions étaient équivalentes. Vous effectuez un test t et il donne une valeur de p de 0,02. Quelle belle valeur p! Cela doit signifier qu'il est peu probable que les tests soient équivalents, non? Non. Malheureusement, il semble que P (résultats | null) ne vous indique pas P (null | résultats). La chose normale à faire est de rejeter l'hypothèse nulle lorsque nous rencontrons une faible valeur de p, mais comment savons-nous que nous ne rejetons pas une hypothèse nulle qui est très probablement vraie? Pour donner un exemple idiot, je peux concevoir un test pour Ebola avec un taux de faux positifs de 0,02: mettez 50 boules dans un seau et écrivez «Ebola» sur une. Si je teste quelqu'un avec cela et qu'il choisit la balle «ebola», la valeur de p (P (choisir la balle | ils n'ont pas d'ebola)) est 0,02,

Les choses que j'ai considérées jusqu'à présent:

  1. En supposant que P (null | résultats) ~ = P (résultats | null) - clairement faux pour certaines applications importantes.
  2. Accepter ou rejeter une hypothèse sans connaître P (null | résultats) - Pourquoi les acceptons-nous ou les rejetons-nous alors? N'est-ce pas tout le point que nous rejetons ce que nous pensons être vraisemblablement faux et acceptons ce qui est vraisemblablement vrai?
  3. Utilisez le théorème de Bayes - Mais comment obtenez-vous vos prieurs? Ne vous retrouvez-vous pas au même endroit en essayant de les déterminer expérimentalement? Et les choisir a priori semble très arbitraire.
  4. J'ai trouvé une question très similaire ici: stats.stackexchange.com/questions/231580/. La seule réponse ici semble dire essentiellement que cela n'a pas de sens de poser des questions sur la probabilité qu'une hypothèse nulle soit vraie car c'est une question bayésienne. Je suis peut-être un bayésien dans l'âme, mais je ne peux pas imaginer ne pas poser cette question. En fait, il semble que l'incompréhension la plus courante des valeurs de p soit qu'elles soient la probabilité d'une vraie hypothèse nulle. Si vous ne pouvez vraiment pas poser cette question en tant que fréquentateur, alors ma principale question est # 3: comment obtenez-vous vos priors sans vous coincer dans une boucle?

Edit: Merci pour toutes les réponses réfléchies. Je veux aborder quelques thèmes communs.

  1. Définition de la probabilité: je suis sûr qu'il y a beaucoup de littérature à ce sujet, mais ma conception naïve est quelque chose comme "la croyance qu'un être parfaitement rationnel aurait donné l'information" ou "les cotes de paris qui maximiseraient le profit si la situation a été répété et les inconnues ont pu varier ".
  2. Peut-on jamais connaître P (H0 | résultats)? Certes, cela semble être une question difficile. Je crois cependant que chaque probabilité est théoriquement connaissable, car la probabilité est toujours conditionnelle à l'information donnée. Chaque événement se produira ou ne se produira pas, donc la probabilité n'existe pas avec des informations complètes. Elle n'existe que lorsque les informations sont insuffisantes, elle doit donc être connue. Par exemple, si on me dit que quelqu'un a une pièce de monnaie et qu'on me demande la probabilité d'avoir des têtes, je dirais 50%. Il peut arriver que la pièce pèse 70% des têtes, mais je n'ai pas reçu cette information, donc la probabilité était de 50% pour les informations que je possédais, tout comme si elle atterrissait sur la queue, la probabilité était de 70% têtes quand j'ai appris cela. La probabilité étant toujours conditionnée à un ensemble de données (insuffisantes),
    Edit: "Always" peut être un peu trop fort. Il peut y avoir des questions philosophiques pour lesquelles nous ne pouvons pas déterminer la probabilité. Pourtant, dans des situations réelles, alors que nous ne pouvons «presque jamais» avoir une certitude absolue, il devrait «presque toujours» y avoir une meilleure estimation.
probability hypothesis-testing bayesian Kalev Maricq
la source
1
Si votre `` hypothèse nulle '' est quelque chose comme , c'est-à-dire qu'une certaine différence est nulle, alors le rejeter signifie que vous avez trouvé des preuves suffisamment solides que H A : θ = 0 . Vous pouvez plutôt utiliser une hypothèse nulle comme , c'est-à-dire qu'une certaine différence est au moins aussi grande que (où est ce que le chercheur considère comme la plus petite différence qui l'intéresse), et le rejet signifie que vous avez trouvé (c'est-à dire ). Voir les tests d'équivalenceH0:θ=0HA:θ=0Δ Δ H A : | θ | < Δ - Δ < θ < ΔH0:|θ|≥ΔΔΔHA:|θ|<Δ−Δ<θ<Δstats.stackexchange.com/tags/tost/info
Alexis
La puissance d'une expérience (et du test statistique analysant les résultats de l'expérience) est la probabilité que s'il y avait un effet d'une taille donnée ou plus grande, l'expérience la détecte à un seuil de signification donné. statisticsdonewrong.com/power.html
Bennett Brown
voir stats.stackexchange.com/questions/166323/…
Votre exemple de pièce est bon. Cela montre que vous ne pouvez jamais connaître P (H0 | résultats) si vous ne connaissez que les résultats et ne faites aucune autre hypothèse . Avez - vous connaissez la probabilité de têtes dans un jet donné « en supposant » une certaine équité de la médaille? Oui. (mais cela est hypothétique, compte tenu des hypothèses, et vous ne saurez jamais si vos hypothèses sont vraies) Est - ce que vous connaissez la probabilité de têtes dans un jet donné , tout en sachant un certain nombre de résultats précédents. Non! et peu importe le nombre de résultats antérieurs que vous connaissez. Vous ne pouvez pas connaître exactement les têtes de probabilité au prochain lancer.
Sextus Empiricus

Réponses:

13

Vous avez certainement identifié un problème important et le bayésianisme est une tentative pour le résoudre. Vous pouvez choisir un préalable non informatif si vous le souhaitez. Je laisserai les autres approfondir l'approche de Bayes.

Cependant, dans la grande majorité des cas, vous savezle nul est faux dans la population, vous ne savez tout simplement pas l'ampleur de l'effet. Par exemple, si vous faites une hypothèse totalement ridicule - par exemple que le poids d'une personne est lié à la question de savoir si son SSN est impair ou pair - et que vous parvenez d'une manière ou d'une autre à obtenir des informations précises de l'ensemble de la population, les deux moyens ne seront pas exactement égaux. Ils différeront (probablement) d'un montant insignifiant, mais ils ne correspondront pas exactement. «Si vous suivez cette voie, vous mettrez moins l'accent sur les valeurs de p et les tests de signification et passerez plus de temps à examiner l'estimation de la taille de l'effet et sa précision. Donc, si vous avez un très grand échantillon, vous pourriez constater que les personnes avec un SSN impair pèsent 0,001 livres de plus que les personnes avec même SSN, et que l'erreur standard pour cette estimation est de 0,000001 livres, donc p <0,05 mais personne ne devrait s'en soucier.

Peter Flom - Réintégrer Monica
la source
1
Non pas que je sois en désaccord avec vous, mais ne pensez-vous pas que lorsqu'il s'inquiète pour p (données | H0) ou p (H0 | données), il parle d'études avec un faible . L'exemple que vous donnez est facile dans les deux cadres bayésien et fréquentiste car leurs faiblesses / subjectivités respectives n'ont pas d'importance à la lumière des données abondantes. La seule erreur que vous pouvez encore commettre dans cette situation qui importe est de confondre la signification avec la taille de l'effet. n
David Ernst
1
Bon point sur la taille de l'effet. Existe-t-il un analogue à des situations comme le dépistage d'une maladie, où la question est de nature booléenne?
Kalev Maricq
1
FWIW, je suis parfaitement disposé à croire qu'il n'y a pas de relation entre le poids d'une personne et si son SSN est impair ou pair. Dans une étude observationnelle, ces variables seront corrélées avec d'autres variables, etc., de sorte qu'il y aura finalement une association marginale non nulle. Je pense que le point valable est que, pour la plupart des choses que les chercheurs investissent leur temps pour enquêter, il y a une bonne raison de soupçonner qu'il y a vraiment un effet non nul.
gung - Rétablir Monica
1
@gung vous pouvez croire tout ce que vous voulez, mais il y a certainement une relation non nulle entre le poids et le SSN. Nous ne savons rien de plus sur la relation que son existence et qu'elle est probablement petite.
emory
1
Je sais que le poids est une variable continue. Bien que nous puissions l'enregistrer comme un nombre entier de kilogrammes. Votre commentaire portait sur une étude observationnelle (tirant des conclusions sur une population à partir d'un échantillon). Étant donné que mon étude est financée par des dollars hypothétiques, il s'agit d'une étude de population utilisant des échelles de précision infinies - pas besoin d'inférence statistique.
emory
3

Pour répondre à cette question, vous devez définir la probabilité. Cela est dû au fait que l'hypothèse nulle est soit vraie (sauf qu'elle ne l'est presque jamais lorsque l'on considère des hypothèses nulles point), soit fausse. Une définition est que ma probabilité décrit ma croyance personnelle quant à la probabilité que mes données proviennent de cette hypothèse par rapport à la probabilité que mes données proviennent des autres hypothèses que je considère. Si vous partez de ce cadre, votre préalable est simplement votre croyance basée sur toutes vos informations précédentes mais à l'exclusion des données à portée de main.

jaradniemi
la source
Bon point. Je pense que mon idée de la probabilité est quelque chose comme "la croyance parfaitement rationnelle" au lieu de ma propre idée. J'ai modifié ma question pour répondre à vos points.
Kalev Maricq
2

L'idée clé est que, en gros, vous pouvez montrer empiriquement que quelque chose est faux (juste fournir un contre-exemple), mais vous ne pouvez pas montrer que quelque chose est vraiment vrai (vous devrez tester "tout" pour montrer qu'il n'y a pas de contre-exemples).

La falsifiabilité est la base de la méthode scientifique: vous supposez qu'une théorie est correcte, et vous comparez ses prédictions à ce que vous observez dans le monde réel (par exemple, la théorie gravitationnelle de Netwon était considérée comme "vraie", jusqu'à ce qu'il soit découvert qu'elle ne fonctionne pas trop bien dans des circonstances extrêmes).

C'est aussi ce qui se passe dans le test d'hypothèse: lorsque P (résultats | null) est faible, les données contredisent la théorie (ou vous n'avez pas eu de chance), il est donc logique de rejeter l'hypothèse nulle. En fait, supposons que null est vrai, alors P (null) = P (null | results) = 1, donc la seule façon dont P (results | null) est faible est que P (results) soit faible (malchance).

En revanche, lorsque P (résultats | null) est élevé, qui sait. Peut-être que null est faux, mais P (résultat) est élevé, auquel cas vous ne pouvez vraiment rien faire, en plus de concevoir une meilleure expérience.

Permettez-moi de répéter: vous ne pouvez que montrer que l'hypothèse nulle est (probablement) fausse. Je dirais donc que la réponse est la moitié de votre deuxième point: vous n'avez pas besoin de connaître P (null | results) lorsque P (results | null) est faible afin de rejeter null, mais vous ne pouvez pas dire que null est vrai, il P (résultats | null) est élevé.

C'est aussi pourquoi la reproductibilité est très importante: il serait suspect d'être malchanceux cinq fois sur cinq.

Ours noir
la source
H0:Hunelternunetjeve:
Je suis d'accord avec Martijn. Si vous pouvez me dire comment déterminer la probabilité que l'hypothèse nulle soit fausse, je considérerais que c'est une bonne réponse à ma question.
Kalev Maricq
μ1000P(μ1000=3,50)
2

-------------------------------------------------- ---------------------

(modifier: je pense qu'il serait utile de mettre une version de mon commentaire à cette question en haut dans cette réponse, car elle est beaucoup plus courte)

Le calcul non symétrique de p (a | b) se produit lorsqu'il est considéré comme une relation causale, comme p (hypothèse de résultat). Ce calcul ne fonctionne pas dans les deux sens: une hypothèse provoque une distribution des résultats possibles, mais un résultat ne provoque pas une distribution des hypothèses.

P (résultat | hypothèse) est la valeur théorique basée sur l'hypothèse de la relation de causalité -> résultat.

Si p (a | b) exprime une corrélation, ou une fréquence observée (pas nécessairement une relation causale), alors elle devient symétrique. Par exemple, si nous notons le nombre de matchs qu'une équipe sportive gagne / perd et le nombre de matchs qu'une équipe sportive marque moins ou égal à / plus de 2 buts dans un tableau de contingence. Alors P (victoire | score> 2) et P (score> 2 | victoire) sont des objets expérimentaux / observationnels (non théoriques) similaires.

-------------------------------------------------- -------------------

Très simpliste

L'expression P (résultat | hypothèse) semble si simple qu'elle fait penser facilement que l'on peut simplement inverser les termes. Cependant, le «résultat» est une variable stochastique, avec une distribution de probabilité (compte tenu de l'hypothèse). Et «l'hypothèse» n'est pas (typiquement) une variable stochastique. Si nous faisons de «l'hypothèse» une variable stochastique, cela implique une distribution de probabilité de différentes hypothèses possibles, de la même manière que nous avons une distribution de probabilité de résultats différents. (mais les résultats ne nous donnent pas cette distribution de probabilité d'hypothèse, et changent simplement la distribution, au moyen du théorème de Bayes)

Un exemple

Supposons que vous ayez un vase avec des billes rouges / bleues dans un rapport 50/50 à partir duquel vous tirez 10 billes. Ensuite, vous pouvez facilement exprimer quelque chose comme P (résultat | expérience en vase), mais cela n'a pas de sens d'exprimer P (expérience en vase | résultat). Le résultat n'est pas (à lui seul) la distribution de probabilité des différentes expériences possibles en vase.

Si vous avez plusieurs types d'expériences possibles en vase, dans ce cas, il est possible d'utiliser express quelque chose comme P (type d'expérience en vase) et d'utiliser la règle de Bayes pour obtenir un P (type d'expérience en vase | résultat), car maintenant le type de l'expérience en vase est une variable stochastique. (note: plus précisément c'est P (type d'expérience en vase | résultat & distribution du type d'expériences en vase))

Pourtant, ce P (type d'expérience en vase | résultat) nécessite une (méta-) hypothèse sur une distribution initiale P donnée (type d'expérience en vase).

Intuition

peut-être que l'expression ci-dessous aide à comprendre la seule direction

X) Nous pouvons exprimer la probabilité de X étant donné une hypothèse sur X.

Donc

1) Nous pouvons exprimer la probabilité des résultats à partir d'une hypothèse sur les résultats.

et

2) On peut exprimer la probabilité d'une hypothèse à partir d'une (méta) hypothèse sur ces hypothèses.

C'est la règle de Bayes qui nous permet d'exprimer un inverse de (1) mais nous avons besoin de (2) pour cela, l'hypothèse doit être une variable stochastique.

Le rejet comme solution

On ne peut donc pas obtenir une probabilité absolue pour une hypothèse compte tenu des résultats. C'est un fait de la vie, essayer de lutter contre ce fait semble être à l'origine de ne pas trouver de réponse satisfaisante. La solution pour trouver une réponse satisfaisante est: accepter que vous ne pouvez pas obtenir une probabilité (absolue) pour une hypothèse.

Frequentists

De la même manière que de ne pas pouvoir accepter une hypothèse, nous ne devons pas non plus (automatiquement) rejeter l'hypothèse lorsque P (résultat | hypothèse) est proche de zéro. Cela signifie seulement qu'il existe des preuves qui soutiennent le changement de nos croyances et cela dépend aussi de P (résultat) et P (hypothèse) comment nous devons exprimer nos nouvelles croyances.

Lorsque les fréquentistes ont un schéma de rejet, c'est bien. Ce qu'ils expriment n'est pas la question de savoir si une hypothèse est vraie ou fausse, ni la probabilité de tels cas. Ils ne sont pas en mesure de le faire (sans prieurs). Ce qu'ils expriment plutôt, c'est quelque chose au sujet du taux d'échec (confiance) de leur méthode (étant donné que certaines hypothèses sont vraies).

Omniscient

Une façon de sortir de tout cela est d'éliminer le concept de probabilité. Si vous observez la population entière de 100 billes dans le vase, vous pouvez exprimer certaines déclarations sur une hypothèse. Donc, si vous devenez omniscient et que le concept de probabilité n'est pas pertinent, vous pouvez indiquer si une hypothèse est vraie ou non (bien que la probabilité soit également hors de l'équation)

Sextus Empiricus
la source
Votre exemple de vase a du sens. Cependant, dans la vraie vie, nous ne savons presque jamais combien de billes de chaque couleur sont dans le vase. Je me retrouve toujours avec une question plus comme "Y a-t-il plus de billes rouges que bleues" et mes données sont que j'ai tiré 4 billes rouges et 1 marbre bleu du vase. Maintenant, je peux faire des hypothèses comme "il y a probablement ~ 100 billes et chaque marbre est rouge ou bleu avec une probabilité de 50%" mais dans la vraie vie, je me retrouve souvent à court de savoir comment obtenir de manière non arbitraire et non circulaire ces prieurs.
Kalev Maricq
C'est plus une question épistémologique qu'un problème de probabilité. Une expression comme P (résultat | hypothèse) est de la même manière "fausse", je veux dire, c'est une expression hypothétique. Vous pouvez exprimer la probabilité d'un résultat, étant donné une certaine croyance hypothétique à propos de la «réalité». De la même manière qu'une probabilité pour un résultat expérimental est hypothétique, une expression pour la probabilité d'une théorie (avec ou sans observation d'un résultat), nécessite une certaine croyance hypothétique à propos de la «réalité». Oui, les antérieurs sont quelque peu arbitraires. Mais il en va de même pour une hypothèse.
Sextus Empiricus
Parler des probabilités. Notez que la règle de Bayes est d'environ deux variables stochastiques: P (a | b) P (b) = P (b | a) P (a). Vous pouvez relier les probabilités conditionnelles. Si l'un de ces P (b | a) est une relation causale , comme dans «la théorie conduit à la distribution des résultats», alors vous pouvez le calculer exactement. Un tel cas est uniquement dû à la causalité (unidirectionnelle). L'hypothèse permet de connaître (hypothétique) tout ce dont vous avez besoin, les billes dans le vase. L'inverse, ne fonctionne pas. Un résultat expérimental 4 rouge vs 1 bleu, ne provoque pas la distribution de probabilité des billes dans le vase.
Sextus Empiricus