Existe-t-il un moyen utile de définir le «meilleur» intervalle de confiance?

La définition standard (disons) d'un intervalle de confiance (IC) à 95% exige simplement que la probabilité qu'il contienne le vrai paramètre est de 95%. De toute évidence, ce n'est pas unique. Le langage que j'ai vu suggère que parmi les nombreux CI valides, il est généralement logique de trouver quelque chose comme le plus court, ou symétrique, ou connu précisément même lorsque certains paramètres de distribution sont inconnus, etc. En d'autres termes, il ne semble pas y avoir hiérarchie évidente de ce que les CI sont «meilleurs» que les autres.

Cependant, je pensais qu'une définition équivalente de CI est qu'elle se compose de toutes les valeurs telles que l'hypothèse nulle selon laquelle le vrai paramètre est égal à cette valeur ne serait pas rejetée au niveau de signification approprié après avoir vu l'échantillon réalisé. Cela suggère que tant que nous choisissons un test que nous aimons, nous pouvons automatiquement construire le CI. Et il existe une préférence standard parmi les tests basés sur le concept UMP (ou UMP parmi les tests non biaisés).

Y a-t-il un avantage à définir CI comme celui correspondant au test UMP ou quelque chose comme ça?

Un peu long pour un commentaire. Consultez la discussion sur les UMP dans ce document "L'illusion de placer la confiance dans les intervalles de confiance" par Morey et al. En particulier, il existe des exemples où:

"Plus étrange encore, les intervalles de la procédure UMP augmentent initialement en largeur avec l'incertitude des données, mais lorsque la largeur de la probabilité est supérieure à 5 mètres, la largeur de l'intervalle UMP est inversement liée à l'incertitude des données, comme l'intervalle non paramétrique. Les procédures UMP et de distribution d'échantillonnage partagent la distinction douteuse que leurs IC ne peuvent pas être utilisés pour revenir en arrière aux observations. En dépit d'être la procédure "la plus puissante", la procédure UMP jette clairement des informations importantes. "

Le rejet n'est qu'une partie de l'inférence, ne restez pas coincé là-bas. Vous prenez une décision. Disons que vous devez décider d'aller chez un mécanicien lorsque le voyant "vérifier le moteur" s'allume ou de l'oublier.

Donc, votre hypothèse nulle est que le moteur fonctionne bien et que la lumière n'est que la nuisance. Le voyant du moteur de vérification est votre test. Disons que la valeur de p est de 5%, alors que votre signification est$\alpha=0.01$, vous ne pouvez donc pas rejeter la valeur null et poursuivre votre activité. C'est ainsi que la signification statistique fonctionne sous sa forme naïve.

Ce n'est pas ainsi que les décisions doivent être prises et la manière dont l'importance économique doit être prise en compte. Vous devez calculer le coût d'aller avec null vs le rejeter et sélectionner l'hypo alternative.

J'ai complètement omis l'hypothèse alternative dans l'exemple ci-dessus, parce que c'est comme ça que tout le monde le fait: ils pensent que l'hypo alternative est juste une sorte de formalité comme la révérence. Dans la vie réelle, l'alternative est aussi importante que null, car c'est ainsi que vous calculez le coût de ne pas choisir le null. Ce n'est que lorsque vous tenez compte des coûts nuls et alternatifs que vous devriez prendre la décision d'aller ou non chez un mécanicien. La valeur de p et les intervalles de confiance en eux-mêmes n'ont aucune signification à cet égard, seulement en conjonction avec les coûts, ils deviennent significatifs