Pouvons-nous faire des déclarations probabilistes avec des intervalles de prédiction?

J'ai lu les nombreuses excellentes discussions sur le site concernant l'interprétation des intervalles de confiance et des intervalles de prédiction, mais un concept est encore un peu déroutant:

Considérons le framework OLS et nous avons obtenu le modèle ajusté . On nous donne un et on nous a demandé de prédire sa réponse. Nous calculons et, en prime, nous fournissons également un intervalle de prédiction de 95% autour de notre prédiction, a la Obtention d'une formule pour les limites de prédiction dans un modèle linéaire . Appelons cet intervalle de prédiction PI. x*x*T$\hat y = X\hat\beta$$x^*$$x^{*T}\hat\beta$

Maintenant, lequel des énoncés suivants (ou aucun) est la bonne interprétation de PI?

1. Pour en particulier, se situe dans PI avec une probabilité de 95%. y ( x ∗$x^*$$y(x^*)$
2. Si on nous donne un grand nombre de s, cette procédure de calcul des PI couvrira les vraies réponses dans 95% des cas.$x$

D'après le libellé de @ gung dans l' intervalle de prédiction de régression linéaire , il semble que le premier soit vrai (bien que je puisse très bien mal interpréter.) L'interprétation 1 me semble contre-intuitive (dans le sens où nous tirons des conclusions bayésiennes à partir d'une analyse fréquentiste), mais si c'est correct, est-ce parce que nous prédisons la réalisation d'une variable aléatoire par rapport à l' estimation d' un paramètre ?

(Modifier) ​​Question bonus: Supposons que nous connaissions la véritable , c'est-à-dire le processus générant les données, alors serions-nous en mesure de parler des probabilités concernant une prédiction particulière, puisque nous ne regardons que ?$\beta$$\epsilon$

Ma dernière tentative en la matière: nous pouvons «décomposer conceptuellement» (en utilisant le mot de façon très lâche) un intervalle de prédiction en deux parties: (A) un intervalle de confiance autour de la réponse moyenne prédite, et (B) une collection d'intervalles qui ne sont que des quantiles plages du terme d'erreur. (B) nous pouvons faire des déclarations probabilistes, conditionnelles à la connaissance de la vraie moyenne prédite, mais dans l'ensemble, nous ne pouvons traiter les intervalles de prédiction que comme des IC fréquentistes autour des valeurs prédites. Est-ce un peu correct?

Premièrement, en ce qui concerne l'utilisation du mot probabilité, les habitués n'ont pas de problème à utiliser le mot probabilité lorsqu'ils prédisent quelque chose où le morceau aléatoire n'a pas encore eu lieu. Nous n'aimons pas la probabilité de mot pour un intervalle de confiance car le vrai paramètre ne change pas (nous supposons qu'il s'agit d'une valeur fixe, bien qu'inconnue) et l'intervalle est fixe car il est basé sur des données que nous avons déjà collectées. Par exemple, si nos données proviennent d'un échantillon aléatoire d'hommes adultes de sexe masculin et x est leur taille et y est leur poids et que nous ajustons le modèle de régression général, nous n'utilisons pas la probabilité lorsque nous parlons des intervalles de confiance. Mais si je veux parler de la probabilité qu'un homme de 65 pouces de haut soit choisi au hasard parmi tous les hommes de 65 pouces de haut ayant un poids dans un certain intervalle,

Je dirais donc que la réponse à la question bonus est "Oui". Si nous connaissions suffisamment d'informations, nous pourrions calculer la probabilité de voir la valeur ay dans un intervalle (ou trouver un intervalle avec la probabilité souhaitée).

Pour votre relevé intitulé "1." Je dirais que c'est OK si vous utilisez un mot comme "approximatif" lorsque vous parlez de l'intervalle ou de la probabilité. Comme vous le mentionnez dans la question bonus, nous pouvons décomposer l'incertitude en un morceau sur le centre de la prédiction et un morceau sur le caractère aléatoire autour de la vraie moyenne. Lorsque nous les combinons pour couvrir toute notre incertitude (et en supposant que le modèle / la normalité est correct), nous avons un intervalle qui aura tendance à être trop large (mais qui peut aussi être trop étroit), donc la probabilité d'un nouveau point choisi au hasard tomber dans l'intervalle de prédiction ne sera pas exactement de 95%. Vous pouvez le voir par simulation. Commencez avec un modèle de régression connu avec tous les paramètres connus. Choisissez un échantillon (parmi plusieurs valeurs x) dans cette relation, ajustez une régression, et calculer le ou les intervalles de prédiction. Générez à nouveau un grand nombre de nouveaux points de données à partir du vrai modèle et comparez-les aux intervalles de prédiction. Je l'ai fait plusieurs fois en utilisant le code R suivant:

x <- 1:25
y <- 5 + 3*x + rnorm(25, 0, 5)
plot(x,y)

fit <- lm(y~x)
tmp <- predict(fit, data.frame(x=1:25), interval='prediction')

sapply( 1:25, function(x){ 
    y <- rnorm(10000, 5+3*x, 5)
    mean( tmp[x,2] <= y & y <= tmp[x,3] )
})

J'ai exécuté le code ci-dessus à quelques reprises (environ 10, mais je n'ai pas gardé un compte prudent) et la plupart du temps, la proportion de nouvelles valeurs tombant dans les intervalles variait entre 96% et 98%. J'ai eu un cas où l'écart-type estimé était très faible, où les proportions se situaient entre 93% et 94%, mais tous les autres étaient supérieurs à 95%. Je serais donc satisfait de votre déclaration 1 avec le changement à "environ 95%" (en supposant que toutes les hypothèses sont vraies ou suffisamment proches pour être couvertes dans les approximativement).

De même, l'énoncé 2 a besoin d'un "approximativement" ou similaire, car pour couvrir notre incertitude, nous capturons en moyenne plus de 95%.

Le second est meilleur. Le premier dépend des autres informations connues.

En utilisant un exemple aléatoire, il est vrai que "95% des intervalles (à 95% de confiance) incluraient la vraie moyenne de [insérer la variable]".

En revanche, si un résultat est évidemment contre-intuitif, nous ne pouvons pas affirmer (1).

Par exemple, "mon test de signification à 95% de confiance montre que la taille et le poids sont négativement corrélés". Eh bien, c'est évidemment faux, et nous ne pouvons pas dire qu'il y a "95% de probabilité que ce soit vrai". Il y a en fait, compte tenu des connaissances antérieures, une très faible probabilité que cela soit vrai. Il est cependant valable de dire que "95% de ces tests auraient donné un résultat correct".