Quelle est la différence entre estimation et prédiction?

46

Par exemple, j'ai des données historiques sur les pertes et je calcule des quantiles extrêmes (perte potentielle ou valeur maximale probable). Les résultats obtenus servent à estimer la perte ou à la prédire? Où peut-on tracer la ligne? Je suis confus.

estimation predictor prediction-interval melon
la source

4

Une discussion étroitement liée est consacrée à la différence entre les intervalles de confiance et les intervalles de prévision à l' adresse stats.stackexchange.com/questions/16493 .

whuber

66

"Prédiction" et "estimation" sont en effet parfois utilisés de manière interchangeable dans une écriture non technique et semblent fonctionner de la même manière, mais ils sont nettement différenciés dans le modèle standard d'un problème statistique. Un estimateur utilise des données pour deviner un paramètre, tandis qu'un prédicteur utilise ces données pour deviner une valeur aléatoire ne faisant pas partie du jeu de données. Pour ceux qui ne sont pas familiarisés avec ce que "paramètre" et "valeur aléatoire" signifient dans les statistiques, voici une explication détaillée.

Dans ce modèle standard, les données sont supposées constituer une observation (éventuellement multivariée) d'une variable aléatoire dont on sait que la distribution se situe dans un ensemble défini de distributions possibles, les "états de la nature". Un estimateur est une procédure mathématique qui attribue à chaque valeur possible de une propriété d’état de nature , telle que sa moyenne . Ainsi, une estimation est une conjecture sur le véritable état de la nature. Nous pouvons dire à quel point une estimation est bonne en comparant $\mathbf{x}$ $X$ $t$ $\mathbf{x}$ $t(\mathbf{x})$ $\theta$ $\mu(\theta)$ $t(\mathbf{x})$ à . $\mu(\theta)$

Un prédicteur concerne l'observation indépendante d'une autre variable aléatoire dont la distribution est liée au véritable état de la nature. Une prédiction est une conjecture sur une autre valeur aléatoire. Nous pouvons dire à quel point une prédiction particulière est seulement en comparant à la valeur réalisée par . Nous espérons qu’en moyenne l’accord sera bon (dans le sens d’une moyenne sur tous les résultats possibles et simultanément sur toutes les valeurs possibles de ). $p(\mathbf{x})$ $Z$ $p(\mathbf{x})$ $Z$ $\mathbf{x}$ $Z$

Les moindres carrés ordinaires donnent l'exemple standard. Les données consistent en des paires associant les valeurs de la variable dépendante aux valeurs de la variable indépendante. L'état de nature est spécifié par trois paramètres , et : il est dit que chaque est comme un tirage indépendant d'une distribution normale avec une moyenne et un écart type . , et $(x_i,y_i)$ $y_i$ $x_i$ $\alpha$ $\beta$ $\sigma$ $y_i$ $\alpha + \beta x_i$ $\sigma$ $\alpha$ $\beta$ sont des paramètres (nombres) supposés fixes et non variables. L'intérêt porte sur (l'ordonnée à l'origine) et (la pente). Les OLS estiment, écrit , est bon dans le sens où tend à être proche de et ont tendance à être proche de ,peu importevaleurs que la vraie (mais inconnue) de et pourrait être. $\sigma$ $\alpha$ $\beta$ $(\hat{\alpha}, \hat{\beta})$ $\hat{\alpha}$ $\alpha$ $\hat{\beta}$ $\beta$ $\alpha$ $\beta$

La prédiction OLS consiste à observer une nouvelle valeur de la variable dépendante associée à une valeur de la variable indépendante. peut être ou ne pas être parmi les de l'ensemble de données; c'est immatériel. Une bonne prédiction est intuitivement que cette nouvelle valeur est susceptible d'être proche de . De meilleures prévisions indiquent à quel point la nouvelle valeur peut être proche (on les appelle des intervalles de prédiction ). Ils représentent le fait que $Z = Y(x)$ $x$ $x$ $x_i$ $\hat{\alpha} + \hat{\beta}x$ $\hat{\alpha}$ et sont incertaines (car ils dépendent de mathématiquement les valeurs aléatoires ), que est pas connue avec certitude (et doit donc être estimée), ainsi que l'hypothèse selon laquelle a une distribution normale avec écart type et moyenne (notez l’absence de chapeau!). $\hat{\beta}$ $(y_i)$ $\sigma$ $Y(x)$ $\sigma$ $\alpha + \beta x$

$(x_i,y_i)$ $\sigma$ $Y(x)$ $Y(x)$ $\hat{\alpha} + \hat{\beta}x$ $\alpha+\beta x$ $p(\mathbf{x})$ $t(\mathbf{x})$

Ici, alors, dans l'exemple de MCO, nous voyons clairement la distinction: une estimation devine les paramètres (qui sont des nombres fixes mais inconnus), tandis qu'une prédiction devine la valeur d'une quantité aléatoire. La source de confusion potentielle est que la prédiction s'appuie généralement sur les paramètres estimés et peut même avoir la même formule qu'un estimateur.

En pratique, vous pouvez distinguer les estimateurs des prédicteurs de deux manières:

but : un estimateur cherche à connaître une propriété du véritable état de nature, alors qu'une prédiction cherche à deviner le résultat d'une variable aléatoire; et
incertitude : un prédicteur a généralement une incertitude plus grande que celle d'un estimateur associé, en raison de l'incertitude supplémentaire liée au résultat de cette variable aléatoire. Par conséquent, les prédicteurs bien documentés et décrits comportent généralement des bandes d’incertitude - des intervalles de prévision - qui sont plus larges que les bandes d’incertitude des estimateurs, appelées intervalles de confiance. Une caractéristique des intervalles de prédiction est qu'ils peuvent (hypothétiquement) être réduits au fur et à mesure que le jeu de données se développe, mais ils ne seront pas réduits à une largeur nulle - l'incertitude du résultat aléatoire est "irréductible" - alors que la largeur des intervalles de confiance tend à réduire à zéro, ce qui correspond à notre intuition selon laquelle la précision d'une estimation peut devenir arbitrairement bonne avec des quantités suffisantes de données.

En appliquant ceci à l’évaluation de la perte potentielle sur un investissement, considérez d’abord le but: voulez-vous savoir combien vous pourriez perdre réellement sur cet investissement (ou sur ce panier d’investissements) au cours d’une période donnée, ou bien devinez-vous vraiment quelle est la perte attendue (sur un vaste univers d'investissements, peut-être)? Le premier est une prédiction, le dernier une estimation. Alors considérez l'incertitude. Comment votre réponse changerait-elle si vous disposiez de ressources presque infinies pour collecter des données et effectuer des analyses? Si cela devenait très précis, vous estimez probablement le retour sur investissement attendu, alors que si vous restez très incertain quant à la réponse, vous faites une prédiction.

Ainsi, si vous ne savez toujours pas à quel animal vous avez affaire, demandez ceci à votre estimateur / prédicteur: dans quelle mesure est-il faux et pourquoi? Grâce aux critères (1) et (2), vous saurez ce que vous avez.

whuber
la source

Réponse très intéressante! Pouvez-vous nous fournir des références à ce sujet?

user1420303

2

F

$F$

y = α + β x + u_{i} + ϵ

$y=\alpha+\beta x + u_i + \epsilon$

u_{i} \sim N (0, σ_{u}^{2})

$u_i \sim \mathcal N(0, \sigma^2_u)$

α, β, σ,

$\alpha, \beta, \sigma,$

σ_{u}

$\sigma_u$

y

$y$

u_{i}

$u_i$

n \to \infty

$n \to \infty$

u_{i}

$u_i$

2

u_{i}

$u_i$

2

@whuber Le point le plus important que vous avez souligné est que les estimateurs visent toujours à approximer une quantité de nature non stochastique / non aléatoire comme les paramètres d'un modèle de reflex; les prédicteurs visent toujours à approximer une quantité de nature stochastique / aléatoire comme une variable de réponse (y compris le terme d'erreur) dans un modèle de reflex. Ce point est souligné dans les premières œuvres de Rao.

Henry.L

8

L'estimation est toujours pour un paramètre inconnu alors que la prédiction est pour une variable aléatoire.

Arif
la source

5

Vous prédisez la réalisation d'une variable aléatoire tout en estimant un paramètre d'une variable aléatoire (par exemple, sa valeur attendue).

Richard Hardy

@ CowboyTrader, je ne connais pas suffisamment l'estimation de la densité du noyau pour commenter votre affirmation.

Richard Hardy

2

Il n'y a pas de différence dans les modèles. Il y a en effet une (légère) différence dans l'action menée. L'estimation est la calibration de votre modèle probabiliste en utilisant des données ("apprendre" dans la terminologie de l'IA). La prédiction est la "devinette" d'une observation future. En supposant que cette "estimation" soit basée sur des données antérieures, il pourrait s'agir d'un cas d'estimation; telles que la prédiction de la taille de la prochaine personne que vous allez rencontrer en utilisant une estimation de la taille moyenne de la population. Notez cependant que cette prédiction n’est pas toujours une instance d’estimation. Le sexe de la prochaine personne que vous allez rencontrer n'est pas un paramètre de la population au sens classique du terme. Prédire le genre peut nécessiter une estimation, mais il en faudra encore plus ...

Dans le cas de la valeur en risque, la prévision et l'estimation coïncident puisque la perte prévue est l' estimation de la perte attendue.

JohnRos
la source

2

Vous commencez bien avec une distinction correcte entre estimation et prédiction, mais ensuite les deux derniers tiers de la réponse semblent confondre à nouveau prédiction avec estimation. L'introduction de l'exemple de genre devient encore plus confuse, car elle n'est pas liée à la distinction initiale (en fait, c'est absurde, car il s'agit d'un changement de modèle statistique entre l'étape d'estimation et l'étape de prédiction).

whuber

0

La prédiction consiste à utiliser une fonction de régression de l’échantillon pour estimer une valeur pour la variable dépendante, conditionnée par certaines valeurs non observées de la variable indépendante.

L'estimation est le processus ou la technique de calcul d'un paramètre inconnu ou d'une quantité de la population.

utilisateur82419
la source

3

1

$1$

2

$2$

0

Généralement, "estimation" est réservée aux paramètres et la "prédicition" aux valeurs. Cependant, la distinction devient parfois floue. Par exemple, vous avez peut-être vu quelque chose comme "estimer la valeur demain" au lieu de "prédire la valeur demain".

La valeur à risque (VaR) est un cas intéressant. La VaR n'est pas un paramètre, mais nous ne disons pas "prévoir la VaR". Nous disons "estimer la VaR". Pourquoi?

La raison en ce que la VaR n'est pas une quantité aléatoire SI vous connaissez la distribution ET vous devez connaître la distribution pour calculer la VaR. Donc, si vous utilisez l' approche VaR paramétrique, alors vous devez d' abord estimer les paramètres de la distribution puis la VAR calculate. Si vous utilisez la VaR non paramétrique, alors vous directement estimer la VAR similaire à la façon dont vous estimer les paramètres. À cet égard, il est similaire à quantile.

D'autre part, le montant de la perte est une valeur aléatoire. Par conséquent, si on vous demande des pertes prévues, vous seriez prédisez les pas d' estimer. Encore une fois, on dit parfois "estimer" la perte. Donc, la ligne est floue, comme je l'ai écrit plus tôt.

Aksakal
la source

Vous dites que la VaR n'est pas un paramètre, mais je me demande si c'est vraiment le cas. La VaR est le quantile (conditionnel ou inconditionnel) de la distribution de la variable dépendante. En tant que tel, il me semble être un paramètre de la distribution, ou du moins une fonction de quelques autres paramètres plus fondamentaux, qui ne semble pas en changer l'essence. Cela ne ressemble pas à une réalisation d'une variable aléatoire.

Richard Hardy

De même, lorsque vous dites que la prédiction concerne des valeurs, elle s'applique aux valeurs de paramètres autant qu'aux réalisations de variables aléatoires (qui sont également des valeurs). Par conséquent, je suggère de remplacer les valeurs par la réalisation de variables aléatoires; alors vous auriez la dichotomie que vous visez.

Richard Hardy

-3

Je trouve ci-dessous des définitions plus explicatives:

L'estimation est l'approximation calculée d'un résultat. Ce résultat pourrait être une prévision mais pas nécessairement. Par exemple, je peux estimer le nombre de voitures sur le pont du Golden Gate à 17 heures hier à 900 heures en supposant que les trois voies en direction de Marin ont atteint leur capacité maximale, chaque voiture occupe une superficie de 30 pieds et le pont a une longueur de 9 000 pieds ( 9000/30 x 3 = 900).

L'extrapolation consiste à estimer la valeur d'une variable en dehors d'une plage de valeurs connue en supposant que la valeur estimée obéit à un modèle de ceux connus. La forme d'extrapolation la plus simple et la plus répandue consiste à estimer une tendance linéaire à partir des données connues. Les alternatives à l'extrapolation linéaire comprennent l'extrapolation polynomiale et conique. Comme l'estimation, l'extrapolation peut être utilisée pour la prévision, mais elle ne se limite pas à la prévision.

Prédire, c'est simplement dire quelque chose à propos du futur. Les prévisions sont généralement axées sur les résultats et non sur la voie à suivre. Par exemple, je pourrais prédire que, d'ici 2050, tous les véhicules seront équipés de moteurs électriques sans expliquer comment nous passons d'une adoption faible en 2011 à une adoption complète d'ici 2050. Comme vous pouvez le voir dans l'exemple précédent, les prévisions ne sont pas nécessairement fondées sur des données.

La prévision est le processus de prévision ou de prévision. Les termes prévision et prédiction sont souvent utilisés de manière interchangeable, mais il arrive parfois que les prévisions soient distinguées des prédictions en ce sens que les prévisions fournissent souvent des explications sur les voies menant à un résultat. Par exemple, une prévision d’adoption de véhicule électrique pourrait inclure la voie vers l’adoption de véhicule entièrement électrique suivant un schéma d’adoption en forme de S où peu de voitures sont électriques avant 2025, un point d'inflexion se produit à 2030 avec une adoption rapide et la majorité des voitures étant électriques après 2040.

Estimation, extrapolation, prévision et prévision ne sont pas des termes exhaustifs et collectivement exhaustifs. De bonnes prévisions à long terme pour des problèmes complexes nécessitent souvent l'utilisation de techniques autres que l'extrapolation afin de produire des résultats plausibles. Les prévisions et les prévisions peuvent également se produire sans aucune sorte d'estimation calculée.

voir les liens définitions1 définitions2

sso
la source

2

La prévision ne doit pas nécessairement porter sur l'avenir.

miura

lisez-le complètement: Prédire, c'est simplement dire quelque chose sur l'avenir. Les prévisions sont généralement axées sur les résultats et non sur la voie à suivre.

sso

Oui, mais les résultats ne doivent pas nécessairement être futurs. Vous pouvez, par exemple, également prédire des résultats passés inconnus.

miura

1

Ceci est un compte rendu raisonnable de la façon dont les mots "estimation" et "prédiction" sont utilisés dans un sens non technique, non statistique . Comme le suggère @miura, il ressort des autres réponses que ces sens familiers diffèrent des sens statistiques classiques. Je vois un argument valable en faveur d’une interprétation non statistique de la question initiale. Toutefois, cette interprétation introduit une limite inconfortable et inutile en empêchant la "prédiction" de s’appliquer à des événements passés (terminés) dont les résultats sont inconnus.

whuber

Si vous l’appliquez à un filtre de Kalman à variance minimale, par exemple, et à un lisseur à variance minimale, vous pouvez utiliser des données intéressantes à partir de mesures bruitées. Les techniques susmentionnées reposent sur des prédicteurs à un pas en avant ... donc, toujours des prédictions à un pas en avant (le futur) :)

sso

Quelle est la différence entre estimation et prédiction?

Réponses: