Qu'est-ce que le retrait?

13

Le mot rétrécissement est souvent utilisé dans certains cercles. Mais ce qui est rétrécissement, il ne semble pas y avoir de définition claire. Si j'ai une série chronologique (ou toute collection d'observations d'un processus), quelles sont les différentes façons de mesurer un certain type de rétrécissement empirique sur la série? Quels sont les différents types de retrait théorique dont je peux parler? Comment le retrait peut-il aider à la prévision? Les gens peuvent-ils fournir de bonnes informations ou références?

Wintermute
la source
1
Steyergerg: Application des techniques de rétrécissement dans l'analyse de régression logistique: une étude de cas et le rétrécissement et la probabilité pénalisée en tant que méthodes pour améliorer la précision prédictive sont de bons points de départ. Ni l'un ni l'autre n'est open source (je pense) mais google trouvera des articles originaux.
charles
3
Toute forme de régularisation d'un estimateur qui déplace (rétrécit) une estimation (généralement vers 0 ou une autre valeur «nulle» / connue); en effet, la régularisation qui rapproche une collection d'estimations est également une sorte de rétrécissement (elle déplace les paramètres représentant leurs différences vers 0). Si vous ne l'avez pas déjà vu, l' article Wikipedia peut être utile.
Glen_b -Reinstate Monica
Qu'en est-il du rétrécissement empirique. Supposons que j'ai une série chronologique à laquelle j'adapte un modèle. Puis-je parler d'un certain type de rétrécissement entre l'ajustement dans l'échantillon et les performances hors échantillon?
Wintermute

Réponses:

2

En 1961, James et Stein ont publié un article intitulé "Estimation with Quadratic Loss" https://projecteuclid.org/download/pdf_1/euclid.bsmsp/1200512173 . Bien qu'il n'invente pas spécifiquement le terme de rétrécissement, ils discutent des estimateurs minimax pour les statistiques de haute dimension (en fait même pour un emplacement à 3 paramètres) qui ont moins de risque (perte attendue) que le MLE habituel (chaque composant la moyenne de l'échantillon) pour les données normales . Bradley Efron appelle leur découverte "le théorème le plus frappant des statistiques mathématiques d'après-guerre". Cet article a été cité 3310 fois.

Copas en 1983 écrit le premier article Regression, Prediction and Shrinkage pour inventer le terme "shrinkage". Il est défini implicitement dans l'abstrait:

L'ajustement d'un prédicteur de régression aux nouvelles données est presque toujours pire que son ajustement aux données d'origine. L'anticipation de ce rétrécissement conduit à des prédicteurs de type Stein qui, sous certaines hypothèses, donnent une erreur quadratique moyenne de prédiction uniformément plus faible que les moindres carrés.

Et dans toutes les recherches successives, il semble que le rétrécissement se réfère aux caractéristiques de fonctionnement (et à leurs estimations) pour la validité hors échantillon de la prédiction et de l'estimation dans le contexte de la recherche d'estimateurs admissibles et / ou minimax.

AdamO
la source
2

Il s'agit de régularisation. Supposons que vous souhaitiez ajuster une courbe et que vous utilisiez une fonction de perte carrée (vous pouvez en choisir différentes). Parfitvous souhaitez récupérer les paramètres qui régissent le processus qui a généré cette courbe. Imaginez maintenant que vous souhaitez ajuster cette courbe en utilisant le 100e polynôme (juste par exemple). Vous allez probablement suréquiper ou capturer tous les plis et bruits de la courbe. De plus, vos capacités de prédiction en dehors de l'intervalle de données d'entraînement donné seront probablement très médiocres. Ainsi, le terme de régularisation est ajouté à la fonction objectif avec un certain poids multiplié par le facteur de régularisation - l_1, l_2 ou personnalisé. Dans le cas de l_2, qui est sans doute plus simple à comprendre, cela aura pour effet que les grandes valeurs des paramètres seront forcées de réduire aka rétrécissement. Vous pouvez considérer la régularisation ou la réduction comme conduisant votre algorithme à une solution qui pourrait être une meilleure solution.

Vladislavs Dovgalecs
la source