Existe-t-il une représentation graphique du compromis biais-variance dans la régression linéaire?

Je souffre d'une panne d'électricité. On m'a présenté l'image suivante pour présenter le compromis biais-variance dans le contexte de la régression linéaire:

Modèle polynomial pour les données, cas simple et complexe

Je peux voir qu'aucun des deux modèles ne correspond bien - le "simple" n'apprécie pas la complexité de la relation XY et le "complexe" est juste trop adapté, apprenant essentiellement les données d'entraînement par cœur. Cependant, je ne vois absolument pas le biais et la variance de ces deux images. Quelqu'un pourrait-il me le montrer?

PS: La réponse à l' explication intuitive du compromis biais-variance? ne m'a pas vraiment aidé, je serais heureux si quelqu'un pouvait fournir une approche différente basée sur l'image ci-dessus.

regression variance bias blubb
la source

Réponses:

Le compromis de la variance du biais est basé sur la ventilation de l'erreur quadratique moyenne:

M S E (\hat{y}) = E [y - \hat{y}]^{2} = E [y - E [\hat{y}]]^{2} + E [\hat{y} - E [\hat{y}]]^{2}

$MSE(\hat{y})=E[y-\hat{y}]^2=E[y-E[\hat{y}]]^2+E[\hat{y}-E[\hat{y}]]^2$

Une façon de voir le commerce biais-variance est de savoir quelles propriétés de l'ensemble de données sont utilisées dans l'ajustement du modèle. Pour le modèle simple, si nous supposons que la régression OLS a été utilisée pour ajuster la ligne droite, alors seulement 4 nombres sont utilisés pour ajuster la ligne:

L'échantillon de covariance entre x et y
La variance d'échantillon de x
La moyenne de l'échantillon de x
La moyenne de l'échantillon de y

Ainsi, tout graphique qui mène aux mêmes 4 chiffres ci-dessus mènera exactement à la même ligne ajustée (10 points, 100 points, 100000000 points). Donc, dans un sens, il est insensible à l'échantillon particulier observé. Cela signifie qu'il sera "biaisé" car il ignore effectivement une partie des données. Si cette partie ignorée des données était importante, les prédictions seront systématiquement erronées. Vous le verrez si vous comparez la ligne ajustée en utilisant toutes les données aux lignes ajustées obtenues en supprimant un point de données. Ils auront tendance à être assez stables.

Maintenant, le deuxième modèle utilise tous les fragments de données qu'il peut obtenir et ajuste les données aussi près que possible. Par conséquent, la position exacte de chaque point de données est importante et vous ne pouvez donc pas déplacer les données d'entraînement sans changer le modèle ajusté comme vous le pouvez pour OLS. Ainsi, le modèle est très sensible à l'ensemble d'entraînement que vous avez. Le modèle ajusté sera très différent si vous effectuez le même tracé de points de données drop-one.

probabilitéislogique
la source

Le biais et la variance de l'estimation de paramètre de modèle

ou la valeur de sortie prédite

? Certaines personnes me disent que les termes biais et variance ne peuvent être utilisés que pour décrire le paramètre du modèle

, pas les données

, n'est-ce pas?

\hat{θ}

$\hat\theta$

\hat{y}

$\hat y$

θ

$\theta$

x, y

$x,y$

avocat

Je ne pense pas que ce soit vrai, je pense que vous parlez de prédiction (

) vs estimation (

). Les deux ont les notions de biais et de variance - par exemple, vous avez le "BLEU" pour un paramètre de régression et le "BLUP" pour prédire un futur point de données.

\hat{y}

$\hat {y}$

\hat{θ}

$\hat {\theta}$

probabilités

Pour l'estimation paramètre

, son biais est

, mais

nous est inconnu, non? De plus, étant donné l'ensemble de données, nous n'avons aucune idée de ce à quoi devrait ressembler le vrai modèle, par exemple, le vrai modèle derrière les données est

pour ajuster les données, alors voici le paradoxe: les vrais paramètres sont

, qui sont l'objectif que nous devrions essayer d'estimer, mais nous nous retrouvons avec les estimations de

\hat{θ}

$\hat\theta$

b i a s (\hat{θ}) = θ - E [\hat{θ}]

$bias(\hat\theta)=\theta-E[\hat\theta]$

θ

$\theta$

, mais nous choisissons un modèle de régression linéaire

f (x) = a + b x + c x^{2}

$f(x)=a+bx+cx^2$

h (x) = d + e x

$h(x)=d+ex$

(a, b, c)

$(a,b,c)$

, puis calculer ou analyser les

(d, e)

$(d,e)$

b i a s (d)

$bias(d)$

b i a s (e)

$bias(e)$

avocat

@loganecolss - ce n'est pas un paradoxe car la notion de biais n'existe que "localement" - c'est-à-dire par rapport à un modèle statistique donné. Le «paradoxe» existe pour une personne qui: 1) connaît le «vrai modèle», et 2) décide de ne pas l'utiliser. Cette personne est un idiot dans mon livre. Si vous ne connaissez pas le "vrai modèle", alors il n'y a pas de problème - à moins que vous n'ayez trouvé un bon modèle et décidé de ne pas l'utiliser ...

probabiliste

f (x, z_{1}, z_{2}, \dots, z_{K})

$f (x, z_1, z_2,\dots, z_{K})$

z_{i}

$z_i$

K

$K$

probabilogique

Pour résumer avec ce que je pense savoir de manière non mathématique:

biais - votre prédiction va être incorrecte lorsque vous utilisez le modèle simple et cela se produira sur tout ensemble de données sur lequel vous utilisez le modèle. On s'attend à ce que votre prédiction soit fausse
variance - si vous utilisez le modèle complexe, vous obtiendrez des prédictions très différentes en fonction du jeu de données que vous utilisez

Cette page a une assez bonne explication avec des diagrammes similaires à ce que vous avez publié. (J'ai cependant sauté la partie supérieure, il suffit de lire la partie avec les diagrammes) http://www.aiaccess.net/English/Glossaries/GlosMod/e_gm_bias_variance.htm (le survol affiche un échantillon différent au cas où vous ne l'auriez pas remarqué!)

Roi
la source

C'est une page intéressante et de bonnes illustrations, mais je les trouve plus déroutantes qu'utiles car (a) le "biais" et la "variance" discutés dans le contexte de la régression ne semblent pas être le biais et la variance tels que définis au début de cela page et (b) il n'est pas du tout clair que les déclarations faites (sur la façon dont le biais et la variance changent avec le nombre de paramètres) sont correctes.

whuber