Un faible biais dans un échantillon est-il synonyme de variance élevée?

8

Est-ce que ce qui suit est vrai?

biais faible = variance
élevée biais élevé = faible variance

Je comprends les biais élevés et faibles, mais en quoi la variance est-elle différente? Ou sont les synonymes ci-dessus?

machine-learning neural-networks variance sampling bias toujours curieux
la source
La variance n'a vraiment rien à voir avec le biais.
Michael R. Chernick
S'agit-il d'une question générique sur l'échantillonnage statistique? Si c'est le cas, veuillez détacher les réseaux de neurones . S'il s'agit spécifiquement de réseaux de neurones, veuillez expliquer pourquoi et ajouter plus de contexte.
smci

Réponses:

26

Non. Vous pouvez avoir à la fois élevé ou faible en même temps. Voici un exemple illustratif. source de l'image et de l'article Je vous recommande également de lire l'article d'où provient cette image.

entrez la description de l'image ici

La raison pour laquelle vous avez une telle impression est que dans le "jeune âge" de l'apprentissage automatique, il existe un concept appelé compromis de variance de biais (comme @Kodiologist l'a mentionné, ce concept est toujours vrai et un concept fondamental des modèles de réglage aujourd'hui.)

  • Lorsque la complexité du modèle augmente, la variance augmente et le biais est réduit
  • lors de la régularisation du modèle, le biais est accru et la variance est réduite.

Dans la récente conférence d'Andrew Ng sur le Deep Learning Coursera, il a mentionné que dans le cadre récent du Deep Learning (avec une énorme quantité de données), les gens parlent moins de compromis. Au lieu de cela, il existe des moyens de réduire uniquement la variance et de ne pas augmenter le biais (par exemple, augmenter la taille des données d'entraînement), comme vice versa.

Haitao Du
la source
Merci, avez-vous le lien vers l'article?
curieux le
3
Les remarques d'Andrew Ng étaient probablement liées à l'apprentissage automatique des «mégadonnées». La théorie et la pratique suggèrent que lorsque la taille des données est petite, le compromis biais-variance est très important.
Martin L
3
Le compromis revient encore assez souvent dans le présent. Par exemple, la régression régularisée obtient son avantage prédictif par rapport à l'OLS en échangeant la variance contre le biais d'une manière qui augmente la précision sur le net. De plus, il est facile de trouver un estimateur sans biais qui a trop de variance pour être utile, et un estimateur à variance 0 qui a trop de biais pour être utile.
Kodiologist
2
@ Kodiologist merci pour le commentaire. J'ai révisé ma réponse, j'espère que c'est mieux.
Haitao Du
1
Yah, je l'aime vraiment mieux maintenant!
Matthew Drury
2

La différence entre le biais et la variance est la même qu'entre l' exactitude et la précision :

entrez la description de l'image ici

  • La précision d'un système de mesure est à quel point il se rapproche de la valeur réelle (vraie) d'une quantité. (≈ biais)

  • La précision d'un système de mesure est le degré auquel des mesures répétées donnent les mêmes résultats. (≈ variance)

Eric Duminil
la source