Qu'est-ce que l'erreur Bayes dans l'apprentissage automatique?

15

http://www.deeplearningbook.org/contents/ml.html La page 116 explique l'erreur bayes comme ci-dessous

Le modèle idéal est un oracle qui connaît simplement la vraie distribution de probabilité qui génère les données. Même un tel modèle entraînera toujours une erreur sur de nombreux problèmes, car il peut y avoir encore du bruit dans la distribution. Dans le cas d'un apprentissage supervisé, le mappage de x à y peut être intrinsèquement stochastique, ou y peut être une fonction déterministe qui implique d'autres variables en plus de celles incluses dans x. L'erreur encourue par un oracle faisant des prédictions à partir de la vraie distribution p (x, y) est appelée l'erreur de Bayes.

Des questions

  1. Veuillez expliquer l'erreur Bayes de manière intuitive?
  2. En quoi est-ce différent de l'erreur irréductible?
  3. Puis-je dire erreur totale = biais + variance + erreur Bayes?
  4. Que signifie "y peut être intrinsèquement stochastique"?
GeorgeOfTheRF
la source

Réponses:

23

y

Par exemple, lors du retournement d'une pièce équitable, nous savons exactement quel processus génère le résultat (une distribution binomiale). Cependant, si nous devions prédire le résultat d'une série de retournements de pièces, nous commettrions toujours des erreurs, car le processus est intrinsèquement aléatoire (c'est-à-dire stochastique).

Pour répondre à votre autre question, vous avez raison de dire que l'erreur totale est la somme du biais (au carré), de la variance et de l'erreur irréductible. Consultez également cet article pour une explication facile à comprendre de ces trois concepts.

Frans Rodenburg
la source
-2

Sur https://www.cs.helsinki.fi/u/jkivinen/opetus/iml/2013/Bayes.pdf . Pour la tâche de classification, l'erreur bayes est définie comme suit:

mjenF=Cost(F)

unergmjenF=Cost(F)

y=F(X)=sjen(X)y~=y+ttN(0,σ2)

JP Zhang
la source