Pourquoi la précision finie est-elle un problème dans l'apprentissage automatique?

Réponses:

4

La précision finie est la représentation décimale d'un nombre qui a été arrondi ou tronqué. Il existe de nombreux cas où cela peut être nécessaire ou approprié. Par exemple 1/3 et les nombres transcendantaux et π ont tous des représentations décimales infinies. Dans le langage de programmation C, une valeur double est 8 bits et précise à environ 16 chiffres. Vois ici.eπ

http://www.learncpp.com/cpp-tutorial/25-floating-point-numbers/

Pour représenter concrètement l'un de ces nombres sur un ordinateur (fini), il doit y avoir une sorte de compromis. Nous pourrions écrire 1/3 à 9 chiffres comme .333333333, ce qui est inférieur à 1/3.

Ces compromis sont aggravés par des opérations arithmétiques. Les algorithmes instables sont sujets à des erreurs arithmétiques. C'est pourquoi SVD est souvent utilisé pour calculer PCA (instabilité de la matrice de covariance).

http://www.sandia.gov/~smartin/presentations/SMartin_Stability.pdf

https://en.wikipedia.org/wiki/Numerical_stability

Dans le classificateur naïf bayes, vous verrez souvent la multiplication transformée en une somme de logarithmes, ce qui est moins sujet aux erreurs d'arrondi.

https://en.wikipedia.org/wiki/Naive_Bayes_classifier#Multinomial_naive_Bayes


la source
Merci. Pouvez-vous expliquer comment svd résout le problème dans PCA et comment la somme des journaux réduit le problème? Où est cette somme de journaux utilisée dans le classificateur naïf bayes?
GeorgeOfTheRF
Ce sont des questions plus approfondies, mais je peux fournir quelques conseils. il le "résout" car vous pouvez obtenir PCA auprès de SVD. Voir ici pour un excellent article: arxiv.org/pdf/1404.1100.pdf . SVD est préféré en raison de l'absence de la matrice de covariance dans son calcul. Somme des journaux dans les baies naïves: blog.datumbox.com/…
0

Un seul exemple simple: problème de gradient en voie de disparition dans le Deep Learning. Ce n'est pas principalement un problème de précision finie, mais cela fait également partie du problème.

Martin Thoma
la source