Signification de «erreur de reconstruction» dans PCA et LDA

12

J'implémente PCA, LDA et Naive Bayes, respectivement pour la compression et la classification (implémentant à la fois un LDA pour la compression et la classification).

J'ai le code écrit et tout fonctionne. Ce que je dois savoir, pour le rapport, c'est quelle est la définition générale de l' erreur de reconstruction .

Je peux trouver beaucoup de mathématiques et les utiliser dans la littérature ... mais ce dont j'ai vraiment besoin, c'est d'une vue plongeante / définition de mots simples, donc je peux l'adapter au rapport.

Christophe
la source
L'erreur de reconstruction est le concept qui s'applique (à partir de votre liste) uniquement à la PCA, pas à la LDA ou aux Bayes naïfs. Demandez-vous ce que signifie l'erreur de reconstruction dans l'ACP, ou voulez-vous une "définition générale" qui s'appliquerait également au LDA et aux Bayes naïfs?
amoeba
Connaissez-vous les deux? Le rapport implique à la fois PCA et LDA en ce qui concerne la compression des données, donc je dois avoir une sorte de réponse par rapport à PCA et LDA ... mais pas nécessairement NB. Donc, peut-être la version détaillée spécifique à pca ... et l'idée générale, donc je peux l'appliquer à LDA aussi bien que possible. Ensuite, j'aurais suffisamment de connaissances pour rechercher plus efficacement sur Google si je rencontre des accrocs ...
Christopher
Il est préférable de clore cette question car elle general definition of reconstruction errorest d'une portée insaisissable.
ttnphns
2
@ttnphns, je ne pense pas que ce soit trop large. Je pense que la question peut être reformulée comme "Pouvons-nous appliquer la notion PCA d'erreur de reconstruction à LDA?" et je pense que c'est une question intéressante et sur le sujet (+1). J'essaierai d'écrire moi-même une réponse si je trouve le temps.
amoeba
1
@amoeba, dans la formulation que vous proposez, la question reçoit en effet de la lumière. Oui, il est alors possible d'écrire une réponse (et je peux m'attendre à ce que la vôtre soit bonne). Une chose délicate à propos de "ce qui est reconstruit" dans LDA est de savoir ce qui est considéré comme DV et quels IVs dans LDA.
ttnphns

Réponses:

8

Pour PCA, vous projetez vos données sur un sous-ensemble de votre espace d'entrée. Fondamentalement, tout tient sur cette image ci-dessus: vous projetez des données sur le sous-espace avec une variance maximale. Lorsque vous reconstruisez vos données à partir de la projection, vous obtenez les points rouges, et l'erreur de reconstruction est la somme des distances du bleu au point rouge: elle correspond en effet à l'erreur que vous avez commise en projetant vos données sur le vert ligne. Il peut bien sûr être généralisé dans toutes les dimensions!

entrez la description de l'image ici

Comme indiqué dans les commentaires, cela ne semble pas aussi simple pour LDA et je ne trouve pas de définition correcte sur Internet. Désolé.

Vince.Bdn
la source
Le cas LDA est plus délicat que cela. Que feriez-vous en cas de projections bidimensionnelles? En PCA, deux axes principaux sont orthogonaux et forment un plan 2D, donc bien sûr la même idée d'erreur de reconstruction s'applique. Mais en LDA, deux axes discriminants ne sont pas orthogonaux. Comment proposez-vous exactement de définir l'erreur de reconstruction alors?
amoeba
J'ai deux remarques sur la réponse. 1) Êtes-vous en train de dire que votre photo 1 montre le vrai PC1? 2) Pour LDA et le 2e pic - bien, vous pouvez dessiner des discriminants comme axes dans l'espace d'origine et appeler les résidus de points de données "erreur de reconstruction". Mais c'est une pratique terminologique vague. Que reconstruisent les discriminants? Ajoutez également ici ce que l'amibe a dit sur la non-orthogonalité axiale (vue ici ).
ttnphns
1) C'est une photo prise à partir d'une recherche google qui montre une erreur mais en effet le pca serait beaucoup plus vertical, je vais essayer d'en trouver un meilleur et de le mettre à jour.
Vince.Bdn
2) J'ai édité mon message. J'ai tendance à voir les discriminants comme des axes dans l'espace d'origine en effet pour un point de vue géométrique mais comme indiqué il n'y a pas d'orthogonalité. Mon erreur ...
Vince.Bdn
1
Vince, c'est ta décision. Mais pour moi, à votre place, je ferais mieux de laisser la deuxième photo dans la réponse aussi. Vous ne vous êtes pas trompé et votre point de vue est possible. La question est cependant plus complexe avec LDA; les commentaires ne faisaient que souligner cela .
ttnphns
2

La définition générale de l'erreur de reconstruction serait la distance entre le point de données d'origine et sa projection sur un sous-espace de dimension inférieure (son «estimation»).

Source: Mathématiques de la spécialisation en apprentissage automatique par Imperial College London

Serim Hande Tarcan
la source
0

Ce que j'utilise habituellement comme mesure de l'erreur de reconstruction (dans le contexte de l'ACP, mais aussi d'autres méthodes) est le coefficient de détermination et l'erreur quadratique moyenne (ou RMSE normalisée). Ces deux sont faciles à calculer et vous donnent une idée rapide de ce que la reconstruction a fait.R2

Calcul

Supposons que soit vos données d'origine et les données compressées.Xf

Le de la variable peut être calculé comme suit:R2ith

Ri2=1j=1n(Xj,ifj,i)2j=1nXj,i2

Puisque pour un ajustement parfait, vous pouvez juger de la reconstruction en fonction de la proximité du à 1,0.R2=1.0R2

Le RMSE de la variable peut être calculé comme suit:ith

RMSEi=(Xifi)2¯

que vous pouvez également normaliser par une quantité qui vous convient (norme ), je normalise souvent par la valeur moyenne, le NRMSE est donc:N

NRMSEi=RMSEiNi=(Xifi)2¯Xi2¯

Calcul

Si vous utilisez Python, vous pouvez les calculer comme suit:

from sklearn.metrics import r2_score
from sklearn.metrics import mean_squared_error
from math import sqrt
import numpy as np

r2 = r2_score(X, f)
rmse = sqrt(mean_squared_error(X, f))

# RMSE normalised by mean:
nrmse = rmse/sqrt(np.mean(X**2))

Xsont les données d'origine et fles données compressées.

Visualisation

Dans le cas où il est utile pour vous de faire une analyse de sensibilité, vous pouvez alors juger visuellement comment le ou le RMSE changent lorsque vous changez les paramètres de votre compression. Par exemple, cela peut être pratique dans le contexte de l'ACP lorsque vous souhaitez comparer des reconstructions avec un nombre croissant de composants principaux conservés. Ci-dessous, vous voyez que l'augmentation du nombre de modes permet de vous rapprocher du modèle:R2

entrez la description de l'image ici

camillejr
la source