Un parallèle entre LSA et pLSA

Dans l'article original de pLSA, l'auteur, Thomas Hoffman, établit un parallèle entre les structures de données pLSA et LSA dont je voudrais discuter avec vous.

Contexte:

S'inspirant de la recherche d'informations, nous supposons que nous avons une collection de documents et un vocabulaire de termes$N$

$$D = \lbrace d_1, d_2, ...., d_N \rbrace$$ $M$ $$\Omega = \lbrace \omega_1, \omega_2, ..., \omega_M \rbrace$$

Un corpus peut être représenté par une matrice de cooccurences.$X$$N \times M$

Dans les analyses sémantiques latentes par SVD, la matrice est factorisée en trois matrices: où et sont les valeurs singulières de et est le rang de .$X$

$$X = U \Sigma V^T$$ $\Sigma = diag \lbrace \sigma_1, ..., \sigma_s \rbrace$$\sigma_i$$X$$s$$X$

L'approximation LSA de est ensuite calculée en tronquant les trois matrices à un certain niveau , comme le montre l'image:$X$

$$\hat{X} = \hat{U}\hat{\Sigma}\hat{V^T}$$ $k < s$

Dans pLSA, choisissez un ensemble fixe de sujets (variables latentes) l'approximation de est calculée comme : où les trois matrices sont celles qui maximisent la probabilité du modèle.$Z = \lbrace z_1, z_2, ..., z_Z \rbrace$$X$

$$X = [P(d_i | z_k)] \times [diag(P(z_k)] \times [P(f_j|z_k)]^T$$

Question réelle:

L'auteur affirme que ces relations subsistent:

• $U = [P(d_i | z_k)]$
• $\hat{\Sigma} = [diag(P(z_k)]$
• $V = [P(f_j|z_k)]$

et que la différence cruciale entre LSA et pLSA est la fonction objective utilisée pour déterminer la décomposition / approximation optimale.

Je ne suis pas sûr qu'il ait raison, car je pense que les deux matrices représentent des concepts différents: dans LSA, c'est une approximation du nombre de fois qu'un terme apparaît dans un document, et dans pLSA est le (estimé ) probabilité qu'un terme apparaisse dans le document.$\hat{X}$

Pouvez-vous m'aider à clarifier ce point?

De plus, supposons que nous ayons calculé les deux modèles sur un corpus, étant donné un nouveau document , dans LSA j'utilise pour calculer son approximation comme: $d^*$

$$\hat{d^*} = d^*\times V \times V^T$$

1. Est-ce toujours valable?
2. Pourquoi je n'obtiens pas de résultat significatif en appliquant la même procédure à pLSA? $$\hat{d^*} = d^*\times [P(f_j|z_k)] \times [P(f_j|z_k)]^T$$

Je vous remercie.

Par souci de simplicité, je donne ici le lien entre LSA et la factorisation matricielle non négative (NMF), puis montre comment une simple modification de la fonction de coût conduit à pLSA. Comme indiqué précédemment, LSA et pLSA sont tous deux des méthodes de factorisation en ce sens que, jusqu'à la normalisation des lignes et des colonnes, la décomposition de bas rang de la matrice des termes du document:

$$X=U\Sigma D$$

en utilisant les notations précédentes. Plus simplement, le terme de document matrice peut être écrit comme un produit de deux matrices:

$$X = AB^T$$

où et . Pour LSA, la correspondance avec la formule précédente est obtenue en définissant et .$A\in\Re^{N\times s}$$B\in\Re^{M\times s}$$A=U \sqrt{\Sigma}$$B=V\sqrt{\Sigma}$

Un moyen facile de comprendre la différence entre LSA et NMF est d'utiliser leur interprétation géométrique:

• LSA est la solution de:

  $$\min_{A,B} \|X - AB^T \|_F^2,$$

• NMF- est la solution de: $L_2$

  $$\min_{A\ge 0,B\ge 0} \|X - AB^T \|_F^2,$$

• NMF-KL est équivalent à pLSA et est la solution de:

  $$\min_{A\ge 0,B\ge 0} KL(X|| AB^T).$$

où est le Kullback-Leibler divergence entre les matrices et . Il est facile de voir que tous les problèmes ci-dessus n'ont pas de solution unique, car on peut multiplier par un nombre positif et diviser$KL(X||Y) = \sum_{ij} x_{ij}\log{\frac{x_{ij}}{y_{ij}}}$$X$$Y$$A$$B$par le même nombre pour obtenir la même valeur objective. Par conséquent, - dans le cas du LSA, les gens choisissent généralement une base orthogonale triée par valeurs propres décroissantes. Ceci est donné par la décomposition SVD et identifie la solution LSA, mais tout autre choix serait possible car il n'a aucun impact sur la plupart des opérations (similitude cosinus, formule de lissage mentionnée ci-dessus, etc.). - dans le cas de NMF, une décomposition orthogonale n'est pas possible, mais les rangées de sont généralement contraintes de s'additionner à un, car elle a une interprétation probabiliste directe comme . Si en plus, les rangées de sont normalisées (c'est-à-dire somme à un), alors les rangées de doivent faire la somme à un, ce qui conduit à l'interprétation probabiliste$A$$p(z_k|d_i)$$X$$B$$p(f_j|z_k)$ . Il y a une légère différence avec la version de pLSA donnée dans la question ci-dessus car les colonnes de sont contraintes de s'additionner à un, de sorte que les valeurs dans sont , mais la différence n'est qu'un changement de paramétrage , le problème restant le même.$A$$A$$p(d_i|z_k)$

Maintenant, pour répondre à la question initiale, il y a quelque chose de subtil dans la différence entre LSA et pLSA (et d'autres algorithmes NMF): les contraintes de non-négativité induisent un "effet de clustering" qui n'est pas valide dans le cas LSA classique parce que la valeur singulière La solution de décomposition est invariante en rotation. Les contraintes de non-négativité brisent en quelque sorte cette invariance rotationnelle et donnent des facteurs avec une sorte de signification sémantique (sujets dans l'analyse de texte). Le premier article pour l'expliquer est:

Donoho, David L. et Victoria C. Stodden. "Quand la factorisation matricielle non négative donne-t-elle une décomposition correcte en parties?" Progrès des systèmes de traitement de l'information neuronale 16: actes de la conférence de 2003. MIT Press, 2004. [lien]

Sinon, la relation entre PLSA et NMF est décrite ici:

Ding, Chris, Tao Li et Wei Peng. "Sur l'équivalence entre la factorisation matricielle non négative et l'indexation sémantique latente probabiliste." Statistiques computationnelles et analyse des données 52.8 (2008): 3913-3927. [lien]