Mesurer la similitude des documents

Pour regrouper (texte) des documents, vous avez besoin d'un moyen de mesurer la similitude entre des paires de documents.

Deux alternatives sont:

1. Comparez les documents comme vecteurs de termes en utilisant la similitude cosinus - et TF / IDF comme pondérations pour les termes.

2. Comparer la distribution de probabilité de chaque document en utilisant la divergence f, par exemple la divergence de Kullback-Leibler

Y a-t-il une raison intuitive de préférer une méthode à l'autre (en supposant une taille moyenne de document de 100 termes)?

Pour les documents texte, les vecteurs de caractéristiques peuvent être de très haute dimension et clairsemés sous n'importe quelle représentation standard (sac de mots ou TF-IDF, etc.). Mesurer des distances directement sous une telle représentation peut ne pas être fiable, car il est connu que dans des dimensions très élevées, la distance entre deux points quelconques commence à se ressembler. Une façon de résoudre ce problème consiste à réduire la dimensionnalité des données en utilisant PCA ou LSA ( Latent Semantic Analysis ; également connu sous le nom de Latent Semantic Indexing ), puis de mesurer les distances dans le nouvel espace. L'utilisation de quelque chose comme LSA sur PCA est avantageuse car elle peut donner une représentation significative en termes de "concepts sémantiques", en plus de mesurer des distances dans un espace de dimension inférieure.

La comparaison de documents sur la base des distributions de probabilité se fait généralement en calculant d'abord la distribution des thèmes de chaque document (en utilisant quelque chose comme l' allocation Dirichlet latente ), puis en calculant une sorte de divergence (par exemple, la divergence KL) entre les distributions de thèmes d'une paire de documents. D'une certaine manière, c'est en fait un peu similaire à faire d'abord LSA puis à mesurer les distances dans l'espace LSA en utilisant la divergence KL entre les vecteurs (au lieu de la similitude en cosinus).

La divergence KL est une mesure de distance pour comparer les distributions, il peut donc être préférable que la représentation du document soit en termes de distribution (ce qui est souvent le cas - par exemple, les documents représentés comme une distribution sur des sujets, comme dans LDA). Notez également que sous une telle représentation, les entrées dans le vecteur d'entités seraient égales à un (puisque vous traitez fondamentalement le document comme une distribution sur des sujets ou des concepts sémantiques).

Voir également un fil connexe ici .

Vous voudrez peut-être essayer ce service en ligne pour la similitude des documents cosinus http://www.scurtu.it/documentSimilarity.html

import urllib,urllib2
import json
API_URL="http://www.scurtu.it/apis/documentSimilarity"
inputDict={}
inputDict['doc1']='Document with some text'
inputDict['doc2']='Other document with some text'
params = urllib.urlencode(inputDict)    
f = urllib2.urlopen(API_URL, params)
response= f.read()
responseObject=json.loads(response)  
print responseObject