Index Rand ajusté vs informations mutuelles ajustées

J'essaie d'évaluer les performances de clustering. Je lisais la documentation skiscit-learn sur les métriques . Je ne comprends pas la différence entre ARI et AMI. Il me semble qu'ils font la même chose de deux manières différentes.

Citant de la documentation:

Compte tenu de la connaissance des affectations de classe de vérité au sol labels_true et de nos affectations d'algorithme de clustering des mêmes échantillons labels_pred, l' indice Rand ajusté est une fonction qui mesure la similitude des deux affectations, en ignorant les permutations et avec une normalisation fortuite.

contre

Compte tenu de la connaissance des affectations de classe de vérité au sol labels_true et de nos affectations d'algorithme de clustering des mêmes échantillons labels_pred, les informations mutuelles sont une fonction qui mesure l'accord des deux affectations, en ignorant les permutations ... AMI a été proposé plus récemment et est normalisé par rapport à chance.

Dois-je les utiliser tous les deux dans mon évaluation de clustering ou cela serait-il redondant?

clustering python scikit-learn al27091
la source

M. Rand n'est pas aléatoire.

Has QUIT - Anony-Mousse

Réponses:

Ils sont deux sur une douzaine qui essaient tous de comparer les regroupements.

Mais ils ne sont pas équivalents. Ils utilisent une théorie différente.

Parfois, l'ARI peut préférer un résultat et l'AMI un autre. Mais souvent, ils sont d'accord de préférence (pas dans les chiffres).

A QUIT - Anony-Mousse
la source

Que voulez-vous dire par: "ils sont d'accord de préférence (pas dans les chiffres)?"

al27091

Lorsque vous comparez plusieurs résultats.

A QUIT - Anony-Mousse

La règle d'or est la suivante:

Utiliser ARI lorsque le cluster de vérité terrain a de grands clusters de taille égale
AMI des États-Unis lorsque le clustering vérité terrain est déséquilibré et qu'il existe de petits clusters

J'ai travaillé sur ce sujet. Référence: ajustement pour les mesures de comparaison de regroupement aléatoire

Simone
la source

J'ai appliqué HDBSCAN et KMeans sur certains de mes ensembles de données avec le bon nombre de clusters pour KMeans et la taille de cluster minimale correcte pour HDBSCAN. Mon problème est qu'une progression de l'AMI n'est pas en corrélation avec une progression de l'IRA. J'obtiens une moyenne de 0,3 et 0,35 en AMI qui est faible. J'obtiens des résultats ARI proches de 0: 0,07 et 0,01 respectivement. Même dans les cas où j'ai obtenu une meilleure AMI avec HDBSCAN, mes scores ARI étaient très proches de 0, c'est-à-dire que HDBSCAN produit un ARI inférieur à KMeans même dans les cas où l'AMI est plus élevé.

ryuzakinho

À quel type de résultats de regroupement correspondent 0,3 et 0,35 pour l'AMI?

Simone

pastebin.com/raw/WHvTxbLm C'est l'un des cas que je ne comprends pas: une meilleure AMI ne signifie pas une meilleure ARI et vice-versa. Y a-t-il une raison pour laquelle je ferais confiance à l'amélioration relative de l'un ou de l'autre? Je ne sais pas quelle métrique regarder pour améliorer mes résultats (d'après l'article que vous avez lié, je pense que cela devrait être AMI étant donné ma distribution de classe, mais je suis toujours confus).

ryuzakinho

Dans votre cas, le résultat HDBSCAN montre un très gros cluster et de nombreux petits qui est par définition une solution déséquilibrée. AMI est donc plus grand avec DBSCAN. Votre vérité fondamentale est plus équilibrée que cette solution. Par conséquent, j'utiliserais ARI pour choisir la solution ici. Cela dit, il semble que les solutions de clustering que vous avez obtenues ne soient pas si bonnes. C'est peut-être parce que vous avez de nombreux clusters. Pourriez-vous réduire le nombre de clusters que vous souhaitez? Ou avez-vous des fonctionnalités à prendre en compte plutôt que d'utiliser un clustering basé uniquement sur la distance?

Simone

Après des tests plus qualitatifs, il s'avère qu'AMI était plus fiable pour mon cas d'utilisation. En effet, AMI a dit que le HDBSCAN était meilleur, et je l'ai trouvé meilleur en effet. Bien que j'avais un gros cluster de bruit, les autres clusters étaient plus purs que les clusters KMEANS.

ryuzakinho