Pondérer un système de notation pour privilégier les articles notés par plus de personnes par rapport aux articles notés par moins de personnes?

Merci d'avance de m'avoir accompagné, je ne suis aucun statisticien et je ne sais pas comment décrire ce que j'imagine, donc Google ne m'aide pas ici ...

J'inclus un système de notation dans une application Web sur laquelle je travaille. Chaque utilisateur peut évaluer chaque élément exactement une fois.

J'imaginais une échelle avec 4 valeurs: "n'aime pas du tout", "n'aime pas", "aime" et "fortement aime", et j'avais prévu d'attribuer ces valeurs de -5, -2, +2 et +5 respectivement .

Maintenant, si chaque article devait avoir le même nombre de notes, je serais assez à l'aise avec ce système de notation qui différencie clairement les articles les plus aimés et les moins aimés. Cependant, les articles n'auront pas le même nombre de notes et la disparité entre le nombre de votes sur différentes photos peut être assez dramatique.

Dans ce cas, la comparaison des scores cumulés sur deux éléments signifie qu'un ancien élément avec beaucoup de notes médiocres aura un score beaucoup plus élevé qu'un nouvel élément exceptionnel avec beaucoup moins de votes.

Donc, la première chose évidente à laquelle j'ai pensé que nous prenions une moyenne ... mais maintenant, si un article n'a qu'une seule note de "+5", il a une meilleure moyenne qu'un article qui a un score de 99 "+5". et 1 "+2". Intuitivement, ce n'est pas une représentation précise de la popularité d'un article.

J'imagine que ce problème est courant et vous n'avez pas besoin de moi pour le développer avec plus d'exemples, alors je m'arrêterai à ce stade et j'élaborerai dans les commentaires si nécessaire.

Mes questions sont:

Comment s'appelle ce type de problème et existe-t-il un terme pour les techniques utilisées pour le résoudre? J'aimerais le savoir pour pouvoir le lire.
Si vous connaissez des ressources conviviales sur le sujet, j'apprécierais beaucoup un lien.
Enfin, j'apprécierais toute autre suggestion sur la manière de collecter et d'analyser efficacement ce type de données.

scales rating Andrew
la source

Réponses:

Une façon de lutter contre cela est d'utiliser des proportions dans chaque catégorie, ce qui ne vous oblige pas à mettre des chiffres pour chaque catégorie (vous pouvez le laisser à 80% évalué comme «aime beaucoup»). Cependant, les proportions souffrent du petit nombre de problèmes de notation . Cela apparaît dans votre exemple, la photo avec une note de 1 +5 obtiendrait un score moyen (et une proportion) plus élevé qu'une photo avec une note de 99 +5 et 1 +2. Cela ne correspond pas bien à mon intuition (et je soupçonne la plupart des gens).

Une façon de contourner ce problème de petite taille d'échantillon consiste à utiliser une technique bayésienne connue sous le nom de « règle de succession de Laplace » (la recherche de ce terme peut être utile). Il s'agit simplement d'ajouter 1 "observation" à chaque catégorie avant de calculer les probabilités. Si vous vouliez prendre une moyenne pour une valeur numérique, je suggérerais une moyenne pondérée où les poids sont les probabilités calculées par la règle de succession.

Pour la forme mathématique, notons respectivement le nombre de réponses "fortement détesté", "n'aime pas", "aime" et "fortement aime" respectivement. (dans les deux exemples, et ). Vous calculez ensuite la probabilité (ou le poids) pour fortement comme $n_{sd},n_{d},n_{l},n_{sl}$ $n_{sl}=1,n_{sd}=n_{d}=n{l}=0$ $n_{sl}=99,n_{l}=1,n_{sd}=n_{d}=0$

P r ("Strongly Like") = \frac{n_{s l} + 1}{n_{s d} + n_{d} + n_{l} + n_{s l} + 4}

$Pr(\text{"Strongly Like"}) = \frac{n_{sl}+1}{n_{sd}+n_{d}+n_{l}+n_{sl}+4}$

Pour les deux exemples que vous donnez, ils donnent des probabilités de "fortement similaires" comme et qui, je pense, est plus proche du "bon sens". La suppression des constantes ajoutées donne et ce qui fait que le premier résultat semble plus élevé qu'il ne devrait l'être (du moins pour moi de toute façon). $\frac{1+1}{1+0+0+0+4}=\frac{2}{5}$ $\frac{99+1}{99+1+0+0+4}=\frac{100}{104}$ $\frac{1}{1}$ $\frac{99}{100}$

Les scores respectifs sont simplement donnés par la moyenne pondérée, que j'ai écrite ci-dessous comme:

S c o r e = \begin{matrix} 5 \frac{n_{s l} + 1}{n_{s d} + n_{d} + n_{l} + n_{s l} + 4} + 2 \frac{n_{l} + 1}{n_{s d} + n_{d} + n_{l} + n_{s l} + 4} \\ - 2 \frac{n_{d} + 1}{n_{s d} + n_{d} + n_{l} + n_{s l} + 4} - 5 \frac{n_{s d} + 1}{n_{s d} + n_{d} + n_{l} + n_{s l} + 4} \end{matrix}

$Score=\begin{array}{1 1} 5\frac{n_{sl}+1}{n_{sd}+n_{d}+n_{l}+n_{sl}+4}+2\frac{n_{l}+1}{n_{sd}+n_{d}+n_{l}+n_{sl}+4} \\ - 2\frac{n_{d}+1}{n_{sd}+n_{d}+n_{l}+n_{sl}+4} -5\frac{n_{sd}+1}{n_{sd}+n_{d}+n_{l}+n_{sl}+4}\end{array}$

Ou plus succinctement

S c o r e = \frac{5 n_{s l} + 2 n_{l} - 2 n_{d} - 5 n_{s d}}{n_{s d} + n_{d} + n_{l} + n_{s l} + 4}

$Score=\frac{5 n_{sl}+ 2 n_{l} - 2 n_{d} - 5 n_{sd}}{n_{sd}+n_{d}+n_{l}+n_{sl}+4}$

Ce qui donne des scores dans les deux exemples de et . Je pense que cela montre une différence appropriée entre les deux cas. $\frac{5}{5}=1$ $\frac{497}{104}\sim 4.8$

Cela a peut-être été un peu "mathématique", alors faites-moi savoir si vous avez besoin de plus d'explications.

probabilitéislogique
la source

C'était un peu "mathsy" pour moi, et au début je ne comprenais pas la formule, mais je l'ai lue attentivement environ trois fois et elle a cliqué! C'est exactement ce que je cherchais, et votre explication était très claire, même pour quelqu'un qui n'est pas du tout mathématicien ou statisticien. Merci beaucoup!

Andrew

Très belle réponse non technique, et une approche à laquelle je n'aurais pas pensé. J'ajouterais seulement qu'il est possible d'ajouter n'importe quel nombre de fausses «observations» à chaque catégorie au lieu de 1, y compris les nombres non entiers. Cela vous donne la possibilité de décider combien vous souhaitez «réduire» vers zéro les scores des articles avec peu de votes. Et s'il vous arrive de vouloir une description technique de cette méthode, vous pourriez dire que vous effectuez une analyse bayésienne des données d'une distribution multinomiale à l'aide d'un Dirichlet symétrique préalable.

2011

Bien qu'elles puissent sembler être de «fausses» observations, elles ont une signification bien définie quand il s'agit de +1 (par opposition à +2 ou plus, qui sont vraiment des «faux» nombres, ou des numéros d'une précédente collecte de données). Il décrit essentiellement un état des connaissances selon lequel il est possible de voter pour chaque catégorie, avant d'observer les données. C'est précisément ce que fait l'avant plat sur le simplexe (N-1).

probabilitéislogic

Une observation de plus, pour les futures personnes qui trouveront ce message: En implémentant cela dans mon modèle, j'ai pris le score final et je l'ai multiplié par 20, ce qui donne une plage de -100 à 100 du pire au meilleur score possible (bien que je suppose techniquement que sont des limites que vous ne pouvez jamais atteindre, mais vous voyez l'idée). Cela rend la sortie pour les utilisateurs de mon application très intuitive!

Andrew

@probabilityislogic: certains paramètres strictement positifs pour le Dirichlet décrivent-ils que toutes les probabilités sont strictement comprises entre 0 et 1? Et cet argument suggère de les définir à 2 / m, où m est le nombre de catégories, plutôt que 1: en.wikipedia.org/wiki/…

onestop

Je prendrais une approche graphique. L'axe des x pourrait être une note moyenne et le y pourrait être le nombre de notes. J'avais l'habitude de le faire avec des statistiques sportives pour comparer la contribution des jeunes phénomènes à celle des stars vétérans. Plus un point est proche du coin supérieur droit, plus l'idéal est proche. Bien sûr, décider du «meilleur» élément serait toujours une décision subjective, mais cela fournirait une certaine structure.

Si vous souhaitez tracer la note moyenne par rapport à une autre variable, vous pouvez configurer le nombre de notes comme troisième variable en utilisant la taille des bulles, dans un graphique à bulles - par exemple, en XL ou SAS.

rolando2
la source