Système de vote qui utilise la précision de chaque électeur et l'incertitude associée

Disons que nous avons une simple question "oui / non" à laquelle nous voulons savoir une réponse. Et il y a N personnes "votant" pour la bonne réponse. Chaque électeur a une histoire - une liste de 1 et de 0, montrant s'ils avaient raison ou tort au sujet de ce type de questions dans le passé. Si nous supposons que l'histoire est une distribution binomiale, nous pouvons trouver la performance moyenne des électeurs sur ces questions, leur variation, l'IC et tout autre type de mesure de confiance.

Fondamentalement, ma question est: comment intégrer les informations de confiance dans le système de vote ?

Par exemple, si nous considérons uniquement les performances moyennes de chaque électeur, nous pouvons alors construire un système de vote pondéré simple:

r e s u l t = s i g n (\sum_{v \in v o t e r s} μ_{v} \times (- 1)^{1 - v o t e})

$result = sign(\sum_{v \in voters}\mu_v \times (-1)^{1-vote})$

Autrement dit, nous pouvons simplement additionner les poids des électeurs multipliés soit par $+1$ (pour «oui»), soit par $-1$ (pour «non»). Cela a du sens: si l'électeur 1 a une moyenne de réponses correctes égale à $.9$ et l'électeur 2 n'en a que $.8$ , alors, probablement, le vote de la première personne devrait être considéré comme plus important. D'un autre côté, si la 1ère personne n'a répondu qu'à 10 questions de ce type, et la 2ème personne a répondu à 1000 de ces questions, nous sommes beaucoup plus confiants quant au niveau de compétence de la 2ème personne qu'à ceux de la 1ère - il est possible que la 1ère personne ait eu de la chance , et après 10 réponses relativement réussies, il continuera avec des résultats bien pires.

Donc, une question plus précise peut ressembler à ceci: y a-t-il une métrique statistique qui incorpore à la fois - la force et la confiance au sujet de certains paramètres?

accuracy uncertainty weighted-mean voting-system ami
la source

Réponses:

Vous devez considérer l'expertise d'un électeur comme une variable latente de votre système. Vous pourrez alors résoudre votre problème avec l' inférence bayésienne . Une représentation sous forme de modèle graphique pourrait ressembler à ceci:

modèle_graphique

Notons les variables pour la vraie réponse, pour le vote de l'électeur et pour son historique. Supposons que vous ayez également un paramètre "expertise" tel que . Si vous mettez des a priori sur ces - par exemple un a bêta - vous devriez pouvoir utiliser le théorème de Bayes pour déduire , puis intégrer sur pour calculer $A$ $V_i$ $i$ $H_i$ $\mu_i$ $\Pr(A=V_i) = \mu_i$ $\mu_i$ $\Pr(\mu_i \mid H_i)$ $\mu_i$

Pr (A ∣ V_{i}, H_{i}) = \int_{μ_{i}} Pr (A, μ_{i} ∣ A_{i}, H_{i}) d μ_{i}

$\Pr(A \mid V_i, H_i) = \int_{\mu_i} \Pr(A, \mu_i \mid A_i, H_i)~ \mathrm{d}\mu_i$

Ces systèmes sont difficiles à résoudre. Vous pouvez utiliser l'algorithme EM comme approximation ou utiliser un schéma de maximisation de vraisemblance complet pour effectuer une inférence bayésienne exacte.

Jetez un œil à cet article Variational Inference for Crowdsourcing , Liu, Peng et Ihler 2012 ( présenté hier au NIPS! ) Pour des algorithmes détaillés pour résoudre cette tâche.

Emile
la source

Merci pour votre réponse, mais pourriez-vous s'il vous plaît être un peu plus précis à ce sujet? En particulier, qu'entendez-vous par expertise? Si c'est juste une probabilité que la personne réponde correctement, alors nous avons déjà son estimation en moyenne des réponses précédentes, donc ce n'est pas latent. Si vous voulez dire que l'expertise intègre à la fois la moyenne et la confiance dans notre estimation, comment pouvons-nous propager les probabilités pour obtenir l'expertise et les résultats?

ffriend

Oui, vous pouvez représenter à la fois la moyenne et la confiance avec cette variable "expertise" et l'inférence bayésienne. J'ai ajouté quelques explications et une référence à ma réponse. J'espère que cela pourra aider !

Emile