Je travaille pour une organisation qui supervise environ 180 écoles à travers le pays. Nous collectons régulièrement des données sur les résultats de ces écoles et les classons. On m'a demandé de faire une enquête auprès du bureau national (environ 100 personnes) pour déterminer quelles sont les meilleures et les pires écoles perçues , sur la base de l'impression non fondée sur les données du personnel de la qualité de l'école.
Quelques informations supplémentaires:
- Tous les membres du personnel ne connaissent pas toutes les écoles. Lorsqu'on lui a demandé de classer une école "je ne sais rien de cette école" doit être une option.
- Certains membres du personnel travaillent avec un sous-ensemble spécifique d'écoles, de sorte que les connaissances de ces membres du personnel sont excellentes pour ces écoles spécifiques.
Ma première approche serait de générer aléatoirement des ensembles d'une dizaine d'écoles, chaque école étant répartie en 6 ensembles environ. Demandez ensuite à chaque membre du personnel de classer chaque ensemble, en indiquant quelles écoles sont inconnues. Je pourrais ensuite faire la moyenne du classement de chaque école sur l'ensemble de ses ensembles et l'utiliser comme classement mondial.
La méthode décrite ci-dessus est-elle viable? Y a-t-il une meilleure façon? Si cela fonctionnait, de combien de points de données ai-je besoin pour chaque école pour que le classement agrégé soit représentatif?
la source
Réponses:
Vous pouvez utiliser un modèle de type Bradley-Terry-Luce basé sur des comparaisons par paires. Générer au hasard (ou autrement) un groupe de paires d'écoles et demander à chaque membre du personnel d'examiner plusieurs paires et de vous dire laquelle dans la paire est la meilleure (ou un "je ne sais pas" s'il n'a aucune connaissance d'une ou des deux écoles ). Branchez ensuite ces données dans le modèle pour obtenir le classement.
Il existe un package BradleyTerry2 pour R qui convient à ces modèles.
la source