Quelles méthodes de fiabilité inter-évaluateurs sont les plus appropriées pour les données ordinales ou d'intervalle? Je pense que la "probabilité d'accord commune" ou la "Kappa" sont conçues pour des données nominales. Alors que "Pearson" et "Spearman" peuvent être utilisés, ils sont...
Si vous avez lu les bulletins communautaires récemment, vous avez probablement vu The Hunting of the Snark, un article sur le blog officiel StackExchange de Joel Spolsky, PDG du réseau StackExchange. Il discute d'une analyse statistique réalisée sur un échantillon de commentaires SE pour évaluer...
J'ai plusieurs codeurs indépendants qui essaient d'identifier les événements dans une série chronologique - dans ce cas, je regarde une vidéo de conversation en face à face et je recherche des comportements non verbaux particuliers (par exemple, des hochements de tête) et le codage de l'heure et de...
Environ 600 étudiants ont obtenu un score sur une évaluation approfondie, qui peut être considérée comme ayant une bonne fiabilité / validité. L'évaluation est notée sur 100, et c'est un test à choix multiple marqué par ordinateur. Ces 600 élèves ont également obtenu des notes sur une deuxième...
Wikipedia suggère qu'une façon d'examiner la fiabilité inter-évaluateurs consiste à utiliser un modèle à effets aléatoires pour calculer la corrélation intraclasse . L'exemple de la corrélation intraclasse parle de regarder σ2ασ2α+
12 enseignants enseignent à 600 élèves. Les 12 cohortes enseignées par ces enseignants varient en taille de 40 à 90 étudiants, et nous nous attendons à des différences systématiques entre les cohortes, car les étudiants diplômés ont été répartis de manière disproportionnée dans des cohortes...
Le coefficient de corrélation de Matthews ( ) est une mesure pour mesurer la qualité d'une classification binaire ([Wikipedia] [1]). formulation est donnée pour la classification binaire utilisant les valeurs de vrais positifs ( ), de faux positifs ( ), de faux négatifs ( ) et de vrais négatifs ( )...
Contexte: Huit médecins ont chacun évalué les mêmes 54 patients sur une mesure de persuasion (échelle de 1-7 Likert). Le score moyen sur la mesure de persuasion sera finalement la mesure des résultats de mon expérience. La fiabilité inter-évaluateurs a été quantifiée comme le coefficient de...
J'ai un ensemble de données de plus de 11 000 éléments distincts, chacun étant classé sur une échelle nominale par au moins 3 évaluateurs différents sur Mechanical Turk d' Amazon . 88 évaluateurs différents ont rendu des jugements pour la tâche, et aucun évaluateur n'a rendu plus de 800 jugements....
Les participants ont été notés deux fois, les 2 notes étant séparées de 3 ans. Pour la plupart des participants, les évaluations ont été faites par différents évaluateurs, mais pour certains (<10%), le même évaluateur a effectué les deux évaluations. Il y avait au total 8 évaluateurs, dont 2...
J'ai lu les excellents commentaires sur la façon de traiter les valeurs manquantes avant d'appliquer SVD, mais j'aimerais savoir comment cela fonctionne avec un exemple simple: Movie1 Movie2 Movie3 User1 5 4 User2 2 5 5 User3 3 4 User4 1 5 User5 5 1 5 Étant donné la matrice ci-dessus, si je...