Calcul de la fiabilité inter-évaluateurs en R avec un nombre variable de notes?

9

Wikipedia suggère qu'une façon d'examiner la fiabilité inter-évaluateurs consiste à utiliser un modèle à effets aléatoires pour calculer la corrélation intraclasse . L'exemple de la corrélation intraclasse parle de regarder

σα2σα2+σϵ2

à partir d'un modèle

Ouijej=μ+αje+ϵjej

"où Y ij est la j ème observation dans le i ème groupe, μ est une moyenne globale non observée, α i est un effet aléatoire non observé partagé par toutes les valeurs du groupe i, et ε ij est un terme de bruit non observé."

C'est un modèle attrayant, en particulier parce que dans mes données, aucun évaluateur n'a évalué toutes choses (bien que la plupart aient noté 20+), et les choses sont évaluées un nombre variable de fois (généralement 3-4).

Question # 0: Le «groupe i» dans cet exemple («groupe i») est-il un groupe de choses évaluées?

Question # 1: Si je recherche une fiabilité inter-évaluateurs, n'ai-je pas besoin d'un modèle d'effets aléatoires avec deux termes, un pour le évaluateur et un pour la chose évaluée? Après tout, les deux ont des variations possibles.

Question # 2: Comment exprimer au mieux ce modèle en R?

Il semble que cette question ait une belle proposition:

lmer(measurement ~ 1 + (1 | subject) + (1 | site), mydata)

J'ai regardé quelques questions , et la syntaxe du paramètre "aléatoire" pour lme est opaque pour moi. J'ai lu la page d'aide de lme , mais la description de "random" est incompréhensible pour moi sans exemples.

Cette question est quelque peu similaire à une longue liste de questions , celle-ci étant la plus proche. Cependant, la plupart n'abordent pas R en détail.

dfrankow
la source
Les modèles à effets mixtes et à effets aléatoires sont codés de la même manière dans R. Voir ncbi.nlm.nih.gov/pmc/articles/PMC3402032 pour plus d'informations sur les tuto!
noé

Réponses:

6

Le modèle auquel vous avez fait référence dans votre question est appelé «modèle unidirectionnel». Il suppose que les effets de lignes aléatoires sont la seule source systématique de variance. Dans le cas de la fiabilité inter-évaluateurs, les lignes correspondent aux objets de mesure (par exemple, les sujets).

Modèle unidirectionnel : μ est la moyenne de tous les objets, r i

Xjej=μ+rje+wjej
μrje est l'effet de ligne et est l'effet résiduel.wjej

Cependant, il existe également des «modèles bidirectionnels». Ceux-ci supposent qu'il existe une variance associée aux effets de ligne aléatoires ainsi qu'aux effets de colonne aléatoires ou fixes. Dans le cas de la fiabilité inter-évaluateurs, les colonnes correspondent aux sources de mesure (par exemple, les évaluateurs).

Modèles à deux voies : x i j = μ + r i + c j + e i jμ est la moyenne de tous les objets, r i est l'effet de ligne, c j est l'effet de colonne, r c i j est l'effet d'interaction, et e

Xjej=μ+rje+cj+rcjej+ejej
Xjej=μ+rje+cj+ejej
μrjecjrcjej est l'effet résiduel. La différence entre ces deux modèles est l'inclusion ou l'exclusion de l'effet d'interaction.ejej

XjejX¯je

Voici les définitions si vous supposez un effet de colonne aléatoire:

jeCC(C,1)=σr2σr2+(σrc2+σe2) ou σr2σr2+σe2
jeCC(C,k)=σr2σr2+(σrc2+σe2)/k ou σr2σr2+σe2/k
jeCC(UNE,1)=σr2σr2+(σc2+σrc2+σe2) ou σr2σr2+(σc2+σe2)
jeCC(UNE,k)=σr2σr2+(σc2+σrc2+σe2)/k ou σr2σr2+(σc2+σe2)/k

Vous pouvez également estimer ces valeurs à l'aide des carrés moyens de l'ANOVA:

jeCC(C,1)=MSR-MSEMSR+(k-1)MSE
jeCC(C,k)=MSR-MSEMSR
jeCC(UNE,1)=MSR-MSEMSR+(k-1)MSE+k/n(MSC-MSE)
jeCC(UNE,k)=MSR-MSEMSR+(MSC-MSE)/n

Vous pouvez calculer ces coefficients dans R en utilisant le package irr :

icc(ratings, model = c("oneway", "twoway"),
type = c("consistency", "agreement"),
unit = c("single", "average"), r0 = 0, conf.level = 0.95)

Références

McGraw, KO et Wong, SP (1996). Formuler des inférences sur certains coefficients de corrélation intraclasse. Méthodes psychologiques, 1 (1), 30–46.

Shrout, PE et Fleiss, JL (1979). Corrélations intraclasses: Utilisées pour évaluer la fiabilité des évaluateurs. Bulletin psychologique, 86 (2), 420–428.

Jeffrey Girard
la source
Merci pour la bonne réponse! Dans un modèle bidirectionnel au sein d'icc dans R, comment représenter la sélection aléatoire des évaluateurs par ligne? Je veux dire, imaginez que nous avons un pool de 100 évaluateurs, et chaque sujet est évalué par environ 5-10 d'entre eux. Un tel scénario peut-il être géré par le paquet icc?
michal
Chaque évaluateur doit avoir sa propre colonne dans la matrice que vous alimentez à la fonction icc. Sinon, le calcul est le même pour les modèles à effets aléatoires et mixtes - la principale différence réside dans l'interprétation (comment les résultats peuvent-ils être généralisés).
Jeffrey Girard
Merci d'avoir répondu! J'essaie de le faire, ayant principalement NA dans les cellules (et seulement quelques valeurs avec des nombres réels par colonne, où un évaluateur particulier a évalué un sujet correspondant à une ligne). Cependant, dans la sortie, j'obtiens un texte disant qu'aucun sujet n'a été enregistré (par exemple Sujets = 0 rapporteurs = 9). Cela signifie peut-être que partout où au moins une AN a été trouvée, toute la ligne est filtrée? Mais alors, comment puis-je indiquer les notes manquantes d'un évaluateur?
michal
Hmm qui peut être une limitation de cette fonction icc spécifique. J'ai un script MATLAB qui peut gérer cette situation. Vous arrive-t-il d'avoir accès à MATLAB?
Jeffrey Girard
1
Oui, consultez mon site Web: mreliability.jmgirard.com
Jeffrey Girard