Calcul de la fiabilité inter-évaluateurs en R avec un nombre variable de notes?

Wikipedia suggère qu'une façon d'examiner la fiabilité inter-évaluateurs consiste à utiliser un modèle à effets aléatoires pour calculer la corrélation intraclasse . L'exemple de la corrélation intraclasse parle de regarder

à partir d'un modèle

"où Y _ij est la j ^ème observation dans le i ^ème groupe, μ est une moyenne globale non observée, α _i est un effet aléatoire non observé partagé par toutes les valeurs du groupe i, et ε _ij est un terme de bruit non observé."

C'est un modèle attrayant, en particulier parce que dans mes données, aucun évaluateur n'a évalué toutes choses (bien que la plupart aient noté 20+), et les choses sont évaluées un nombre variable de fois (généralement 3-4).

Question # 0: Le «groupe i» dans cet exemple («groupe i») est-il un groupe de choses évaluées?

Question # 1: Si je recherche une fiabilité inter-évaluateurs, n'ai-je pas besoin d'un modèle d'effets aléatoires avec deux termes, un pour le évaluateur et un pour la chose évaluée? Après tout, les deux ont des variations possibles.

Question # 2: Comment exprimer au mieux ce modèle en R?

Il semble que cette question ait une belle proposition:

lmer(measurement ~ 1 + (1 | subject) + (1 | site), mydata)

J'ai regardé quelques questions , et la syntaxe du paramètre "aléatoire" pour lme est opaque pour moi. J'ai lu la page d'aide de lme , mais la description de "random" est incompréhensible pour moi sans exemples.

Cette question est quelque peu similaire à une longue liste de questions , celle-ci étant la plus proche. Cependant, la plupart n'abordent pas R en détail.

Le modèle auquel vous avez fait référence dans votre question est appelé «modèle unidirectionnel». Il suppose que les effets de lignes aléatoires sont la seule source systématique de variance. Dans le cas de la fiabilité inter-évaluateurs, les lignes correspondent aux objets de mesure (par exemple, les sujets).

Modèle unidirectionnel : où μ est la moyenne de tous les objets, r

$$x_{ij} = \mu + r_i + w_{ij}$$ $\mu$$r_i$ est l'effet de ligne et est l'effet résiduel.$w_{ij}$

Cependant, il existe également des «modèles bidirectionnels». Ceux-ci supposent qu'il existe une variance associée aux effets de ligne aléatoires ainsi qu'aux effets de colonne aléatoires ou fixes. Dans le cas de la fiabilité inter-évaluateurs, les colonnes correspondent aux sources de mesure (par exemple, les évaluateurs).

Modèles à deux voies : x i j = μ + r i + c j + e i j où μ est la moyenne de tous les objets, r i est l'effet de ligne, c j est l'effet de colonne, r c i j est l'effet d'interaction, et

$$x_{ij} = \mu + r_i + c_j + rc_{ij} + e_{ij}$$ $$x_{ij} = \mu + r_i + c_j + e_{ij}$$ $\mu$$r_i$$c_j$$rc_{ij}$ est l'effet résiduel. La différence entre ces deux modèles est l'inclusion ou l'exclusion de l'effet d'interaction.$e_{ij}$

$x_{ij}$$\bar{x}_i$

Voici les définitions si vous supposez un effet de colonne aléatoire:

$$ICC(C,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2}$$ $$ICC(C,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + \sigma_e^2/k}$$ $$ICC(A,1) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)}$$ $$ICC(A,k) = \frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_{rc}^2 + \sigma_e^2)/k}\text{ or }\frac{\sigma_r^2}{\sigma_r^2 + (\sigma_c^2 + \sigma_e^2)/k}$$

Vous pouvez également estimer ces valeurs à l'aide des carrés moyens de l'ANOVA:

$$ICC(C,1) = \frac{MS_R - MS_E}{MS_R + (k-1)MS_E}$$ $$ICC(C,k) = \frac{MS_R-MS_E}{MS_R}$$ $$ICC(A,1) = \frac{MS_R-MS_E}{MS_R + (k-1)MS_E + k/n(MS_C-MS_E)}$$ $$ICC(A,k) = \frac{MS_R-MS_E}{MS_R + (MS_C-MS_E)/n}$$

Vous pouvez calculer ces coefficients dans R en utilisant le package irr :

icc(ratings, model = c("oneway", "twoway"),
type = c("consistency", "agreement"),
unit = c("single", "average"), r0 = 0, conf.level = 0.95)

Références

McGraw, KO et Wong, SP (1996). Formuler des inférences sur certains coefficients de corrélation intraclasse. Méthodes psychologiques, 1 (1), 30–46.

Shrout, PE et Fleiss, JL (1979). Corrélations intraclasses: Utilisées pour évaluer la fiabilité des évaluateurs. Bulletin psychologique, 86 (2), 420–428.