Comment comparer la répétabilité (ICC) de différents groupes?

8

J'ai calculé les valeurs ICC pour deux groupes et je voudrais maintenant comparer les valeurs ICC pour déterminer si les groupes diffèrent dans leur répétabilité. Dans la littérature, les gens ont simplement utilisé des tests t pour comparer la répétabilité, mais je ne sais pas comment procéder.

Par exemple, avec les données fictives:

ID  gr  day behaviour
1   1   1   0.361
2   1   1   0.232
3   1   1   0.240
4   1   1   0.693
5   1   1   0.483
6   1   1   0.267
7   2   1   0.180
8   2   1   0.515
9   2   1   0.485
10  2   1   0.567
11  2   1   0.000
12  2   1   0.324
1   1   2   0.055
2   1   2   0.407
3   1   2   0.422
4   1   2   0.174
5   1   2   0.613
6   1   2   0.311
7   2   2   0.631
8   2   2   0.283
9   2   2   0.512
10  2   2   0.127
11  2   2   0.000
12  2   2   0.000

Je peux obtenir les mesures de répétabilité pour les groupes 1 et 2 comme suit:

library(ICC)
g1 <- ICCest(ID, behaviour, data=dummy[dummy$gr=="1",])
g2 <- ICCest(ID, behaviour, data=dummy[dummy$gr=="2",])

Mais comment puis-je maintenant déterminer si la répétabilité du groupe 1 est différente de celle du groupe 2?

crazjo
la source
Je remarque que chacun de vos groupes n'a que 2 clusters. Ce n'est certainement pas idéal, et c'est sûrement la raison pour laquelle les intervalles de confiance autour de vos deux estimations ICC sont extrêmement larges (ce que je vois dans la réponse de @JamesStanley ci-dessous), au moins pour cet échantillon de données que vous avez fourni. Dans votre ensemble de données actuel , avez-vous seulement 2 clusters par groupe, ou (espérons-le) plus de clusters que cela? Si plus, combien par groupe?
Jake Westfall
Que voulez-vous dire exactement avec 2 clusters? J'ai testé deux groupes deux fois oui, je ne vois pas pourquoi ce n'est pas idéal? J'ai maintenant effectué des tests de permutation pour comparer l'ICC des deux groupes (r = 0,77, IC à 95%: 0,54, 0,91 et pour le groupe 2 r = 0,24, IC à 95%: 0,07, 0,57), ce qui révèle que le groupe 1 a une répétabilité significativement plus élevée que ce groupe 2.
crazjo
1
Peut-être qu'on devrait reculer. L'ICC est applicable aux données groupées (c'est-à-dire multiniveaux). C'est une façon de mesurer la similitude moyenne de deux observations tirées du même cluster, par rapport à deux observations tirées au hasard de l'ensemble de données en ignorant le clustering. En pratique, il est calculé comme le rapport de la variance entre les grappes à la variance totale. Donc, si vous n'avez que 2 grappes dans chacun de vos groupes, l'estimation de la variance entre les grappes n'est basée que sur 2 points de données. Imaginez-vous tenter d'estimer, par exemple, la moyenne ou l'écart-type d'un ensemble de données composé de seulement 2 points de données!
Jake Westfall
Quant à votre test de permutation, je serais très intéressé de voir exactement comment cela a été effectué. Je pensais publier une solution basée sur un test de bootstrap ou de permutation. Notez que ce genre de chose doit être fait assez soigneusement avec des données à plusieurs niveaux!
Jake Westfall

Réponses:

1

Laissant de côté les problèmes matériels concernant la question d'étude et les données de démonstration (et la taille de l'échantillon pour obtenir une estimation raisonnable d'un ICC), les résultats que vous obtenez de la ICCestfonction sont assortis d'intervalles de confiance: comme point de départ pour comparer les groupes, vous pouvez déterminer si il y a chevauchement entre chaque intervalle de confiance et l'estimation ponctuelle de l'autre groupe de l'ICC.

Quoi qu'il en soit, la communication de l'estimation ponctuelle de l'ICC et de l'intervalle de confiance pour chaque groupe va être plus utile (et je recommanderais donc de les déclarer dans tous les cas) que de déclarer uniquement les estimations ponctuelles et le résultat d'une sorte de test d'hypothèse.

dummy <- structure(list(ID = c(1L, 2L, 3L, 4L, 5L, 6L, 7L, 8L, 9L, 10L,
                  11L, 12L, 1L, 2L, 3L, 4L, 5L, 6L, 7L, 8L, 9L, 10L, 11L, 12L), 
           gr = c(1L, 1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 2L, 2L, 1L, 
                  1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 2L, 2L), 
           day = c(1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 1L, 2L, 2L, 2L, 2L, 
                   2L, 2L, 2L, 2L, 2L, 2L, 2L, 2L), 
           behaviour = c(0.361, 0.232, 0.24, 0.693, 0.483, 0.267, 0.18, 0.515, 0.485,
                         0.567, 0, 0.324, 0.055, 0.407, 0.422, 0.174, 0.613, 0.311, 
                         0.631, 0.283, 0.512, 0.127, 0, 0)), 
           .Names = c("ID", "gr", "day", "behaviour"), 
          class = "data.frame", row.names = c(NA, -24L))

library(ICC)
ICCest(ID, behaviour, data=dummy[dummy$gr=="1",])
# First few lines of console output:
#$ICC
#[1] -0.1317788
#$LowerCI
#[1] -0.7728603
#$UpperCI
#[1] 0.6851783

ICCest(ID, behaviour, data=dummy[dummy$gr=="2",])
# First few lines of console output:
#$ICC
#[1] 0.1934523
#$LowerCI
#[1] -0.6036826
#$UpperCI
#[1] 0.8233986
James Stanley
la source
Merci James, la sortie que j'ai obtenue des données réelles a montré pour le groupe 1: r = 0.77, 95% CI: 0.54, 0.91et pour le groupe 2 r = 0.77, 95% CI: 0.07, 0.57. Vous pouvez voir que le groupe 1 avait une cohérence relativement très élevée tandis que le groupe 2 avait une cohérence moyenne modérée, mais les intervalles de confiance des deux groupes se chevauchaient à peine. Puis-je écrire dans un manuscrit le groupe 2 était considérablement moins cohérent que le groupe 1 (au-dessus des statistiques)? Je comprends que vous suggérez que ce serait mieux que d'exécuter un test pour les comparer, mais il serait quand même bien de savoir comment comparer les valeurs ICC de deux groupes.
crazjo
Je me sentirais à l'aise de lire l'évaluation de ces deux ICC comme indiqué dans votre commentaire comme indiquant différentes fiabilité (je suppose que le groupe 2 r a une faute de frappe et est en fait ~ = 0,32) - le chevauchement est entre les extrémités de l'intervalle de confiance, plutôt qu'un intervalle de confiance donné et une estimation ponctuelle opposée qui, s'il s'agissait de différences de moyennes, correspondraient probablement à un résultat de test t "significatif" à p <0,05.
James Stanley