Quelles sont les façons de montrer que deux méthodes analytiques sont équivalentes?

11

J'ai deux méthodes analytiques différentes qui peuvent mesurer la concentration d'une molécule particulière dans une matrice (par exemple mesurer la quantité de sel dans l'eau)

Les deux méthodes sont différentes et chacune a sa propre erreur. Les moyens permettant de montrer les deux méthodes sont équivalents (ou non).

Je pense que tracer les résultats d'un certain nombre d'échantillons mesurés par les deux méthodes sur un graphique de dispersion est une bonne première étape, mais existe-t-il de bonnes méthodes statistiques?

PaulHurleyuk
la source
Pouvez-vous donner plus de détails dans votre question? Je ne comprends pas ce qu'est "la concentration d'une molécule particulière dans une matrice".
robin girard
2
@robin: "matrice" dans ce contexte est la terminologie standard de la chimie analytique; il fait référence au support sur lequel les entités à analyser (les "analytes") peuvent être trouvées. Par exemple, si vous analysez la concentration de plomb dans l'eau du robinet, le plomb est l'analyte et l'eau est la matrice.
JM n'est pas statisticien le

Réponses:

13

L'approche de corrélation simple n'est pas la bonne façon d'analyser les résultats d'études de comparaison de méthodes. Il y a (au moins) deux livres hautement recommandés sur ce sujet que j'ai référencés à la fin (1,2). En bref, lorsque nous comparons des méthodes de mesure, nous nous attendons généralement à ce que (a) nos conclusions ne dépendent pas de l'échantillon particulier utilisé pour la comparaison, et (b) l'erreur de mesure associée à l'instrument de mesure particulier doit être prise en compte. Cela exclut toute méthode basée sur des corrélations, et nous porterons notre attention sur les composantes de variance ou les modèles à effets mixtes qui permettent de refléter l'effet systématique de l'élément (ici, l'élément représente l'individu ou l'échantillon sur lequel les données sont collectées), qui résulte de (une).

Dans votre cas, vous avez des mesures uniques collectées à l'aide de deux méthodes différentes (je suppose qu'aucune d'entre elles ne peut être considérée comme un étalon-or) et la chose la plus fondamentale à faire est de tracer les différences ( ) en fonction des moyennes ( ); cela s'appelle un . Il vous permettra de vérifier si (1) les variations entre les deux ensembles de mesures sont constantes et (2) la variance de la différence est constante sur toute la plage des valeurs observées. Fondamentalement, il s'agit simplement d'une rotation à 45 ° d'un nuage de points simple de rapport à , et son interprétation est proche d'un tracé des valeurs ajustées par rapport aux valeurs résiduelles utilisées dans la régression linéaire. Alors, ( X 1 + X 2 ) / 2 X 1 X 2X1X2(X1+X2)/2X1X2

  • si la différence est constante ( biais constant ), vous pouvez calculer la limite d'accord (voir (3))
  • si la différence n'est pas constante sur toute la plage de mesure, vous pouvez adapter un modèle de régression linéaire entre les deux méthodes (choisissez celle que vous souhaitez comme prédicteur)
  • si la variance des différences n'est pas constante, essayez de trouver une transformation appropriée qui rend la relation linéaire avec une variance constante

D'autres détails peuvent être trouvés dans (2), chapitre 4.

Références

  1. Dunn, G (2004). Conception et analyse des études de fiabilité . Arnold. Voir la revue dans l' International Journal of Epidemiology .
  2. Carstensen, B (2010). Comparaison des méthodes de mesure cliniques . Wiley. Voir le site Web compagnon , y compris le code R.
  3. L'article original de Bland et Altman, Méthodes statistiques pour évaluer l'accord entre deux méthodes de mesure clinique .
  4. Carstensen, B (2004). Comparer et prévoir entre plusieurs méthodes de mesure . Biostatistique , 5 (3) , 399–413.
chl
la source
Pourriez-vous préciser ce que vous entendez par "(a) nos conclusions ne devraient pas dépendre de l'échantillon particulier utilisé pour la comparaison"? J'ai des problèmes en raison de l'ambiguïté de "échantillon" dans ce contexte: cela signifie-t-il "échantillon statistique" (un ensemble de données présumées représenter un processus ou une population) ou "échantillon environnemental" (un peu d'eau, de sol, de l'air ou des tissus, généralement). Avec l'un ou l'autre sens, je ne peux pas tout à fait tirer la ligne logique de votre conclusion selon laquelle cela "exclut toute méthode basée sur des corrélations".
whuber
@whuber Eh bien, je veux dire la collecte des données observées (par exemple la concentration de glucose) qui, idéalement, devraient être représentatives de la plage probable de ce qui est mesuré. S'appuyer sur la corrélation peut être trompeur, car cela dépend des unités échantillonnées (par exemple, les patients dans un hôpital): nous pouvons obtenir une corrélation plus élevée simplement en obtenant une ou plusieurs mesures extrêmes sur l'une ou l'autre échelle, bien que la relation entre les deux méthodes soit toujours la même. . Par conséquent, l'idée est que la distribution de la mesure d'intérêt ne devrait pas influencer notre conclusion sur la comparabilité des méthodes. (...)
chl
@whuber (...) Ce que nous voulons évaluer, c'est l' accord au-delà des données , pas la relation dans les données (je cite Carstensen 2010 p. 8-9).
chl
Je vous remercie; qui clarifie bien votre position. Il s'agit essentiellement d'un exercice d' étalonnage, sauf que nous ne semblons pas avoir d'étalon de référence pour la comparaison; nous supposons simplement que les échantillons physiques choisis par l'expérimentateur couvrent une certaine plage de concentrations réelles. Ainsi, au moment où vous écrivez, la corrélation en soi n'est pas nécessairement une mesure utile d'accord entre les deux méthodes. Cependant, généralement pour les analyses chimiques, la véritable concentration est connue (car l'expérimentateur a introduit une quantité connue d'une substance dans la matrice).
whuber
@whuber C'est vrai. En l'absence d'un étalon-or, nous nous intéressons simplement à la mesure dans laquelle les deux méthodes donnent des résultats "comparables", d'où l'idée de s'appuyer sur des soi-disant limites de l'accord. Bien que la vraie mesure puisse être connue à l'avance, chaque instrument de mesure comporte sa propre erreur de mesure - du moins pour ceux que j'ai l'habitude de traiter dans le domaine biomédical (par exemple, la glycémie) et neuropsychologique (par exemple, le niveau de dépression).
chl
2

Si vous n'avez aucun moyen de connaître la véritable concentration, l'approche la plus simple serait une corrélation. Une étape au-delà de cela pourrait consister à effectuer une régression simple prédisant le résultat de la méthode 2 en utilisant la méthode 1 (ou vice versa). Si les méthodes sont identiques, l'ordonnée à l'origine devrait être 0; si l'ordonnée à l'origine est supérieure ou inférieure à 0, cela indiquerait le biais d'une méthode par rapport à une autre. La pente non normalisée doit être proche de 1 si les méthodes produisent en moyenne des résultats identiques (après contrôle d'un biais à la hausse ou à la baisse dans l'ordonnée à l'origine). L'erreur dans la pente non normalisée pourrait servir d'indice de la mesure dans laquelle les deux méthodes s'accordent.

Il me semble que la difficulté avec les méthodes statistiques ici que vous cherchez à affirmer ce qui est généralement posé comme une hypothèse nulle, c'est-à-dire qu'il n'y a pas de différences entre les méthodes. Ce n'est pas un coup fatal pour l'utilisation de méthodes statistiques tant que vous n'avez pas besoin d'une valeur ap et que vous pouvez quantifier ce que vous entendez par "équivalent" et pouvez décider de la déviation que les deux méthodes peuvent avoir l'une de l'autre avant de ne plus les considérer comme équivalents. Dans l'approche de régression que j'ai détaillée ci-dessus, vous pourriez considérer les méthodes équivalentes si l'intervalle de confiance autour de l'estimation de pente incluait 1 et l'IC autour de l'interception incluait 0.

russellpierce
la source
En chimiométrie, les réponses des instruments sont souvent non linéaires et hétéroscédastiques. Au minimum, cela impose une certaine prudence lors de la conduite et de l'interprétation de la régression.
whuber
1

Je suis d'accord avec @drnexus. De plus, je pourrais recommander un test de Morgan-Pitman pour l'égalité des variances des deux méthodes. Cela vous dirait si une méthode a plus de variance que l'autre. En soi, cela ne serait peut-être pas une mauvaise chose, car les deux tests ont probablement des compromis différents biais-variance (par exemple, un test pourrait toujours dire 50% (biaisé, mais pas de variance) tandis que l'autre est impartial mais très bruyant). Certaines connaissances du domaine peuvent être utiles ici pour déterminer le compromis que vous souhaitez pour votre méthode. Bien sûr, comme l'ont noté d'autres, avoir un «étalon-or» serait de loin préférable.

shabbychef
la source
1

Assez vieille question, mais comme elle est revenue aujourd'hui:

Le mot-clé général est "validation en chimie analytique" et en tant que tel, il est un peu hors sujet ici (mais comme il n'y a pas de site de chimie ici (encore: http://area51.stackexchange.com/proposals/4964/chemistry , I je suppose que nous pouvons le laisser ici pour le moment)

Il existe pour cela des procédures standard en chimie analytique.

Livres:

  • Funk et. al: Assurance de la qualité en chimie analytique, Wiley-VCH.

  • Kromidas (Hrsg.): Handbuch Validierung in der Analytik, Wiley-VCH
    (Je ne sais pas s'il existe une version anglaise et je ne l'ai pas (encore). Mais la table des matières répertorie la validation de l'étalonnage multivarié.)

L'UICPA a également quelque chose à dire à ce sujet:

  • Danzer, K. et Currie, LA: Lignes directrices pour l'étalonnage en chimie analytique. Partie I. Principes fondamentaux et étalonnage à un seul composant, Chimie pure et appliquée, IUPAC, 1998, 4, 993-1014

  • Danzer, K. et Otto, M. et Currie, LA: Lignes directrices pour l'étalonnage en chimie analytique. Partie 2: Étalonnage multicomposants Chimie pure et appliquée, 2004, 76, 1215-1225

cbeleites mécontents de SX
la source
0

Votre utilisation de l'expression «méthodes analytiques» est un peu déroutante pour moi. Je vais supposer que par «méthodes analytiques», vous entendez un modèle spécifique / une stratégie d'estimation.

D'une manière générale, il existe deux types de mesures que vous pouvez utiliser pour choisir entre les estimateurs.

Mesures dans l'échantillon

  • Rapport de vraisemblance / test de Wald / test de score
  • R 2
  • Taux de réussite dans l'échantillon (pourcentage de prévisions correctes pour les données d'échantillon)
  • (Beaucoup d'autres paramètres selon le modèle / contexte d'estimation)

Mesures hors échantillon

  • Taux de réussite hors échantillon (pourcentage de prévisions correctes pour les données hors échantillon)

Si les estimations sont équivalentes, elles fonctionneraient tout aussi bien sur ces paramètres. Vous pouvez également voir si les estimations ne sont pas statistiquement différentes les unes des autres (comme le test d'égalité des moyennes sur deux échantillons), mais la méthodologie à cet effet dépendrait des spécificités du modèle et de la méthode.


la source
Désolé, je voulais dire une méthode de mesure analytique. J'ai reformulé la question.
PaulHurleyuk
Dans ce cas, je pense que le test à deux échantillons de l'égalité des moyennes / proportions est ce que vous voudrez peut-être faire.
2
Un test des moyennes / proportions ne vous donnerait-il pas seulement une estimation ponctuelle de la réponse moyenne des deux méthodes pour un ensemble donné de réponses? Cette approche ne pourrait-elle pas donner un résultat «égal» même si les deux méthodes étaient en fait négativement corrélées l'une avec l'autre?
russellpierce
C'est un bon point.