Mesures de la Concordance Inter-Evaluateurs dans R

Graphique de Concordance dans R

Précédemment, nous avons décrit de nombreuses métriques statistiques, telles que le Kappa de Cohen @ref(cohen-s-kappa) et le Kappa pondéré @ref (weighted-kappa), pour évaluer l’accord ou la concordance entre deux évaluateurs (juges, observateurs, cliniciens) ou deux méthodes de mesure.

Ce chapitre décrit le graphique de concordance (S. I. Bangdiwala 1985), qui fournit une solution pour visualiser la force de l’accord entre deux méthodes mesurant à l’échelle ordinale. Par exemple, le graphique de concordance peut être utilisé pour comparer visuellement deux méthodes de diagnostic ou de classification. Il est à noter que le graphique de concordance est généralement recommandée pour les variables catégorielles ordinales.

Vous apprendrez:

  • Les bases de la construction d’un graphique de concordance
  • Codes R pour la création d’un tableau de concordance

Contents:

Livre associé

Concordance Inter-Juges: L'Essentiel - Guide Pratique dans R

Prérequis

Assurez-vous d’avoir installé le package vcd pour visualiser les données catégorielles.

install.packages("vcd")

Construction d’un graphique de concordance

Structure des données. Considérons le tableau de contingence k x k suivant, où k est le nombre de catégories:

##           rater2
## rater1     Level.1 Level.2 Level... Level.k Total
##   Level.1  n11     n12     ...      n1k     n1+  
##   Level.2  n21     n22     ...      n2k     n2+  
##   Level... ...     ...     ...      ...     ...  
##   Level.k  nk1     nk2     ...      nkk     nk+  
##   Total    n+1     n+2     ...      n+k     N

Terminologies:

  • La colonne “Total” (n1+, n2+, ...., nk+) indique la somme de chaque ligne, connue sous le nom de marges des lignes ou effectifs marginaux. Ici, la somme totale d’une ligne donnée i est nommée ni+.
  • La ligne “Total” (n+1, n+2, ...., n+k) indique la somme de chaque colonne, appelée marges des colonnes. Ici, la somme totale d’une colonne donnée i est nomée n+i
  • N est la somme totale de toutes les cellules du tableau

Graphique de concordance. Le graphique de concordance est une représentation visuelle d’un tableau de contingence k × k carré. Il est construit avec les étapes suivantes (S. Bangdiwala and Shankar 2013, Friendly, Meyer, and Zeileis (2015)):

  1. Dessiner un carré N × N, où N est la taille totale de l’échantillon
  2. Dessiner k rectangles, de dimensions marges totaux des lignes x colonnes, placés à l’intérieur du carré N × N
  3. Dessiner k carrés noirs de dimensions basées sur les fréquences diagonales des cellules (nii), placés à l’intérieur du rectangle correspondant. Ces carrés noirs représentent l’accord observé.
  4. Les zones “d’accord partiel” peuvent être placées de la même manière à l’intérieur des rectangles, avec une couleur grise pour les cellules plus éloignées des cellules diagonales.

Exemple de données

Nous utiliserons le jeu de données de démonstration sur l’anxiété où deux médecins cliniciens classent 50 personnes en 4 niveaux d’anxiété ordonnés : “normal” (pas d’anxiété), “modéré”, “élevé”, “très élevé”.

Les données sont organisées dans le tableau de contingence 3x3 suivant:

anxiety <- as.table(
  rbind(
    c(11, 3, 1, 0), c(1, 9, 0, 1),
    c(0, 1, 10, 0 ), c(1, 2, 0, 10)
  )
)
dimnames(anxiety) <- list(
  Doctor1 = c("Normal", "Moderate", "High", "Very high"),
  Doctor2 = c("Normal", "Moderate", "High", "Very high")
)
anxiety
##            Doctor2
## Doctor1     Normal Moderate High Very high
##   Normal        11        3    1         0
##   Moderate       1        9    0         1
##   High           0        1   10         0
##   Very high      1        2    0        10

Notez que les niveaux des facteurs doivent être dans l’ordre correct, sinon les résultats seront erronés.

Créez un graphique de concordance dans R

Nous voulons comparer visuellement la concordance des diagnostics des deux médecins.

par(mar = c(4, 2, 2,2))
library(vcd)
# Créer le graphique
p <- agreementplot(anxiety)

# Afficher les statistiques sur la force de l'accord de Bangdiwala
unlist(p)[1 : 2]
##          Bangdiwala Bangdiwala_Weighted 
##               0.644               0.795

Légende du graphique:

  • Carré noir : accord exact observé
  • Carré gris : accord partiel en incluant une contribution pondérée des cellules hors diagonale. Par défaut, le poids w = 1 est attribué à toutes les cellules diagonales (accord exact) ; un poids quadratique (1 - 1/(k - 1)^2) est attribué aux désaccords d’un cran (ou aux cellules hors diagonale d’un cran, accord partiel). Si vous ne voulez pas montrer un accord partiel, spécifiez l’argument weights as follow: agreementplot(anxiety, weights = 1)

Notez que,

  • L’image visuelle est affectée si l’ordre des catégories est permuté, et donc l’utilisation du graphique de concordance n’est recommandée que pour les variables ordinales (Bangdiwala et al., 2013).
  • Dans le cas d’une concordance parfaite, les k rectangles déterminés par les totaux marginaux sont tous des carrés parfaits et les carrés foncés déterminés par les entrées des cellules diagonales sont exactement égaux aux rectangles, produisant une valeur statistique B de 1 (Bangdiwala et al., 2013).
  • Une concordance moindre est visualisée en comparant la surface des carrés noircis et la surface des rectangles (Bangdiwala et al., 2013).
  • Il peut arriver qu’un évaluateur ait tendance à classer systématiquement le sujet dans des catégories supérieures ou inférieures à l’autre, peut-être en raison de l’utilisation de seuils plus stricts pour les limites entre catégories adjacentes (Friendly et al., 2015). Ce biais des observateurs ou des évaluateurs est visualisé en examinant la déviation des carrés foncés par rapport à la ligne diagonale de 45° à l’intérieur du carré N x N plus grand (Bangdiwala et al., 2013 ; Friendly et al., 2015).

Résumé

Cet article décrit comment créer un graphique de concordance dans R.

References

Bangdiwala, Shrikant I. 1985. “A Graphical Test for Observer Agreement.” Amsterdam: International Statistical Institute, 307–8.

Bangdiwala, Shrikant, and Viswanathan Shankar. 2013. “The Agreement Chart.” BMC Medical Research Methodology 13 (July): 97. doi:10.1186/1471-2288-13-97.

Friendly, Michael, D. Meyer, and A. Zeileis. 2015. Discrete Data Analysis with R: Visualization and Modeling Techniques for Categorical and Count Data. 1st ed. Chapman; Hall/CRC.



Version: English

Coefficient de Corrélation Intra-classe Dans R (Prev Lesson)
(Next Lesson) Analyse de Concordance Inter-Juges: Codes R Rapide
Back to Mesures de la Concordance Inter-Evaluateurs dans R

No Comments

Give a comment

Want to post an issue with R? If yes, please make sure you have read this: How to Include Reproducible R Script Examples in Datanovia Comments