Kappa Cohena – dlaczego sam procent zgodności nie wystarcza?
Jeżeli dwie osoby oceniają tych samych pacjentów, dokumenty lub odpowiedzi, naturalnym pytaniem jest:
Czy ich oceny są zgodne?
Można policzyć prosty procent zgodności, ale nie uwzględnia on zgodności, która mogłaby pojawić się przypadkowo.
Jedną z podstawowych miar jest kappa Cohena.
Przykład
Dwóch ratowników klasyfikuje 100 zapisów EKG jako:
- rytm wymagający defibrylacji,
- rytm niewymagający defibrylacji.
Obaj wydali tę samą decyzję w 88 przypadkach.
Prosta zgodność:
88%.
Brzmi bardzo dobrze, ale część zgodności mogła powstać losowo.
Co mierzy kappa?
Współczynnik κ porównuje:
- obserwowaną zgodność,
- zgodność oczekiwaną przypadkowo.
Wartość około:
κ = 1
oznacza bardzo wysoką zgodność,
κ = 0
zgodność na poziomie oczekiwanym przypadkowo,
wartości poniżej 0 mogą wskazywać na zgodność gorszą od przypadkowej w ramach modelu.
Przykład
Załóżmy:
obserwowana zgodność = 88%,
kappa:
κ = 0,74.
Informuje to, że po uwzględnieniu zgodności oczekiwanej przypadkowo zgodność pozostaje wysoka.
Jak interpretować kappa?
W literaturze funkcjonują orientacyjne kategorie, np.:
- <0 – słaba,
- 0,00–0,20 – niewielka,
- 0,21–0,40 – dostateczna,
- 0,41–0,60 – umiarkowana,
- 0,61–0,80 – duża,
- 0,81–1,00 – bardzo duża.
Nie należy traktować ich jako uniwersalnych granic.
Znaczenie κ = 0,70 zależy od tego, czy analizujemy:
- ocenę materiału edukacyjnego,
- rozpoznanie kliniczne,
- decyzję o wysokim ryzyku dla pacjenta.
Kappa a procent zgodności
Zawsze warto pokazać oba wyniki.
Przykład:
zgodność = 92%, κ = 0,68.
Pozornie bardzo wysoki procent zgodności może współistnieć z niższą kappa.
Paradoks kappa i częstość kategorii
Kappa jest wrażliwa na rozkład kategorii.
Załóżmy, że 98% przypadków należy do jednej kategorii.
Dwóch oceniających może uzyskać bardzo wysoki procent zgodności, a kappa może być niższa, niż intuicyjnie oczekiwano.
To jeden z powodów, dla których wyniku nie należy interpretować bez tabeli krzyżowej.
Dwie osoby czy więcej?
Klasyczna kappa Cohena dotyczy dwóch oceniających.
Przy większej liczbie można wykorzystać inne miary, np.:
- kappa Fleissa,
- odpowiednie modele wielopoziomowe,
- inne miary zgodności zależnie od charakteru danych.
Ważona kappa
Jeżeli kategorie mają porządek, np.:
1 – łagodny,
2 – umiarkowany,
3 – ciężki,
różnica między 1 i 2 nie jest tak poważna jak między 1 i 3.
Wtedy można zastosować ważoną kappa – weighted kappa.
Większe niezgodności otrzymują większą „karę”.
Kappa a ICC
Dobór zależy od rodzaju danych.
Kappa: dane kategorialne.
Weighted kappa: dane porządkowe.
ICC: najczęściej pomiary ilościowe, np. wartość ciśnienia oceniana przez dwóch badaczy.
Kappa a korelacja
Korelacja nie jest miarą zgodności.
Dwie osoby mogą systematycznie różnić się o jedną kategorię, a mimo to ich oceny mogą być silnie skorelowane.
Zgodność wymaga innego podejścia.
Przedział ufności
Dobrze jest raportować:
κ = 0,72; 95% CI: 0,60–0,84.
Przedział pokazuje niepewność oszacowania.
Istotność statystyczna
Program może również podać p dla testu:
H0: κ = 0.
Jednak w analizie zgodności często ważniejsza jest:
- sama wartość kappa,
- jej CI,
- tabela niezgodności.
Przy dużej próbie nawet mała kappa może być istotna statystycznie.
Macierz niezgodności
Tabela krzyżowa pokazuje, gdzie oceniający się różnili.
To ważne praktycznie.
Może się okazać, że jedna osoba systematycznie częściej wybiera kategorię „ciężki”.
Sam współczynnik κ tego nie wyjaśni.
Psychometria
Kappa jest często wykorzystywana w:
- ocenie zgodności kodowania odpowiedzi otwartych,
- klasyfikowaniu diagnoz,
- analizie jakości dokumentacji,
- walidacji narzędzi,
- badaniach inter-rater reliability.
Jak opisać wynik?
„Zgodność dwóch oceniających wyniosła 88%. Po uwzględnieniu zgodności oczekiwanej przypadkowo uzyskano κ = 0,74 (95% CI: 0,61–0,87), wskazując na wysoką zgodność ocen.”
Najczęstsze błędy
- raportowanie wyłącznie procentu zgodności,
- stosowanie kappa do pomiarów ilościowych,
- ignorowanie rozkładu kategorii,
- nieuwzględnianie weighted kappa przy danych porządkowych,
- interpretacja wyłącznie p,
- brak przedziału ufności.
FAQ
Co mierzy kappa Cohena?
Zgodność dwóch oceniających po uwzględnieniu zgodności oczekiwanej przypadkowo.
Czy κ = 0,8 jest dobra?
Najczęściej wskazuje wysoką zgodność, ale znaczenie zależy od kontekstu.
Czy kappa nadaje się dla skali 1–5?
Przy uporządkowanych kategoriach warto rozważyć weighted kappa.
Kappa czy ICC?
Kappa zwykle dla danych jakościowych, ICC dla ilościowych.
Czy należy raportować procent zgodności?
Tak, jako uzupełnienie kappa.
Zapraszamy do współpracy
Potrzebujesz oceny zgodności badaczy, psychometrii lub walidacji narzędzia?
statystyka@statystyka.org.pl
tel. 692 809 254
Więcej na temat: analiza statystyczna
Frazy kluczowe: kappa Cohena, Cohen kappa, zgodność oceniających, inter-rater reliability, weighted kappa, ICC, psychometria, analiza statystyczna, SPSS, zgodność pomiarów