Krzywa ROC i AUC – jak ocenić zdolność diagnostyczną testu?

Krzywa ROC jest jednym z najważniejszych narzędzi wykorzystywanych w analizie testów diagnostycznych i modeli klasyfikacyjnych. Pozwala ocenić, jak dobrze określony parametr, skala, biomarker lub model rozróżnia osoby należące do dwóch różnych kategorii.

Może być wykorzystywana między innymi w badaniach medycznych, psychologicznych, epidemiologicznych, laboratoryjnych oraz w analizach predykcyjnych.

Typowe pytania badawcze brzmią:

Czy wartość biomarkera pozwala odróżnić osoby chore od zdrowych?

Jaki wynik skali najlepiej rozróżnia osoby z wysokim i niskim ryzykiem określonego zdarzenia?

Jak dobrze model statystyczny przewiduje wystąpienie choroby, powikłania lub zgonu?

Do takich analiz można zastosować krzywą ROC.

Czym jest krzywa ROC?

ROC pochodzi od angielskiego określenia Receiver Operating Characteristic.

Krzywa ROC przedstawia zależność pomiędzy:

• czułością testu,
• wartością 1 − swoistość,

dla różnych możliwych punktów odcięcia.

Na osi pionowej znajduje się zazwyczaj czułość, natomiast na osi poziomej odsetek wyników fałszywie dodatnich, czyli 1 − swoistość.

Im bardziej przebieg krzywej przesuwa się w kierunku lewego górnego rogu wykresu, tym lepsza jest zdolność klasyfikacyjna analizowanego testu.

Czym jest czułość?

Czułość określa, jaki odsetek osób rzeczywiście posiadających badaną cechę został prawidłowo rozpoznany przez test.

Przykładowo, jeżeli test ma czułość 90%, oznacza to, że około 90% osób rzeczywiście chorych zostało prawidłowo zaklasyfikowanych jako chore.

Pozostała część stanowi wyniki fałszywie ujemne.

Wysoka czułość jest szczególnie ważna w sytuacjach, w których przeoczenie choroby lub zagrożenia może mieć poważne konsekwencje.

Czym jest swoistość?

Swoistość określa, jaki odsetek osób rzeczywiście nieposiadających badanego stanu został prawidłowo zaklasyfikowany jako ujemny.

Jeżeli swoistość wynosi 85%, oznacza to, że około 85% osób zdrowych zostało prawidłowo sklasyfikowanych jako zdrowe.

Pozostała część to wyniki fałszywie dodatnie.

Wysoka swoistość ma znaczenie wtedy, gdy błędne zaklasyfikowanie osoby zdrowej jako chorej prowadzi do kosztownych, obciążających lub ryzykownych dalszych działań.

Czułość i swoistość zależą od punktu odcięcia

Załóżmy, że analizujemy biomarker o wartościach od 0 do 100.

Jeżeli ustawimy bardzo niski punkt odcięcia, np. 20, większość chorych może zostać wykryta, więc czułość będzie wysoka. Jednocześnie wiele osób zdrowych może zostać błędnie zaklasyfikowanych jako dodatnie, co obniży swoistość.

Jeżeli natomiast ustawimy bardzo wysoki punkt odcięcia, np. 80, zwiększymy swoistość, ale możemy stracić część przypadków rzeczywiście dodatnich.

Krzywa ROC pokazuje wszystkie takie kompromisy jednocześnie.

Co oznacza AUC?

Jednym z najczęściej raportowanych parametrów jest AUC – Area Under the Curve, czyli pole pod krzywą ROC.

AUC określa ogólną zdolność testu do rozróżniania dwóch kategorii.

W uproszczeniu:

AUC = 0,50 oznacza zdolność klasyfikacji zbliżoną do losowej.

AUC = 1,00 oznacza perfekcyjne rozróżnienie.

W praktyce wartości pomiędzy 0,50 a 1,00 opisują różny poziom zdolności klasyfikacyjnej.

Orientacyjnie można spotkać następującą interpretację:

• 0,50 – brak zdolności dyskryminacyjnej,
• 0,60–0,69 – słaba,
• 0,70–0,79 – akceptowalna,
• 0,80–0,89 – dobra,
• ≥ 0,90 – bardzo dobra lub znakomita.

Nie należy jednak traktować tych progów jako uniwersalnych. Znaczenie AUC zależy od dziedziny badania i konsekwencji błędnej klasyfikacji.

Jak interpretować AUC = 0,82?

Załóżmy, że analizujemy wynik określonej skali i otrzymujemy:

AUC = 0,82; 95% CI: 0,76–0,88; p < 0,001.

Możemy stwierdzić, że analizowany parametr wykazuje dobrą zdolność do rozróżniania osób należących do dwóch porównywanych kategorii.

Warto jednak pamiętać, że samo AUC nie wskazuje jeszcze, jaki konkretny punkt odcięcia należy zastosować w praktyce.

Jak wybrać punkt odcięcia?

Jednym z popularnych sposobów jest wykorzystanie indeksu Youdena:

J = czułość + swoistość − 1

Punkt z najwyższą wartością J zapewnia dobre połączenie czułości i swoistości.

Nie oznacza to jednak, że jest zawsze najlepszym klinicznie punktem odcięcia.

Jeżeli koszt przeoczenia choroby jest bardzo wysoki, można celowo wybrać punkt zapewniający wyższą czułość kosztem swoistości.

Jeżeli natomiast fałszywie dodatni wynik prowadzi do ryzykownego leczenia, większe znaczenie może mieć swoistość.

Punkt odcięcia powinien więc uwzględniać nie tylko matematykę, ale również cel diagnostyczny.

AUC a wartość p

W programach statystycznych często pojawia się test hipotezy:

H0: AUC = 0,50.

Jeżeli p < 0,05, można uznać, że pole pod krzywą jest statystycznie różne od wartości odpowiadającej klasyfikacji losowej.

Nie oznacza to jednak automatycznie, że test jest diagnostycznie użyteczny.

Przy bardzo dużej próbie nawet AUC niewiele większe od 0,50 może być statystycznie istotne.

Dlatego trzeba ocenić:

• wartość AUC,
• przedział ufności,
• czułość,
• swoistość,
• punkt odcięcia,
• znaczenie praktyczne.

Czy można porównywać dwie krzywe ROC?

Tak.

Przykładowo można sprawdzić, czy:

• CRP lepiej przewiduje określone zdarzenie niż leukocytoza,
• jedna skala ryzyka jest lepsza od drugiej,
• nowy model predykcyjny poprawia klasyfikację względem starego.

Nie wystarczy jednak stwierdzić, że jedna krzywa ma AUC = 0,82, a druga AUC = 0,78.

Należy sprawdzić, czy różnica pomiędzy AUC jest statystycznie istotna, jeśli taki jest cel badania.

ROC a regresja logistyczna

Krzywa ROC może być bardzo użyteczna przy ocenie modelu regresji logistycznej.

Model może generować prawdopodobieństwo wystąpienia zdarzenia dla każdej obserwacji. Następnie na podstawie tych przewidywanych prawdopodobieństw można obliczyć AUC.

Przykładowo model uwzględniający:

• wiek,
• płeć,
• parametry laboratoryjne,
• choroby współistniejące,

może zostać oceniony pod kątem zdolności do przewidywania zgonu lub innego zdarzenia.

AUC jest wtedy jedną z miar jakości dyskryminacji modelu.

Najczęstsze błędy przy analizie ROC

Jednym z błędów jest uznawanie wysokiego AUC za wystarczający dowód użyteczności klinicznej.

Drugi to wybieranie punktu odcięcia wyłącznie na podstawie najwyższego indeksu Youdena bez uwzględnienia konsekwencji klinicznych.

Trzeci to brak przedziału ufności dla AUC.

Czwarty to utożsamianie czułości i swoistości z wartościami predykcyjnymi.

Wartości predykcyjne zależą także od częstości występowania badanego stanu w analizowanej populacji.

Jak opisać analizę ROC w pracy naukowej?

Przykładowy zapis:

„Zdolność wyniku skali X do rozróżniania pacjentów z obecnością i brakiem zdarzenia oceniono za pomocą krzywej ROC. Pole pod krzywą wyniosło AUC = 0,82 (95% CI: 0,76–0,88; p < 0,001). Dla punktu odcięcia 14 punktów uzyskano czułość 84% i swoistość 71%.”

Taki zapis przedstawia znacznie więcej informacji niż samo podanie wartości AUC.

FAQ

Co oznacza AUC = 0,5?
Oznacza zdolność rozróżniania dwóch kategorii zbliżoną do losowej klasyfikacji.

Czy wyższe AUC zawsze oznacza lepszy test?
Ogólnie wskazuje na lepszą dyskryminację, ale kliniczna użyteczność zależy także od punktu odcięcia, czułości, swoistości i konsekwencji błędów.

Co to jest punkt odcięcia?
To wartość, na podstawie której wynik testu klasyfikowany jest np. jako dodatni lub ujemny.

Czy ROC można wykonać w SPSS?
Tak. SPSS umożliwia przygotowanie krzywej ROC, obliczenie AUC i wybranych parametrów diagnostycznych.

Czy krzywa ROC nadaje się do pracy magisterskiej?
Tak, jeśli pytanie badawcze dotyczy zdolności zmiennej lub modelu do rozróżniania dwóch stanów.

Potrzebujesz analizy ROC?

Wykonujemy analizy ROC, obliczamy AUC, czułość, swoistość, punkty odcięcia oraz pomagamy w interpretacji wyników do prac magisterskich, doktorskich i publikacji naukowych.

statystyka@statystyka.org.pl
tel. 692 809 254

Frazy kluczowe: krzywa ROC, AUC, czułość, swoistość, punkt odcięcia, analiza ROC, analiza statystyczna, statystyka medyczna, test diagnostyczny, SPSS, statystyka do pracy mgr, Youden index, wartość predykcyjna