Model może mieć wysokie AUC i dobrą kalibrację, ale nadal pozostaje pytanie:
czy jego zastosowanie poprawia decyzje kliniczne?
Do tego celu opracowano analizę krzywej decyzyjnej (Decision Curve Analysis, DCA). Metodę opisali Vickers i Elkin w 2006 roku.
Dlaczego AUC nie wystarcza?
AUC opisuje dyskryminację.
Nie uwzględnia jednak bezpośrednio konsekwencji:
- fałszywie dodatniej decyzji,
- fałszywie ujemnej decyzji,
- leczenia,
- odstąpienia od leczenia.
DCA łączy przewidywanie ryzyka z decyzją podejmowaną przy określonym progu.
Próg prawdopodobieństwa
Kluczowym pojęciem jest próg prawdopodobieństwa (threshold probability).
Jeżeli lekarz podejmuje interwencję, gdy ryzyko przekracza 10%, próg wynosi:
pt = 0,10.
Próg odzwierciedla względne znaczenie szkody wynikającej z niepotrzebnej interwencji i szkody wynikającej z przeoczenia zdarzenia.
Korzyść netto
DCA wykorzystuje korzyść netto (net benefit).
W uproszczeniu nagradza prawdziwie dodatnie decyzje i odejmuje odpowiednio ważone decyzje fałszywie dodatnie.
Waga wynika z przyjętego progu prawdopodobieństwa.
Dwie strategie odniesienia
Model porównujemy zazwyczaj z:
interwencją u wszystkich (treat all)
oraz
brakiem interwencji u wszystkich (treat none).
Model ma potencjalną użyteczność kliniczną w takim zakresie progów, w którym zapewnia większą korzyść netto od obu strategii odniesienia.
Przykład
Model przewiduje ciężkie powikłanie.
Jeżeli w zakresie progów 5–20% krzywa modelu znajduje się powyżej „interwencja u wszystkich” i „brak interwencji u wszystkich”, jego stosowanie może poprawiać decyzje w tym zakresie progów.
Nie oznacza to, że model jest klinicznie korzystny przy każdym możliwym progu.
DCA a kalibracja
Analiza krzywej decyzyjnej nie zastępuje:
- dyskryminacji,
- kalibracji,
- walidacji.
Źle skalibrowany model może prowadzić do niewłaściwych decyzji progowych.
Najpełniejsza ocena modelu obejmuje więc co najmniej:
dyskryminację + kalibrację + użyteczność kliniczną.
DCA a istotność statystyczna
Celem DCA nie jest kolejny test p <0,05.
Analiza dotyczy konsekwencji decyzji i korzyści netto w klinicznie uzasadnionym zakresie progów.
Jak raportować?
„Analiza krzywej decyzyjnej wskazała dodatnią korzyść netto modelu względem strategii interwencji u wszystkich oraz braku interwencji u wszystkich dla progów ryzyka od 8% do 24%.”
Najczęstsze błędy
Do typowych należą: prezentowanie DCA bez określenia sensownego zakresu progów, traktowanie jej jako zamiennika AUC, analizowanie źle skalibrowanego modelu oraz uznawanie każdej dodatniej wartości korzyści netto za automatycznie istotną klinicznie.
FAQ
Co mierzy DCA?
Potencjalną korzyść netto wynikającą z zastosowania modelu przy różnych progach decyzyjnych.
Czy DCA zastępuje ROC?
Nie.
Czy potrzebna jest kalibracja?
Tak, prawidłowe prawdopodobieństwa są istotne dla decyzji progowych.
Bibliografia i źródła
- Vickers AJ, Elkin EB. Decision curve analysis: a novel method for evaluating prediction models. Medical Decision Making. 2006;26(6):565–574. DOI: 10.1177/0272989X06295361.
- Vickers AJ, Van Calster B, Steyerberg EW. A simple, step-by-step guide to interpreting decision curve analysis. Diagnostic and Prognostic Research. 2019;3:18.
- Vickers AJ, van Calster B, Steyerberg EW. Net benefit approaches to the evaluation of prediction models, molecular markers, and diagnostic tests. BMJ. 2016;352.
- Steyerberg EW. Clinical Prediction Models. 2nd ed. Cham: Springer; 2019.
Zapraszam do współpracy
Potrzebujesz oceny modelu predykcyjnego, ROC, kalibracji lub analizy krzywej decyzyjnej?
statystyka@statystyka.org.pl, tel. 692 809 254.