Model predykcyjny może bardzo dobrze odróżniać osoby o większym i mniejszym ryzyku, a jednocześnie podawać błędne wartości prawdopodobieństwa.
Dlatego sama krzywa ROC i AUC nie wystarczają.
Drugim podstawowym elementem oceny jest kalibracja (calibration).
Co oznacza dobra kalibracja?
Jeżeli model przewiduje dla grupy pacjentów ryzyko około 20%, to przy dobrej kalibracji częstość zdarzenia powinna być zbliżona do 20%.
Analogicznie dla 50%, 70% itd.
Kalibracja odpowiada więc na pytanie:
czy przewidywane prawdopodobieństwa odpowiadają obserwowanej częstości zdarzeń?
Dyskryminacja to nie kalibracja
AUC mierzy przede wszystkim zdolność modelu do uporządkowania osób według ryzyka.
Model może mieć:
AUC = 0,85
i jednocześnie przewidywać 60% ryzyka tam, gdzie rzeczywista częstość zdarzenia wynosi 30%.
Dyskryminacja może pozostać bardzo dobra, ale kalibracja jest zła.
Wykres kalibracji
Najważniejszym narzędziem jest wykres kalibracji (calibration plot).
Na osi X umieszczamy ryzyko przewidywane, a na osi Y obserwowaną częstość zdarzenia.
Idealna kalibracja odpowiada linii:
y = x.
Współczesne zalecenia preferują ocenę płynną w całym zakresie przewidywań, zamiast ograniczania się do kilku arbitralnych grup ryzyka.
Kalibracja ogólna
Wyraz wolny kalibracji (calibration intercept, często określany również jako calibration-in-the-large) informuje o systematycznym zawyżaniu lub zaniżaniu ryzyka.
Idealnie powinien być bliski:
0.
Wartość dodatnia lub ujemna może wskazywać na systematyczne niedoszacowanie albo przeszacowanie ryzyka, zależnie od przyjętej parametryzacji.
Nachylenie kalibracji
Nachylenie kalibracji (calibration slope) idealnie wynosi:
1.
Wartość <1 często wskazuje na zbyt skrajne przewidywania, co może być związane z nadmiernym dopasowaniem modelu (overfitting).
Nie należy jednak interpretować samego nachylenia jako kompletnej miary kalibracji. Powinno być oceniane razem z wyrazem wolnym i wykresem.
Wynik Briera
Wynik Briera (Brier score) dla wyniku binarnego opiera się na kwadratowej różnicy pomiędzy przewidywanym prawdopodobieństwem a rzeczywistym wynikiem 0/1.
Niższa wartość oznacza mniejszy średni błąd probabilistyczny.
Nie jest jednak czystą miarą kalibracji — odzwierciedla kilka aspektów jakości predykcji.
Test Hosmera-Lemeshowa
Przez lata bardzo często stosowano test Hosmera-Lemeshowa.
Nie powinien on być jedyną metodą oceny kalibracji.
Jego wynik zależy od liczebności i sposobu grupowania obserwacji. Nie pokazuje również kierunku ani skali nieprawidłowej kalibracji.
Znacznie więcej informacji daje wykres kalibracji.
Walidacja wewnętrzna
Ocena modelu na tych samych danych, na których go utworzono, prowadzi do optymistycznego oszacowania jakości.
Dlatego warto wykorzystać np.:
- metodę bootstrap,
- walidację krzyżową (cross-validation).
Walidacja zewnętrzna
Model powinien być również sprawdzony w niezależnych danych.
Może mieć świetną kalibrację w populacji pierwotnej, ale systematycznie zawyżać ryzyko w innym kraju, szpitalu lub okresie.
Rekalibracja
Jeżeli model zachowuje dobrą strukturę, ale w nowej populacji ryzyko bazowe jest inne, można rozważyć rekalibrację (recalibration).
Zakres zmian zależy od rodzaju problemu — od korekty wyrazu wolnego po aktualizację współczynników.
Jak raportować?
„Model charakteryzował się AUC = 0,81. Kalibrację oceniono za pomocą wykresu kalibracyjnego, wyrazu wolnego oraz nachylenia. Nachylenie kalibracji wyniosło 0,89, a wyraz wolny −0,07.”
FAQ
Czy wysokie AUC oznacza dobrą kalibrację?
Nie.
Czy test Hosmera-Lemeshowa wystarczy?
Nie.
Jak wygląda idealne nachylenie kalibracji?
Wartość 1, oceniana łącznie z innymi elementami kalibracji.
Bibliografia i źródła
- Van Calster B, McLernon DJ, van Smeden M, Wynants L, Steyerberg EW. Calibration: the Achilles heel of predictive analytics. BMC Medicine. 2019;17:230. DOI: 10.1186/s12916-019-1466-7.
- Van Calster B, Nieboer D, Vergouwe Y, et al. A calibration hierarchy for risk models was defined: from utopia to empirical data. Journal of Clinical Epidemiology. 2016;74:167–176. DOI: 10.1016/j.jclinepi.2015.12.005.
- Steyerberg EW. Clinical Prediction Models. 2nd ed. Cham: Springer; 2019.
- Van Calster B, et al. Calibration: the Achilles heel of predictive analytics. STRATOS Topic Group. 2019.
- Austin PC, Steyerberg EW. The Integrated Calibration Index (ICI) and related metrics for quantifying the calibration of logistic regression models. Statistics in Medicine. 2019;38:4051–4065.
Zapraszamy do współpracy
Potrzebujesz walidacji lub kalibracji modelu predykcyjnego?
statystyka@statystyka.org.pl, tel. 692 809 254.