Uzyskanie wartości p < 0,05 w regresji nie oznacza jeszcze, że model jest poprawny.
Regresja liniowa opiera się na określonych założeniach dotyczących relacji pomiędzy zmiennymi, reszt oraz struktury obserwacji. Dlatego po oszacowaniu modelu warto przeprowadzić jego diagnostykę.
Co to są reszty?
Reszta jest różnicą pomiędzy wartością zaobserwowaną a wartością przewidywaną przez model:
reszta = Y obserwowane − Y przewidywane.
Jeżeli rzeczywisty wynik pacjenta wynosi 80, a model przewiduje 74, reszta wynosi 6.
Analiza reszt pozwala ustalić, czy model nie pozostawia systematycznego wzorca niewyjaśnionego przez predyktory.
Liniowość
Regresja liniowa zakłada odpowiednią postać liniową relacji pomiędzy predyktorami a oczekiwaną wartością zmiennej zależnej, chyba że w modelu jawnie uwzględnimy nieliniowość.
Jeżeli prawdziwa zależność ma kształt litery U, pojedyncza prosta może opisywać ją bardzo źle.
Pomocne są:
- wykresy rozrzutu,
- analiza reszt,
- wykresy częściowych reszt,
- splajny,
- składniki wielomianowe.
Homoscedastyczność
Homoscedastyczność oznacza zbliżoną zmienność reszt w różnych zakresach wartości przewidywanych.
Jeżeli wykres reszt ma kształt lejka, możemy mieć do czynienia z heteroscedastycznością.
Może to wpływać na:
- błędy standardowe,
- wartości p,
- przedziały ufności.
Normalność reszt
Jednym z częstych nieporozumień jest przekonanie, że wszystkie predyktory muszą mieć rozkład normalny.
Nie muszą.
W klasycznym modelu liniowym istotne są założenia dotyczące błędów modelu, a nie normalność każdej zmiennej wejściowej.
Dlatego stwierdzenie:
„X nie przeszedł testu Shapiro-Wilka, więc nie można zastosować regresji liniowej”
jest nieprawidłowe.
Wykres Q-Q
Jednym z podstawowych narzędzi diagnostycznych jest wykres Q-Q reszt.
Pozwala ocenić, czy rozkład reszt silnie odbiega od oczekiwanego.
Przy dużych próbach niewielkie odstępstwa od normalności mogą mieć mniejsze znaczenie niż silna nieliniowość czy heteroscedastyczność.
Obserwacje wpływowe
Nie każda obserwacja odstająca silnie zmienia model.
Z kolei obserwacja, która nie wygląda ekstremalnie pod względem Y, może mieć bardzo nietypową kombinację wartości predyktorów.
Dlatego analizuje się m.in.:
- Cook’s distance,
- leverage,
- studentized residuals,
- DFBETAs.
Cook’s distance
Cook’s distance ocenia wpływ pojedynczej obserwacji na dopasowany model.
Duża wartość nie oznacza automatycznie:
„należy usunąć tę osobę”.
Oznacza raczej:
„należy sprawdzić obserwację i wykonać analizę jej wpływu”.
Leverage
Leverage opisuje, jak nietypowa jest obserwacja pod względem wartości predyktorów.
Przypadek znajdujący się daleko od pozostałych obserwacji w przestrzeni X może silnie wpływać na linię regresji.
Multikolinearność
Jeżeli predyktory zawierają bardzo podobną informację, współczynniki mogą być niestabilne.
Do diagnostyki wykorzystuje się m.in.:
- VIF,
- tolerance,
- macierz korelacji,
- diagnostykę warunkowania.
Sam brak bardzo wysokich korelacji parami nie wyklucza wielowymiarowej multikolinearności.
Niezależność obserwacji
Klasyczna regresja zakłada odpowiednią niezależność błędów.
Jeżeli mamy:
- wielokrotne pomiary tej samej osoby,
- pacjentów zgrupowanych w szpitalach,
- uczniów w klasach,
zwykły model liniowy może być niewystarczający.
W takich sytuacjach warto rozważyć modele mieszane lub inne metody uwzględniające klasteryzację danych.
Czy wysokie R² wystarcza?
Nie.
Model może mieć wysokie R², ale jednocześnie:
- silną nieliniowość,
- heteroscedastyczność,
- obserwacje wpływowe,
- błędną specyfikację.
R² jest tylko jednym z elementów oceny modelu.
Analiza wrażliwości
Jeżeli jedna obserwacja silnie wpływa na model, można porównać wyniki:
- z tą obserwacją,
- bez niej.
Nie należy jej jednak usuwać tylko po to, aby uzyskać p < 0,05.
Jak raportować?
„Założenia regresji oceniono na podstawie wykresów reszt, wykresu Q-Q oraz diagnostyki obserwacji wpływowych. Nie stwierdzono istotnej nieliniowości ani wyraźnej heteroscedastyczności. Wartości VIF nie przekraczały 2,5. Analiza Cook’s distance nie wskazała pojedynczej obserwacji dominującej wyniki modelu.”
Najczęstsze błędy
- wymaganie normalności wszystkich predyktorów,
- brak analizy reszt,
- automatyczne usuwanie przypadków z dużym Cookiem,
- ocenianie modelu wyłącznie na podstawie R²,
- ignorowanie VIF,
- stosowanie klasycznej regresji do danych zależnych.
FAQ
Czy zmienne X muszą mieć rozkład normalny?
Nie.
Co należy sprawdzić po wykonaniu regresji?
Liniowość, reszty, homoscedastyczność, obserwacje wpływowe, multikolinearność oraz strukturę zależności danych.
Czy wysoki Cook oznacza usunięcie przypadku?
Nie.
Co oznacza VIF?
Opisuje stopień współliniowości danego predyktora z innymi zmiennymi modelu.
Czy diagnostykę regresji można wykonać w SPSS?
Tak.
Zapraszamy do kontaktu
Potrzebujesz regresji liniowej, diagnostyki modelu lub interpretacji wyników SPSS?
statystyka@statystyka.org.pl
tel. 692 809 254
Frazy kluczowe: diagnostyka regresji liniowej, regresja liniowa, reszty, Cook distance, leverage, VIF, homoscedastyczność, analiza regresji, SPSS, analiza statystyczna, statystyka do pracy mgr