Analiza regresji liniowej – czym jest i jak interpretować wyniki?

Proste testy statystyczne pozwalają odpowiedzieć na pytania o różnice lub zależności. W wielu badaniach chcemy jednak pójść krok dalej.

Interesuje nas na przykład:

Które czynniki są związane z jakością życia pacjentów, gdy uwzględnimy je jednocześnie?

Czy stres wiąże się z satysfakcją z życia po uwzględnieniu wieku i aktywności fizycznej?

Które zmienne najlepiej pozwalają przewidywać wynik skali?

W takich sytuacjach można rozważyć analizę regresji.

Czym jest regresja liniowa?

Regresja liniowa pozwala modelować zależność ilościowej zmiennej zależnej od jednej lub kilku zmiennych objaśniających.

Najprostszy model można przedstawić jako:

Y = b₀ + b₁X + ε

gdzie:

Y – zmienna zależna,
X – predyktor,
b₀ – wyraz wolny,
b₁ – współczynnik regresji,
ε – składnik losowy.

Jeżeli w modelu znajduje się kilka predyktorów, mamy do czynienia z regresją wieloraką.

Dlaczego regresja daje więcej informacji niż korelacja?

Korelacja Pearsona pozwala ocenić liniową zależność pomiędzy dwiema zmiennymi.

Regresja umożliwia natomiast uwzględnienie wielu zmiennych jednocześnie.

Przykładowo możemy analizować związek poziomu stresu z jakością życia, kontrolując jednocześnie:

• wiek,
• płeć,
• BMI,
• aktywność fizyczną,
• czas trwania choroby.

Dzięki temu możemy ocenić związek danego predyktora z wynikiem przy uwzględnieniu pozostałych zmiennych w modelu.

Nie oznacza to jednak automatycznie dowodu przyczynowości.

Co oznacza współczynnik B?

Niestandaryzowany współczynnik B określa oczekiwaną zmianę wartości zmiennej zależnej związaną ze zmianą predyktora o jedną jednostkę, przy pozostałych zmiennych w modelu utrzymanych na stałym poziomie.

Załóżmy:

B = −2,4

dla zmiennej X.

W odpowiednio zdefiniowanym modelu wzrost X o jedną jednostkę wiąże się przeciętnie ze spadkiem przewidywanej wartości Y o 2,4 jednostki, przy kontrolowaniu pozostałych predyktorów.

Co oznacza standaryzowany współczynnik beta?

Standaryzowane współczynniki ułatwiają porównywanie relatywnej wielkości związków predyktorów mierzonych w różnych jednostkach.

Nie należy jednak mechanicznie stwierdzać, że predyktor z najwyższym beta jest „najważniejszą przyczyną” wyniku.

Model statystyczny opisuje zależności przy określonych założeniach, a znaczenie predyktora powinno być oceniane w kontekście teoretycznym i badawczym.

Co oznacza R²?

Współczynnik determinacji R² opisuje część zmienności zmiennej zależnej wyjaśnianą przez model w analizowanej próbie.

Jeżeli:

R² = 0,42

można powiedzieć, że model wyjaśnia około 42% zmienności zmiennej zależnej w analizowanych danych.

Pozostałe 58% nie jest wyjaśniane przez zestaw predyktorów w tym modelu.

Skorygowane R²

Przy większej liczbie predyktorów warto zwracać uwagę na skorygowane R².

Zwykłe R² zasadniczo nie zmniejsza się po dodaniu kolejnego predyktora, nawet jeżeli jego użyteczność jest niewielka.

Skorygowane R² uwzględnia liczbę predyktorów i wielkość próby, dlatego jest przydatne przy ocenie modeli wielorakich.

Założenia regresji liniowej

Przed interpretacją wyników należy sprawdzić założenia modelu.

W zależności od zastosowania ocenia się m.in.:

• liniowość,
• zachowanie reszt,
• homoskedastyczność,
• niezależność błędów,
• obserwacje wpływowe,
• współliniowość predyktorów.

Błędem jest wykonanie regresji w SPSS i interpretowanie tabel bez diagnostyki modelu.

Współliniowość – VIF

Jeżeli predyktory są bardzo silnie powiązane między sobą, pojawia się problem współliniowości.

Jednym z parametrów diagnostycznych jest VIF – Variance Inflation Factor.

Wysokie wartości VIF mogą wskazywać na problem ze stabilnością oszacowań współczynników.

Nie istnieje jednak jedna magiczna granica VIF odpowiednia dla każdego badania.

Regresja liniowa czy logistyczna?

Rodzaj regresji zależy m.in. od charakteru zmiennej zależnej.

Jeżeli wynik jest ilościowy, można rozważyć regresję liniową.

Jeżeli wynik ma postać dwóch kategorii, np.:

zgon / przeżycie,
choroba / brak choroby,
tak / nie,

często właściwszym rozwiązaniem jest regresja logistyczna.

Jak opisać regresję w pracy?

Nie należy raportować wyłącznie wartości p dla poszczególnych predyktorów.

Warto przedstawić:

• parametry modelu,
• R² i skorygowane R²,
• współczynniki B,
• błędy standardowe,
• przedziały ufności,
• współczynniki standaryzowane, jeśli są użyteczne,
• wartości p,
• informacje o diagnostyce modelu.

FAQ

Czym różni się regresja od korelacji?
Regresja pozwala modelować zmienną zależną i uwzględniać wiele predyktorów jednocześnie.

Co oznacza R² = 0,50?
Model wyjaśnia około 50% obserwowanej zmienności zmiennej zależnej w analizowanej próbie.

Czy regresja dowodzi przyczynowości?
Nie. Sam model regresji nie jest dowodem związku przyczynowego.

Czy regresję można wykonać w SPSS?
Tak. SPSS pozwala wykonać regresję liniową, logistyczną i wiele bardziej zaawansowanych modeli.

Potrzebujesz analizy regresji?

Wykonujemy modele regresji, diagnostykę założeń oraz interpretację wyników do prac naukowych i publikacji.

statystyka@statystyka.org.pl
tel. 692 809 254

Frazy kluczowe: analiza regresji, regresja liniowa, regresja wieloraka, współczynnik beta, R kwadrat, R2, predyktory, analiza statystyczna, SPSS, statystyka do pracy mgr, model statystyczny