Przez wiele lat wyniki analiz statystycznych często sprowadzano do jednego pytania:
Czy p < 0,05?
Jeżeli tak – wynik określano jako istotny. Jeżeli nie – jako nieistotny.
Takie podejście jest niewystarczające.
Wartość p nie odpowiada na jedno z najważniejszych pytań:
Jak duży jest obserwowany efekt?
Do tego służą miary wielkości efektu.
Istotność statystyczna nie oznacza dużego efektu
Załóżmy badanie obejmujące 10 000 osób.
Średnia różnica pomiędzy grupami wynosi zaledwie:
0,3 punktu
ale:
p < 0,001.
Wynik jest statystycznie istotny, lecz różnica może być praktycznie nieistotna.
Z drugiej strony w małej próbie możemy uzyskać dość dużą różnicę, ale p = 0,08.
Dlatego wartość p należy interpretować razem z:
- wielkością efektu,
- przedziałem ufności,
- kontekstem merytorycznym.
Cohen d
Jedną z najbardziej znanych miar różnicy pomiędzy średnimi jest d Cohena.
W uproszczeniu wyraża różnicę w jednostkach odchylenia standardowego.
Często spotyka się orientacyjne progi:
0,2 – mały efekt
0,5 – umiarkowany
0,8 – duży.
Nie są to jednak prawa natury.
W określonej dziedzinie d = 0,3 może mieć duże znaczenie praktyczne.
Przykład Cohen d
Załóżmy:
grupa A: M = 70
grupa B: M = 65
a odpowiednie wspólne odchylenie standardowe wynosi około 10.
Różnica to 5 punktów, czyli około połowy odchylenia standardowego.
Otrzymamy więc d około:
0,5.
Można mówić o umiarkowanym efekcie według klasycznej orientacyjnej konwencji.
Cohen d w badaniach przed–po
W danych zależnych sytuacja jest bardziej skomplikowana.
Istnieje kilka sposobów standaryzowania różnicy, wykorzystujących np.:
- SD różnic,
- SD pomiaru początkowego,
- odpowiednio łączone odchylenia.
Dlatego w publikacji warto podać, jaki wariant miary został zastosowany.
Eta kwadrat
W analizie wariancji często stosuje się:
η² – eta kwadrat.
Opisuje udział zmienności powiązany z analizowanym czynnikiem w określonym modelu.
Można spotkać również:
partial η² – częściowe eta kwadrat.
Nie są to identyczne miary i nie należy stosować ich nazw zamiennie.
Omega kwadrat
Inną miarą stosowaną przy ANOVA jest:
ω² – omega kwadrat.
Może stanowić mniej obciążone oszacowanie wielkości efektu populacyjnego niż proste η² w określonych warunkach.
Warto więc świadomie dobrać miarę do modelu.
V Cramera
Przy analizie zależności pomiędzy zmiennymi jakościowymi za pomocą testu chi-kwadrat można wykorzystać:
V Cramera.
Wartość p z chi-kwadrat informuje, czy obserwowane dane są niezgodne z hipotezą niezależności na przyjętym poziomie.
V Cramera dostarcza informacji o sile związku.
Przy dużej próbie może wystąpić:
p < 0,001
ale:
V = 0,08.
Zależność jest wtedy statystycznie wykrywalna, ale słaba.
Korelacja jako wielkość efektu
Sam współczynnik korelacji:
r = 0,45
jest jednocześnie miarą kierunku i siły liniowego związku.
Nie należy więc raportować wyłącznie:
p = 0,003.
Znacznie ważniejsza jest informacja:
r = 0,45; p = 0,003
a najlepiej również przedział ufności dla r.
Odds ratio
W regresji logistycznej i badaniach epidemiologicznych wielkość związku można przedstawiać jako:
OR – odds ratio.
Przykład:
OR = 2,4; 95% CI: 1,5–3,8.
To znacznie bardziej informacyjne niż samo:
p < 0,001.
Ryzyko względne
W odpowiednich projektach można wykorzystać:
RR – relative risk.
Jeżeli:
RR = 1,50
ryzyko zdarzenia w jednej grupie jest 1,5 raza takie jak w grupie odniesienia.
OR i RR nie są tym samym parametrem.
Szczególnie przy częstych zdarzeniach różnica między nimi może być duża.
Wielkość efektu w testach nieparametrycznych
Również testy rangowe powinny być uzupełniane miarą efektu.
Można stosować różne rozwiązania zależnie od testu, np.:
- korelację rangowo-dwuseryjną,
- rank-biserial correlation,
- r obliczone na podstawie statystyki standaryzowanej,
- epsilon kwadrat,
- Kendall W.
Najlepiej dobrać miarę odpowiadającą konkretnej metodzie i pytaniu badawczemu.
Przedział ufności dla wielkości efektu
Jeżeli jest dostępny, warto przedstawiać przedział ufności.
Przykład:
d = 0,62; 95% CI: 0,31–0,92.
Widzimy nie tylko oszacowanie punktowe, ale również jego precyzję.
Efekt statystyczny a kliniczny
W medycynie bardzo ważne jest rozróżnienie:
istotności statystycznej
od:
istotności klinicznej.
Lek może obniżać ciśnienie średnio o 1 mmHg i przy ogromnej próbie dać p < 0,001.
Nie oznacza to automatycznie istotnego efektu klinicznego.
Z drugiej strony umiarkowana poprawa może być ważna dla pacjentów nawet wtedy, gdy w małym badaniu nie osiągnięto arbitralnej granicy p < 0,05.
Wielkość efektu a analiza mocy
Te zagadnienia są bezpośrednio powiązane.
Im mniejszy efekt chcemy wykryć, tym większej próby zwykle potrzebujemy.
Dlatego planowanie badania wymaga założenia minimalnej interesującej wielkości efektu.
Jak raportować wynik?
Zamiast:
„Grupy różniły się istotnie, p = 0,002.”
lepiej:
„Średnia różnica wyniosła 5,2 punktu (95% CI: 2,1–8,3; p = 0,002), a standaryzowana wielkość efektu wyniosła d = 0,58.”
Czytelnik otrzymuje wtedy znacznie pełniejszą informację.
Najczęstsze błędy
Do typowych problemów należą:
- raportowanie wyłącznie p,
- mechaniczne stosowanie progów mały/średni/duży,
- brak przedziałów ufności,
- mylenie OR z RR,
- porównywanie różnych miar efektu tak, jakby były identyczne,
- brak informacji o sposobie obliczenia d w danych zależnych.
FAQ
Co to jest wielkość efektu?
Miara opisująca wielkość obserwowanej różnicy, związku lub efektu w określonej skali.
Czy p < 0,05 oznacza duży efekt?
Nie.
Do czego służy Cohen d?
Najczęściej do standaryzowanego opisu różnicy pomiędzy średnimi.
Co stosować przy chi-kwadrat?
Jedną z popularnych miar jest V Cramera.
Czy należy podawać 95% CI dla efektu?
Jeżeli jest możliwy do wiarygodnego wyznaczenia, zdecydowanie zwiększa wartość interpretacyjną wyniku.
Potrzebujesz pełnej interpretacji wyników?
W analizach uwzględniamy nie tylko testy i wartości p, ale również odpowiednie miary wielkości efektu oraz przedziały ufności.
statystyka@statystyka.org.pl
tel. 692 809 254