H1: Wartość p – co naprawdę oznacza i dlaczego p < 0,05 to nie wszystko?
Wartość p jest jednym z najczęściej raportowanych wyników analizy statystycznej. Pojawia się w testach t, ANOVA, korelacjach, regresji, testach chi-kwadrat, U Manna-Whitneya i wielu innych procedurach.
Jednocześnie jest jednym z najczęściej błędnie interpretowanych pojęć w statystyce.
Najpopularniejszy zapis brzmi:
p < 0,05.
Nie oznacza on jednak ani „95% pewności, że hipoteza jest prawdziwa”, ani „5% ryzyka, że wynik powstał przypadkiem”.
Co oznacza wartość p?
W uproszczeniu wartość p opisuje, jak bardzo obserwowane dane – lub dane jeszcze bardziej niezgodne z hipotezą zerową – byłyby zaskakujące, gdyby hipoteza zerowa oraz założenia zastosowanego modelu były prawdziwe.
Jeżeli:
p = 0,03
oznacza to, że przy założeniach testu obserwowany lub bardziej ekstremalny wynik miałby prawdopodobieństwo około 3% w warunkach opisanych przez hipotezę zerową.
Nie jest to prawdopodobieństwo prawdziwości samej hipotezy zerowej.
Co to jest hipoteza zerowa?
Hipoteza zerowa – H0 – najczęściej zakłada brak określonego efektu.
Przykłady:
- średnie w dwóch grupach są równe,
- nie ma związku między zmiennymi,
- współczynnik regresji wynosi 0,
- iloraz szans wynosi 1.
Test statystyczny sprawdza zgodność danych z takim założeniem.
Co oznacza p < 0,05?
Jeżeli wcześniej przyjęto:
α = 0,05
i uzyskano:
p < 0,05
wynik określa się zwykle jako statystycznie istotny.
Oznacza to, że dane są wystarczająco niezgodne z H0 według przyjętej reguły decyzyjnej, aby ją odrzucić.
Nie oznacza to jednak automatycznie, że efekt jest:
- duży,
- ważny klinicznie,
- praktycznie istotny,
- przyczynowy,
- powtarzalny w każdej kolejnej próbie.
p = 0,049 i p = 0,051
To dobry przykład ograniczeń mechanicznego myślenia.
Wynik:
p = 0,049
jest formalnie poniżej 0,05.
Wynik:
p = 0,051
jest minimalnie powyżej tej granicy.
Statystycznie są to bardzo podobne wyniki.
Nie należy pisać:
„w pierwszym przypadku istnieje efekt, w drugim efektu nie ma”.
Znacznie lepiej spojrzeć również na:
- wielkość efektu,
- 95% CI,
- liczebność próby,
- zgodność z wcześniejszą wiedzą,
- jakość projektu badawczego.
Wartość p nie mówi, jak duży jest efekt
Załóżmy, że w próbie 10 000 osób średnia różnica między grupami wynosi 0,3 punktu.
Możemy uzyskać:
p < 0,001.
Różnica jest bardzo dobrze wykrywalna statystycznie, ale może mieć niewielkie znaczenie praktyczne.
W innym badaniu różnica może wynosić 5 punktów, lecz przy małej próbie:
p = 0,08.
Sam p nie wystarcza więc do oceny znaczenia wyniku.
Wielkość efektu
W zależności od analizy można raportować:
- Cohen d,
- r,
- eta kwadrat,
- V Cramera,
- odds ratio,
- risk ratio,
- współczynnik regresji.
Wielkość efektu odpowiada na pytanie:
Jak duża jest obserwowana różnica lub zależność?
Przedział ufności
Przykład:
różnica średnich = 4,2; 95% CI: 1,1–7,3; p = 0,008.
Taki zapis jest znacznie bardziej informacyjny niż samo:
p = 0,008.
Przedział ufności pokazuje zakres wartości zgodnych z danymi i założeniami modelu na przyjętym poziomie ufności.
Czy p > 0,05 oznacza brak efektu?
Nie.
Załóżmy:
p = 0,12.
Nie możemy na tej podstawie stwierdzić:
„udowodniono brak różnicy”.
Może występować:
- rzeczywiście niewielki efekt,
- duża niepewność,
- zbyt mała próba,
- wysoka zmienność danych.
Dlatego przy wyniku nieistotnym szczególnie ważny jest przedział ufności.
p < 0,001
Jeżeli program SPSS wyświetla:
Sig. = .000
nie należy pisać:
p = 0,000.
Prawdopodobieństwo nie wynosi dokładnie zero.
Poprawny zapis to zwykle:
p < 0,001.
p a liczebność próby
Wartość p silnie zależy od liczebności.
Przy bardzo dużej próbie nawet niewielkie efekty mogą stać się istotne statystycznie.
Przy małej próbie nawet umiarkowany efekt może nie osiągnąć p < 0,05.
Dlatego interpretowanie p bez uwzględnienia liczebności i mocy testu jest niewystarczające.
Wielokrotne testowanie
Jeżeli wykonujemy bardzo wiele testów, rośnie ryzyko przypadkowego uzyskania istotnych wyników.
Przy 20 niezależnych testach i α = 0,05 można oczekiwać, że część istotnych wyników pojawi się wyłącznie wskutek losowej zmienności.
Dlatego stosuje się m.in.:
- korektę Holma,
- Bonferroniego,
- FDR.
Czy p = 0,001 jest „bardziej istotne” niż p = 0,04?
Można powiedzieć, że dane są silniej niezgodne z H0 według zastosowanego testu.
Nie należy jednak wnioskować, że efekt jest automatycznie większy.
Przykład:
badanie A: p = 0,001, Cohen d = 0,15,
badanie B: p = 0,04, Cohen d = 0,70.
W drugim badaniu efekt może być znacznie większy.
Wartość p a przyczynowość
Nawet:
p < 0,000001
nie dowodzi związku przyczynowego.
Do wnioskowania przyczynowego potrzebny jest właściwy projekt badania, uwzględnienie confoundingu, kolejności czasowej i innych elementów metodologicznych.
Jak raportować wynik?
Zamiast:
„wynik był istotny statystycznie, p < 0,05”
lepiej napisać:
„Średni wynik był wyższy o 5,1 punktu w grupie A niż w grupie B (95% CI: 2,0–8,2), t(98) = 3,26; p = 0,002; d = 0,65.”
Taki zapis pokazuje:
- kierunek,
- wielkość różnicy,
- niepewność,
- wynik testu,
- wielkość efektu.
Najczęstsze błędy
Najczęściej spotyka się:
- interpretowanie p jako prawdopodobieństwa H0,
- pisanie „prawdopodobieństwo przypadku wynosi 3%”,
- uznawanie p < 0,05 za dowód ważności praktycznej,
- traktowanie p > 0,05 jako dowodu braku efektu,
- raportowanie p = 0,000,
- pomijanie wielkości efektu i CI.
FAQ
Co oznacza p = 0,03?
Przy założeniu H0 i pozostałych założeń modelu oznacza określony poziom niezgodności obserwowanych danych z tym modelem. Nie oznacza 3% prawdopodobieństwa, że H0 jest prawdziwa.
Czy p < 0,05 zawsze oznacza ważny wynik?
Nie. Istotność statystyczna i praktyczna to różne pojęcia.
Czy p > 0,05 oznacza brak różnicy?
Nie. Może oznaczać również zbyt dużą niepewność.
Co podawać oprócz p?
Przede wszystkim wielkość efektu i przedział ufności.
Jak zapisać wynik SPSS .000?
Jako p < 0,001.
Zapraszamy do współpracy
Potrzebujesz poprawnej interpretacji testów statystycznych, wartości p, przedziałów ufności i wielkości efektu?
statystyka@statystyka.org.pl
tel. 692 809 254
Frazy kluczowe: wartość p, p value, p < 0,05, analiza statystyczna, testy statystyczne, hipoteza zerowa, istotność statystyczna, statystyka do pracy mgr, SPSS, przedział ufności, wielkość efektu