Test statystyczny nie daje absolutnej pewności. Nawet przy poprawnie przeprowadzonym badaniu istnieje możliwość popełnienia błędu w procesie wnioskowania.
Dwa podstawowe typy to:
- błąd I rodzaju,
- błąd II rodzaju.
Błąd I rodzaju
Błąd I rodzaju polega na odrzuceniu hipotezy zerowej, mimo że w modelu generującym dane jest ona prawdziwa.
Można go w uproszczeniu porównać do wyniku fałszywie dodatniego.
Prawdopodobieństwo tego błędu oznacza się:
α – alfa.
Często przyjmujemy:
α = 0,05.
Nie oznacza to jednak, że po uzyskaniu istotnego wyniku istnieje 5% prawdopodobieństwa, że hipoteza zerowa jest prawdziwa. To inna interpretacja.
Błąd II rodzaju
Błąd II rodzaju polega na niewykryciu efektu, który rzeczywiście istnieje i mógłby zostać wykryty w odpowiednio zaprojektowanym badaniu.
Prawdopodobieństwo błędu II rodzaju oznaczamy:
β – beta.
Moc statystyczna
Moc statystyczna to:
1 − β.
Jeżeli:
β = 0,20,
moc wynosi:
0,80, czyli 80%.
Moc opisuje prawdopodobieństwo wykrycia określonego efektu przy konkretnym modelu, liczebności, poziomie alfa i założeniach.
Od czego zależy moc?
Między innymi od:
- wielkości efektu,
- liczebności próby,
- zmienności danych,
- poziomu alfa,
- konstrukcji badania,
- wybranej metody statystycznej.
Większy efekt i większe n zazwyczaj zwiększają moc.
p > 0,05 nie oznacza braku efektu
Załóżmy:
p = 0,12.
Nie można automatycznie napisać:
„nie ma różnicy”.
Być może badanie miało niewielką liczebność i szeroki przedział ufności.
Znacznie lepiej sprawdzić:
- oszacowaną wielkość efektu,
- 95% CI,
- precyzję wyniku.
Przykład
Otrzymano:
OR = 1,80; 95% CI: 0,70–4,90.
Wynik nie jest statystycznie istotny przy α = 0,05.
Przedział jest jednak bardzo szeroki i obejmuje zarówno niewielki efekt, jak i stosunkowo duży efekt.
Najważniejszym problemem jest tutaj niewielka precyzja.
Zwiększanie alfa
Jeżeli zmienimy alfa z 0,05 na 0,10, łatwiej uzyskać wynik istotny.
Zwiększamy jednak dopuszczalne ryzyko błędu I rodzaju.
Istnieje więc kompromis pomiędzy oboma typami błędów.
Test jednostronny
Test jednostronny może mieć większą moc dla efektu w z góry określonym kierunku.
Nie wolno jednak wybierać go dopiero po zobaczeniu wyniku.
Kierunek powinien być uzasadniony przed analizą.
Wielokrotne testowanie
Jeżeli wykonujemy wiele testów z α = 0,05, rośnie ryzyko uzyskania co najmniej jednego fałszywie dodatniego wyniku.
Dlatego stosuje się m.in.:
- Bonferroniego,
- Holma,
- FDR.
Moc a istotność praktyczna
Przy bardzo dużej próbie nawet minimalny efekt może dać:
p < 0,001.
Nie oznacza to, że jest praktycznie ważny.
Dlatego razem z p powinny pojawiać się:
- wielkość efektu,
- CI,
- znaczenie kliniczne lub praktyczne.
Analiza mocy przed badaniem
Najbardziej użyteczna jest analiza a priori.
Przykład:
α = 0,05
moc = 0,80
minimalnie istotny efekt d = 0,50.
Na tej podstawie można oszacować wymaganą liczebność.
Moc obserwowana po badaniu
Obliczanie „mocy obserwowanej” wyłącznie na podstawie uzyskanego efektu i wartości p często wnosi bardzo niewiele.
Po zakończeniu badania bardziej informacyjne są:
- przedziały ufności,
- analiza czułości,
- minimalny wykrywalny efekt.
Jak opisać?
„Przyjęto dwustronny poziom istotności α = 0,05. Wielkość próby określono a priori przy mocy 0,80 oraz minimalnym efekcie uznanym za istotny z punktu widzenia badania.”
Najczęstsze błędy
- interpretowanie α jako prawdopodobieństwa prawdziwości H0,
- uznawanie p > 0,05 za dowód braku efektu,
- ignorowanie małej mocy,
- używanie observed power jako głównej analizy po badaniu,
- brak korekty licznych porównań,
- utożsamianie p z znaczeniem praktycznym.
FAQ
Co to jest błąd I rodzaju?
Fałszywe odrzucenie hipotezy zerowej w ramach przyjętego modelu testowania.
Co to jest błąd II rodzaju?
Niewykrycie istniejącego efektu.
Co oznacza moc 80%?
Dla zdefiniowanego efektu i założeń badanie ma 80% prawdopodobieństwa statystycznego wykrycia tego efektu.
Czy p > 0,05 oznacza brak różnicy?
Nie.
Czy większa próba zwiększa moc?
Zwykle tak.
Zapraszamy do współpracy
Potrzebujesz obliczenia wielkości próby, analizy mocy lub pomocy w interpretacji testów statystycznych?
statystyka@statystyka.org.pl
tel. 692 809 254
Frazy kluczowe: błąd I rodzaju, błąd II rodzaju, alfa, beta, moc statystyczna, p value, hipoteza zerowa, analiza statystyczna, testy statystyczne, statystyka do pracy mgr, analiza mocy