Wielokrotna imputacja – czy brakujące dane można uzupełniać?
Brakujące dane są jednym z najczęstszych problemów w analizie statystycznej. Pacjent może nie wykonać ostatniego badania, respondent może ominąć jedno pytanie, a część danych laboratoryjnych może nie zostać oznaczona. Najprostsze rozwiązanie polega na usunięciu niekompletnych obserwacji. Nie zawsze jest ono jednak najlepsze.
Jedną z bardziej zaawansowanych metod jest wielokrotna imputacja – multiple imputation.
Dlaczego braki danych są problemem?
Braki danych mogą prowadzić do:
- zmniejszenia liczebności próby,
- obniżenia mocy statystycznej,
- zwiększenia niepewności,
- potencjalnego obciążenia wyników.
Najważniejszym pytaniem nie jest jednak tylko:
ile danych brakuje?
ale również:
dlaczego ich brakuje?
MCAR
MCAR – Missing Completely At Random oznacza sytuację, w której prawdopodobieństwo braku nie zależy ani od obserwowanych, ani od nieobserwowanych wartości analizowanych zmiennych.
Przykładem może być losowa awaria urządzenia laboratoryjnego.
MCAR jest stosunkowo mocnym założeniem.
MAR
MAR – Missing At Random nie oznacza, że braki są całkowicie losowe.
Oznacza, że po uwzględnieniu obserwowanych zmiennych mechanizm braków nie zależy dodatkowo od nieobserwowanej wartości zmiennej.
Przykład:
młodsi respondenci częściej pomijają pewne pytanie, ale wiek jest dostępny w bazie.
Uwzględnienie wieku może pomóc modelować mechanizm braków.
MNAR
MNAR – Missing Not At Random oznacza, że prawdopodobieństwo braku zależy również od nieobserwowanej wartości.
Przykład:
osoby z największym nasileniem depresji częściej nie odpowiadają na pytanie właśnie z powodu dużego nasilenia objawów.
Taka sytuacja jest trudniejsza analitycznie.
Complete-case analysis
Najprostsza metoda polega na analizowaniu wyłącznie kompletnych przypadków.
Załóżmy:
n = 500,
ale po usunięciu wszystkich osób z jakimkolwiek brakiem pozostaje:
n = 342.
Tracimy 158 obserwacji.
Może to istotnie zmniejszyć precyzję wyników.
Imputacja średnią
Bardzo prostym rozwiązaniem jest zastąpienie brakującej wartości średnią.
Przykład:
brak wyniku → wpisujemy średnią całej próby.
Metoda ta jest zazwyczaj problematyczna, ponieważ sztucznie zmniejsza wariancję i może zaburzać związki pomiędzy zmiennymi. Nie należy jej traktować jako uniwersalnego sposobu rozwiązania problemu.
Czym jest wielokrotna imputacja?
Zamiast tworzyć jedną „najlepszą” wartość dla każdego braku, multiple imputation tworzy kilka różnych wersji kompletnej bazy.
Przykładowo:
m = 20 imputowanych zbiorów.
W każdym brakujące wartości są nieco inne, zgodnie z modelem imputacyjnym i niepewnością oszacowania.
Następny etap – analiza każdej bazy
Na każdym imputowanym zbiorze wykonuje się tę samą analizę.
Przykład:
20 regresji logistycznych na 20 imputowanych bazach.
Nie wybieramy jednej z nich. Wyniki są następnie łączone.
Pooling
Łączenie wyników odbywa się zgodnie z odpowiednimi zasadami, klasycznie kojarzonymi z regułami Rubina.
Uwzględnia się:
- zmienność wyników wewnątrz imputacji,
- różnice pomiędzy imputowanymi zbiorami.
Dzięki temu końcowy błąd standardowy odzwierciedla także niepewność wynikającą z braków danych.
Ile imputacji?
Dawniej często stosowano bardzo niewielką liczbę imputacji, np. 5.
Współcześnie często wykorzystuje się więcej, np.:
20, 50 lub więcej.
Dobór zależy m.in. od udziału braków i celu analizy. Nie istnieje jedna magiczna liczba właściwa dla każdego projektu.
Co powinno znaleźć się w modelu imputacji?
Model imputacyjny powinien uwzględniać zmienne ważne dla:
- powstawania braków,
- analizowanego wyniku,
- relacji pomiędzy zmiennymi.
Często sensowne jest uwzględnienie również pomocniczych zmiennych dobrze przewidujących brakujące wartości.
Imputacja zmiennej zależnej
Częstym błędem jest automatyczne usuwanie zmiennej wynikowej z modelu imputacyjnego. Jeżeli wynik jest powiązany z predyktorami i brakującymi zmiennymi, jego nieuwzględnienie może pogorszyć imputację. Model imputacji powinien być zgodny z późniejszym modelem analitycznym.
Dane jakościowe
Nie każdą zmienną należy imputować modelem liniowym. Dla zmiennych binarnych można stosować odpowiednie modele logistyczne. Dla zmiennych porządkowych – modele uwzględniające porządek kategorii. Metoda imputacji powinna respektować charakter zmiennej.
Imputacja a kwestionariusze
W przypadku standaryzowanych kwestionariuszy trzeba najpierw sprawdzić instrukcję autora.
Niektóre narzędzia mają własne zasady dotyczące:
- maksymalnej liczby braków,
- wyliczania wyników podskal,
- zastępowania brakujących pozycji.
Nie należy zastępować tych reguł dowolną procedurą bez uzasadnienia.
Czy imputacja tworzy dane?
Nie w takim sensie, jak czasem jest to błędnie przedstawiane. Imputacja wykorzystuje informacje dostępne w danych i określony model do odzwierciedlenia niepewności dotyczącej brakujących wartości. Nie odtwarza prawdziwej, nieznanej wartości z pewnością.
Analiza wrażliwości
Warto porównać:
- analizę complete-case,
- wynik po imputacji,
- ewentualnie inne scenariusze dotyczące mechanizmu braków.
Jeżeli wnioski są podobne, zwiększa to zaufanie do stabilności wyniku.
Jeżeli różnią się znacznie, należy to omówić.
Imputacja a MNAR
Standardowa wielokrotna imputacja często bazuje na założeniach zgodnych z MAR.
Jeżeli prawdopodobny jest MNAR, konieczne mogą być bardziej zaawansowane analizy wrażliwości, np. modele pattern-mixture lub odpowiednie scenariusze delta adjustment.
Samo wykonanie multiple imputation nie rozwiązuje automatycznie problemu MNAR.
Jak raportować?
Przykład:
„Brakujące dane poddano wielokrotnej imputacji. Utworzono 30 imputowanych zbiorów, wykorzystując model obejmujący wszystkie zmienne z analizy głównej oraz zmienne pomocnicze związane z występowaniem braków. Wyniki modeli połączono zgodnie z regułami Rubina.”
Warto podać także:
- procent braków,
- ich rozmieszczenie,
- sposób imputacji,
- liczbę imputacji.
Wielokrotna imputacja w SPSS
SPSS posiada moduły umożliwiające wykonanie multiple imputation i analizę imputowanych zbiorów.
Najważniejsze pozostaje jednak poprawne określenie modelu. Sam wybór opcji w programie nie gwarantuje prawidłowej analizy.
Najczęstsze błędy
- traktowanie braku jako wartości 0,
- usuwanie wszystkich niekompletnych osób bez analizy mechanizmu braków,
- imputacja średnią jako metoda domyślna,
- tworzenie jednej imputowanej bazy,
- nieuwzględnianie wyniku lub ważnych predyktorów,
- brak pooling,
- niepodanie liczby imputacji,
- zakładanie, że imputacja „odzyskuje” rzeczywiste wartości.
FAQ
Co to jest multiple imputation?
Metoda tworząca wiele możliwych wersji brakujących danych i uwzględniająca wynikającą z tego niepewność.
Czy zawsze lepsza od complete-case?
Nie zawsze. Dobór metody zależy od mechanizmu braków, ich zakresu i projektu badania.
Czy można imputować dane ankietowe?
Tak, ale trzeba uwzględnić strukturę zmiennych oraz zasady konkretnego narzędzia.
Czy można zastąpić brak średnią?
Technicznie można, ale prosta imputacja średnią ma istotne ograniczenia i zwykle nie jest preferowanym rozwiązaniem.
Czy imputacja rozwiązuje MNAR?
Nie automatycznie.
Zajrzyj również na stronę: analiza ankiety
Zapraszamy do współpracy w zakresie statystyki do prac magisterskich i doktoratów
Potrzebujesz analizy braków danych, wielokrotnej imputacji lub przygotowania bazy do analizy?
statystyka@statystyka.org.pl – statystyka do prac magisterskich
tel. 692 809 254
Frazy kluczowe: wielokrotna imputacja, multiple imputation, braki danych, missing data, MCAR, MAR, MNAR, imputacja danych, SPSS, analiza statystyczna, analiza ankiet, statystyka do pracy mgr