Kwestionariusz może wyglądać profesjonalnie, zawierać kilkadziesiąt pytań i generować wynik liczbowy. Nie oznacza to jeszcze, że jest dobrym narzędziem pomiarowym.
Jeżeli chcemy wykorzystywać wynik do badań naukowych, warto odpowiedzieć na pytania:
Czy pomiar jest rzetelny?
Czy narzędzie rzeczywiście mierzy zakładany konstrukt?
Czy jego struktura odpowiada teorii?
Czy wynik jest stabilny?
Tymi zagadnieniami zajmuje się psychometria.
Rzetelność i trafność to nie to samo
To podstawowe rozróżnienie.
Rzetelność dotyczy precyzji i spójności pomiaru.
Trafność dotyczy tego, czy interpretacja wyniku jako miary określonego konstruktu jest uzasadniona.
Narzędzie może mierzyć coś bardzo konsekwentnie, ale niekoniecznie to, co zamierzaliśmy.
Alfa Cronbacha
Najbardziej znaną miarą spójności wewnętrznej jest alfa Cronbacha.
Jeżeli zestaw pytań ma mierzyć jeden konstrukt, można ocenić, w jakim stopniu odpowiedzi na te pozycje są ze sobą powiązane.
Wysoka alfa nie jest jednak dowodem jednowymiarowości.
Wartość może rosnąć również wraz z liczbą bardzo podobnych pozycji.
Omega McDonalda
Coraz częściej obok alfa wykorzystuje się omega McDonalda.
W wielu sytuacjach może być bardziej odpowiednią miarą rzetelności wyniku niż alfa, ponieważ opiera się na modelu czynnikowym i nie wymaga dokładnie tych samych założeń co klasyczna alfa.
Nie oznacza to, że omega automatycznie zastępuje alfa w każdej analizie.
Dobór miary powinien odpowiadać strukturze narzędzia.
Korelacja pozycja–wynik
W analizie pozycji można sprawdzić, jak silnie konkretne pytanie jest związane z wynikiem skali utworzonym z pozostałych pozycji.
Bardzo niski związek może wskazywać, że pozycja:
- mierzy coś innego,
- jest źle sformułowana,
- została błędnie zakodowana,
- jest pytaniem odwróconym bez rekodowania.
Nie należy jednak usuwać pozycji automatycznie.
Pytania odwrócone
Jeżeli część pytań ma odwrotny kierunek punktacji, należy je rekodować przed obliczeniem wyniku.
Przy skali 1–5:
1 ↔ 5
2 ↔ 4
3 pozostaje 3.
Błąd na tym etapie może zniszczyć całą analizę psychometryczną.
Analiza czynnikowa
Jeżeli narzędzie ma kilka podskal, warto zbadać jego strukturę.
Można zastosować:
EFA – gdy struktura jest eksplorowana,
lub:
CFA – gdy testujemy wcześniej określony model.
Analiza czynnikowa odpowiada na pytanie inne niż alfa Cronbacha.
Trafność zbieżna
Jeżeli nowa skala ma mierzyć np. lęk, jej wynik powinien być odpowiednio związany z innymi wiarygodnymi miarami podobnego konstruktu.
Taki wzorzec może dostarczać dowodów na trafność zbieżną.
Nie chodzi o to, aby korelacja zawsze wynosiła 1.
Gdyby dwa narzędzia mierzyły dokładnie to samo w identyczny sposób, użyteczność nowej skali byłaby ograniczona.
Trafność różnicowa
Skala powinna również wykazywać odpowiednią odrębność od konstruktów, od których teoretycznie ma być różna.
Jeżeli narzędzie do pomiaru dwóch zupełnie różnych cech daje niemal identyczne wyniki, może to budzić wątpliwości dotyczące ich rozróżnialności.
Trafność kryterialna
Wynik kwestionariusza można porównać z zewnętrznym kryterium.
Przykładowo skala ryzyka może być oceniana pod kątem zdolności przewidywania:
- hospitalizacji,
- określonego rozpoznania,
- nawrotu choroby,
- innego obiektywnego zdarzenia.
W takich analizach można wykorzystywać m.in. regresję i krzywe ROC.
Test–retest
Jeżeli mierzona cecha powinna być stosunkowo stabilna, możemy zbadać te same osoby ponownie po określonym czasie.
Wysoka zgodność wyników dostarcza informacji o stabilności pomiaru.
Nie należy jednak oczekiwać idealnej zgodności dla konstruktów, które naturalnie szybko się zmieniają.
ICC czy korelacja?
Sama korelacja pomiędzy pomiarem 1 i 2 nie zawsze jest wystarczającą miarą zgodności.
Dwa pomiary mogą być silnie skorelowane, mimo systematycznej różnicy pomiędzy nimi.
W zależności od rodzaju wyniku można zastosować np. ICC – intraclass correlation coefficient.
Wybór wariantu ICC wymaga uwzględnienia projektu badania i celu oceny.
Efekt podłogi i sufitu
Jeżeli bardzo duża część respondentów uzyskuje najniższy możliwy wynik, występuje efekt podłogi.
Jeżeli większość osiąga wynik maksymalny – efekt sufitu.
Może to ograniczać zdolność narzędzia do rozróżniania osób i wykrywania zmian.
Czy alfa = 0,95 oznacza idealny kwestionariusz?
Nie.
Bardzo wysoka wartość może wynikać z dużej liczby podobnych pytań.
Narzędzie może być niepotrzebnie długie i zawierać redundantne pozycje.
Rzetelność należy interpretować razem ze strukturą skali i jej przeznaczeniem.
Walidacja nowego kwestionariusza
Przykładowy proces może obejmować:
- zdefiniowanie konstruktu,
- opracowanie puli pozycji,
- ocenę treści przez ekspertów,
- badanie pilotażowe,
- analizę pozycji,
- analizę struktury czynnikowej,
- ocenę rzetelności,
- ocenę różnych aspektów trafności,
- badanie w niezależnej próbie.
Nie jest to proces polegający wyłącznie na obliczeniu alfa Cronbacha.
Adaptacja zagranicznego narzędzia
Tłumaczenie kwestionariusza na język polski nie jest automatycznie pełną adaptacją kulturową i psychometryczną.
Proces może wymagać:
- tłumaczenia,
- tłumaczenia zwrotnego,
- oceny ekspertów,
- oceny zrozumiałości,
- badania pilotażowego,
- ponownej oceny właściwości psychometrycznych.
Trzeba również sprawdzić prawa autorskie i warunki korzystania z narzędzia.
Psychometria w pracy magisterskiej
Jeżeli wykorzystujemy istniejący standaryzowany kwestionariusz, zwykle nie trzeba przeprowadzać pełnej walidacji od początku.
Warto jednak prawidłowo:
- obliczyć wyniki,
- zastosować klucz,
- ocenić rzetelność w badanej próbie, gdy jest to zasadne,
- przedstawić podstawowe informacje o właściwościach narzędzia.
Najczęstsze błędy
Do częstych należą:
- utożsamianie rzetelności z trafnością,
- obliczanie alfa dla wszystkich pytań ankiety,
- brak rekodowania pozycji odwróconych,
- usuwanie pozycji wyłącznie po to, aby zwiększyć alfa,
- twierdzenie, że wykonanie EFA oznacza pełną walidację,
- używanie kwestionariusza bez sprawdzenia klucza i warunków licencyjnych.
FAQ
Co bada alfa Cronbacha?
Jest miarą określonego aspektu spójności wewnętrznej zestawu pozycji.
Co to jest omega McDonalda?
Miara rzetelności oparta na modelu czynnikowym, często użyteczna jako uzupełnienie lub alternatywa dla alfa.
Czy wysoka alfa dowodzi trafności?
Nie.
Co bada EFA?
Eksploruje strukturę wspólnych czynników leżących u podstaw zależności między pozycjami.
Czy nowy kwestionariusz wymaga walidacji?
Jeżeli ma być używany jako narzędzie pomiarowe w badaniach naukowych, jego właściwości powinny zostać odpowiednio ocenione.
Potrzebujesz analizy psychometrycznej?
Pomagamy w analizie kwestionariuszy, ocenie rzetelności, analizie czynnikowej, test–retest oraz przygotowaniu wyników do publikacji.
statystyka@statystyka.org.pl
tel. 692 809 254