Перевірка психодіагностичної методики на надійність
Поняття надійність або стійкість тесту можна пояснити, провівши аналогію з терезами. Якщо вчора ви встали на терези, і вони зупинилися на відмітці 60 кілограмів, сьогодні вони показали 65 кілограмів, то ваші терези ненадійний інструмент вимірювання.
Розглянемо визначення надійності, що існують у психологічній літературі. Так, Є.В.Трифонов визначає надійність тесту як відтворність його результатів, тобто здатність тесту при ідентичних умовах давати однакові результати. А.Анастазі визначає її як здатність методу точно вимірювати ту властивість, для вимірювання якої він призначений. К.М.Гуревич, розкриваючи статистичний смисл надійності тесту, розглядає її як постійність тесту, стійкість результатів, одержуваних за його допомогою.
Отже, як ми бачимо у психометрії термін «надійність» має 2 значення:
1) внутрішня узгодженість: тест надійний якщо він внутрішньо несуперечливий;
2) відтворність: тест надійний, якщо при повторному тестуванні його результати для кожного випробовуваного не змінюються.
Чинники, що спотворюють надійність тесту:
1. Вплив мети, задач і характеру дослідження (мета і задачі точно сформульовані випробуваному, досліджуються соціально-бажані якості, дослідження проводиться примусово та ін.)
2. Умови дослідження (час дослідження (напр. поспіх), присутність керівника, відсутність необхідного матеріального забезпечення, можливість групового обговорення змісту питань)
3. Зміст самого тесту (недостатня кількість тверджень, їх некоректне формулювання, невідповідність змісту тесту вимірюваному психічному явищу)
Методи оцінки надійності тестів
1. Інтеркореляция завдань тесту - виявляє внутрішню узгодженість, несуперечність його частин.
2. Розщеплювання тесту (метод роздільної кореляції) - окремий випадок методу 1. Суть його полягає в тому, що тест після проведення на випробовуваних ділиться на кілька частин (на парну і непарну частину або на більшу кількість частин), далі розраховується кореляція між цими частинами.
3. Повторне тестування (через 2 тижні – 6 місяців) з подальшим обчисленням кореляції показників тесту для вибірки випробовуваних, протестованих 2 рази. Тест надійний якщо r>0,7.
4. Паралельне тестування (метод паралельних форм) - аналог методу повторного тестування, що дозволяє зберегти час. Створюється 2 еквівалентні форми тесту, які випробовувані заповнюють через невеликий проміжок часу. Після цього проводиться аналогічна попередньою процедура статистичної обробки.
Вибірка випробовуваних для перевірки надійності тесту:
Її об’єм - не менше 200-300 випробовуваних. Склад вибірки має відповідати призначенню тесту (вік, стать, соціальне положення, стан здоров'я, професія тощо). Якщо всі ці чинники мають значення для феномена, що вивчається, має бути створена відповідна кількість вибірок по 100 осіб в кожній. При цьому показники надійності краще розрахувати окремо для кожної групи.
Обчислення коефіцієнтів надійності:
Ретестова надійність та надійність, що визначається за методом паралельних форм, зазвичай оцінюється за коефіцієнтом добутку моментів Пірсона.
Коефіцієнт α Кронбаха – найпоширеніший для оцінки надійності по внутрішній узгодженості (методи 1 і 2).
Формула:
,
де k- кількість завдань;
Sу2 - дисперсія для всього тесту;
ΣSі2 – сума дисперсій для завдань тесту.
Запам’ятайте! Цей коефіцієнт застосовується у випадках розщеплювання тесту на частини або коли кожне твердження оцінюється не за дихотомічною шкалою.
Якщо завдання оцінюються за дихотомічною шкалою («так-ні», «+,-»), використовується коефіцієнт K-R20, розрахований за формулою Кудера-Річардсона:
,
де k- кількість завдань;
Sу2 - дисперсія для всього тесту;
Р – частка випробовуваних, які дали ключові (правильні, ті що співпадають з ключем) відповіді на питання;
Q - частка випробовуваних, які дали неключові (ті, що не співпадають з ключем) відповіді.
Обчислюємо так:
1. Обчислити дисперсію для тесту (Sу2)
2. Обчислити частку випробовуваних, дали ключові відповіді окремо для кожного завдання:
Р=Nl (кількість випробуваних, які дали ключові відповіді)
N (загальна кількість випробуваних)
3. Для кожного завдання відняти Р з одиниці, отримаємо Q
4. Для кожного завдання перемножити Р і Q, це РQ
5. Підсумувати РQ для всіх завдань, це ΣPQ
6. Розрахувати всі значення по формулі.
Наприклад за результатами апробації тесту, що складається з 5 питань, отримані дані, наведені у таблиці 4.
Таблиця 4.
Визначення коефіцієнта надійності К-R20 для дихотомічних завдань
|
№ |
1+ |
2- |
3+ |
4+ |
5- |
xi |
xi – M |
(xi-М)2 |
|
1 |
0 |
1 |
0 |
0 |
0 |
1 |
-1,5 |
2,25 |
|
2 |
0 |
1 |
1 |
0 |
0 |
2 |
-0,5 |
0,25 |
|
3 |
1 |
1 |
0 |
1 |
0 |
3 |
0,5 |
0,25 |
|
4 |
0 |
0 |
1 |
0 |
0 |
4 |
1,5 |
2,25 |
|
5 |
0 |
0 |
1 |
0 |
0 |
4 |
1,5 |
2,25 |
|
6 |
0 |
1 |
1 |
0 |
1 |
3 |
0,5 |
0,25 |
|
7 |
0 |
0 |
1 |
0 |
0 |
1 |
-1,5 |
2,25 |
|
8 |
0 |
1 |
1 |
0 |
0 |
2 |
-0,5 |
0,25 |
|
9 |
0 |
0 |
1 |
1 |
0 |
2 |
-0,5 |
0,25 |
|
10 |
1 |
1 |
0 |
1 |
0 |
3 |
0,5 |
0,25 |
|
P |
0,2 |
0,6 |
0,7 |
0,3 |
0,1 |
|
|
|
|
Q |
0,8 |
0,4 |
0,3 |
0,7 |
0,9 |
|
|
|
|
PQ |
0,16 |
0,24 |
0,21 |
0,21 |
0,09 |
|
|
|
|
М = |
2,5 |
|
|
|
|
|
|
|
|
S2 = |
1,17 |
|
|
|
|
|
|
|
|
ΣPQ= |
0,91 |
|
|
|
|
|
|
|
Визначаючи надійність як внутрішню узгодженість, ми дізнаємося, наскільки точними будуть результати тесту, а від цього залежить, як тест корелюватиме з іншими тестами, спрямованими на вивчення схожих психічних явищ.
Наприклад: якщо К-R20 = 0,7, то кореляція з іншими тестами буде нижче за це число.
Отже, якщо К-R20 знаходиться в діапазоні:
0,000 – 0,599 – це зовсім незадовільна надійність;
0,600 - 0,699 - незадовільна надійність;
0,700 – 0,799 - задовільна надійність;
0,800 – 0,899 – хороша надійність;
0,900 – 0,949 – дуже хороша надійність;
0,950 і вище – відмінна надійність.
Якщо вище за 1 бал - ви розрахували неправильно!