Виктор Звонников - Контроль качества обучения при аттестации: компетентностный подход

После подстановки чисел из нижней строчки таблицы в формулу (6.9) коэффициент надежности будет

Значение r н=̣ 0,78 указывает на невысокую надежность теста.

Применение ретестового метода может привести к ошибочным оценкам надежности в тех случаях, когда проводится слишком близкое по времени повторное применение теста. Студенты запоминают ответы к заданиям и при повторном тестировании значительно повышают свои результаты, что искажает оценку надежности теста.

Таблица 6.9 Сводная таблица для оценки надежности (ретестовый метод)

Таблица 6.10 Пример подсчета надежности ретестовым методом

Другой метод параллельных форм (parallel-form reliability) основан на однократном применении двух параллельных вариантов теста. Он непригоден в тех случаях, когда при тестировании используется один вариант теста.

В некоторых странах, например в США, благодаря соблюдению всех требований к проведению тестирования, применение единственного варианта не снижает необходимый уровень информационной безопасности, зато обеспечивает высокую сопоставимость результатов выполнения теста. Таким образом, если тест только один, то для оценки надежности методом параллельных форм приходится создавать параллельный вариант теста, затем с затратами сил, средств и времени на апробацию доказывать правомерность гипотезы о параллельности и только потом оценивать надежность исходного теста.

В другой ситуации, когда изначально разрабатываются параллельные варианты теста, как в ЕГЭ, оценка надежности методом параллельных форм также требует значительных трудозатрат. Необходима тщательная ротация вариантов в группе испытуемых для обеспечения сходных выборок учащихся на параллельных вариантах теста. Даже при стратификации выборки испытуемых и ротации вариантов достоверность оценок надежности снижается из-за того, что параллельные формы – это, скорее, теория, чем реальность, поскольку на практике, несмотря на все усилия авторов, как правило, обнаруживаются статистически значимые отличия в характеристиках параллельных вариантов.

Для оценки надежности методом параллельных форм используется формула (6.9). В ней X i ( i = 1, 2, …, N ) – индивидуальные баллы испытуемых в первой форме, а Y i ( i = 1, 2,…, N ) – во второй. А далее все вычисления с точностью повторяют подробно рассмотренный пример.

Метод оценивания надежности, основанный на расщеплении результатов по тесту на две части (split-half method), наиболее распространен из-за своего удобства. Он позволяет вычислить коэффициент надежности при однократном выполнении испытуемыми теста. Для оценки надежности результаты тестирования делят на две части: в одну включают данные студентов по четным, а в другую – по нечетным заданиям, считая при этом, что получены сходные по содержанию части теста. Правда, деление на две части не единственный способ, возможны и другие варианты, когда выделяют большее число частей при оценке надежности теста.

Для оценивания надежности методом расщепления результаты студентов заносят в табл. 6.11.

Таблица 6.11 Сводная таблица для оценки надежности (метод расщепления)

Далее для таблицы данных используют формулу (6.9), в которой роль результатов в первом тестировании выполняют данные по четным заданиям, а во втором – по нечетным.

Пример подсчета по данным исходной матрицы приведен в табл. 6.2. Результаты испытуемых по четным и нечетным заданиям приводятся в табл. 6.12.

После подстановки чисел из табл. 6.12 в формулу (6.9) получается

По сравнению с прежним значением 0,78 надежность получилась намного меньше, что можно было предвидеть, поскольку тест укоротился в два раза (после расщепления подсчет надежности был по пяти заданиям вместо десяти).

Таблица 6.12 Пример подсчета надежности методом расщепления

Для коррекции оценки надежности в соответствии с длиной исходного теста используется формула Спирмена–Брауна

где в числителе и знаменателе дроби стоит коэффициент надежности для половины заданий теста, а слева скорректированный коэффициент надежности с учетом всех заданий теста.

Тогда для рассматриваемого примера коэффициент надежности теста из десяти заданий будет

После коррекции коэффициент надежности получился приблизительно такой же, как и в предыдущем случае подсчета ретестовым методом ( r н= 0,78). Применение формулы Спирмена–Брауна подтверждает высказанное ранее предположение: увеличение длины повышает надежность теста.

Приведенный метод оценивания надежности имеет свои ограничения в применении. Он основан на допущении параллельности двух половин теста, что не всегда и не в полной мере может оказаться верным. Корреляция двух половин возрастает по мере роста гомогенности теста. В этой связи метод расщепления нередко называют методом оценки внутренней состоятельности (согласованности) теста (Internal-Consistency Method).

Метод Кьюдера-Ричардсона для оценки надежности также основан на однократном тестировании, но в отличие от предыдущего подхода не зависит от искусственных допущений о полной параллельности двух частей теста. Однако и он имеет свою ограниченную сферу применения, поскольку годится исключительно при использовании дихотомических оценок по результатам выполнения заданий гомогенных тестов.

Формула Кьюдера-Ричардсона (F. Kuder, M. Richardson-20, или KR-20) имеет вид [28, 36]

(6.10)

где р j – доля правильных ответов на j -е задание; q j — доля неправильных ответов, q j = 1 – р j ; S X 2 — дисперсия по распределению наблюдаемых баллов; n — число заданий теста.