Виктор Звонников - Контроль качества обучения при аттестации: компетентностный подход

При создании аттестационного теста ставится задача отобразить в его содержании то главное, что должны знать студенты в результате обучения в соответствии с требованиями ФГОС. Обычно все результаты обучения проверить невозможно из-за избыточной длины теста. Чтобы не утратить самое главное в содержании теста, необходимо структурировать цели обучения и ввести определенную иерархию их взаимного расположения. При создании таксономии целей нет и не может быть готовых общих схем, так как в каждой дисциплине свои приоритеты и отдельные цели обучения заметно связаны между собой, поэтому постановка целей должна носить предметно-ориентированный характер.

В настоящее время таксономия целей Блума является наиболее известной в мировой педагогической литературе [28, 32]. Она очень технологична и вполне приемлема для целей тестирования с точки зрения большинства разработчиков педагогических тестов. В своей классификации Блум выделяет:

• знание названий, имен, фактов;

• фактуальные знания;

• знание определений и понимание их смысла;

• сравнительные, сопоставительные знания;

• классификационные знания;

• знание противоположностей, противоречий, синонимичных и антонимичных объектов;

• ассоциативные знания;

• причинные знания;

• алгоритмические, процедурные знания;

• обобщенные, системные знания;

• оценочные знания;

• процессуальные знания;

• абстрактные знания;

• структурные знания;

• методологические знания.

В 90-е гг. ХХ в. таксономия Блума подверглась критике в связи с недостаточным отражением современных достижений в области психологии обучения. К числу недостатков была отнесена излишняя упрощенность, не позволяющая использовать современные теории процесса обучения; избыточное внимание к оценке результата обучения, а не к процессу формирования результата; отсутствие зависимости между отдельными составляющими модели. Кроме этого, неоднократно отмечалось, что в ней произошло методологически недопустимое смешение конкретных результатов обучения (знание, понимание и т.д.) с операциями, представляющими необходимое условие их достижения (анализ, синтез, оценка).

В новой концептуальной модели, предложенной в 1982 г. (Бигс и Коллис) и получившей название СОЛО-таксономия (SOLO – Structure of the Observed Learning Outcomes), содержится детальная классификация категорий познавательной деятельности, позволяющая планировать различные ее уровни в концептуальной модели содержания теста. СОЛО-таксономия имеет иерархическую структуру, которую можно использовать как для разработки инструментария, так и при интерпретации результатов педагогических измерений. На сегодняшний день СОЛО-таксономия прочно вошла в практику деятельности многих тестовых центров при планировании содержания контрольно-оценочных средств. Она достаточно успешно применяется в международных исследованиях качества образования в различных странах мира, в частности, для оценки достижений учащихся по математике и естествознанию [18].

При отборе содержания теста происходит операционализация и конкретизация планируемых результатов обучения, которая заключается в придании форме представления целей обучения тех характеристик, которые позволяют однозначно отобразить их в содержании тестов [28]. Процесс операционализации строится на планировании содержания теста.

В процессе планирования содержания теста его автору приходится думать о том, что далеко не весь набор целей обучения можно отобразить в тесте. При прочих равных условиях можно считать, что чем полнее отображение, тем выше содержательная валидность теста, но на практике приходится думать не только о требованиях тестовой технологии, но и о реальных возможностях студентов, которые должны выполнять тест без излишнего напряжения и усталости. В этой связи набор целей обучения необходимо структурировать и выделить самые важные, которые должны обязательно попасть в тест.

Процесс планирования выполняется с помощью спецификации теста. В ней делается примерная раскладка процентного соотношения содержания разделов и определяется необходимое число заданий по каждому разделу дисциплины, исходя из его важности и числа часов, отведенных на него в программе.

Раскладку начинают с подсчета планируемого исходного числа заданий в тесте, которое затем будет неоднократно меняться в процессе работы над тестом в сторону увеличения или уменьшения. В спецификации теста фиксируется структура, содержание проверки и процентное соотношение заданий в тесте.

Иногда спецификацию делают в развернутой форме, содержащей указания на тип заданий, которые будут использоваться для оценки достижений студентов, время выполнения теста, число заданий и т.д. Спецификация очень важна при создании параллельных вариантов, необходимых в условиях массового тестирования, поскольку в ней закрепляется структура содержания всех вариантов одного теста.

Один из наиболее распространенных подходов к созданию спецификации основан на сопряжении системы знаний и умений с процентным соотношением заданий по различным разделам или по различным содержательным линиям проверяемой дисциплины в тесте. Гипотетический пример реализации подобного сопряжения без привязки к какому-либо предмету приведен в табл. 4.1. В нее включен перечень знаний и умений по четырем содержательным разделам:

А – знание понятий, определений, терминов;

В – знание законов и формул;

С – умение применять законы и формулы для решения задач;

D – умение интерпретировать результаты на графиках и схемах;

E – умение проводить оценочные суждения.

Таблица 4.1 Пример структуры спецификации

Для заполнения таблицы в качестве первоначальной длины теста было выбрано 60 заданий. Вес каждого из разделов в процентах указан в первой строке табл. 4.1. Конечно, при заполнении таблицы в распределении заданий удается лишь приближенно отобразить пропорции разделов. К тому же не во все ячейки должны быть вписаны числа (например, ячейка на пересечении второго столбца и пятой строки), поскольку некоторые умения могут оказаться несовместимыми с содержанием отдельных разделов. Однако даже в таком приближенном видении общей раскладки заданий есть огромная польза для планирования теста.

Естественно, что в процессе работы над тестом первоначальная раскладка заданий будет претерпевать различные изменения. Это объясняется тем, что не все задания окажутся удачными и уместными в той мере, как это считается на этапе планирования. Поэтому с одной частью заданий разработчику приходится расстаться после экспертизы содержания, с другой – в процессе углубленного анализа, проводимого по результатам статистической обработки эмпирических данных выполнения теста. В этой связи после коррекции теста необходима доработка спецификации для приведения ее в соответствие с окончательными пропорциями содержания теста.