Виктор Звонников - Контроль качества обучения при аттестации: компетентностный подход

Например: Впишите правильный ответ.

Задание 1

Определение конечных показателей, которые должны быть достигнуты, и соответствующих средств, необходимых для получения определенных конечных результатов, включает в себя функции ___________________ .

Задание 2

Форма влияния, предполагающая маскировку настоящих намерений и целей – _______________.

При выполнении заданий с конструируемым регламентированным ответом нередко появляются частично правильные и правильные в разной степени ответы. Дописывая ответ на месте прочерка, испытуемый может предложить синонимы пропущенного запланированного разработчиком слова или изменить порядок следования элементов в пропущенной формуле, что значительно затрудняет автоматизированную проверку и оценку результатов тестируемых. По этим причинам в процессе проверки нередко приходится разрабатывать дополнительные соглашения об оценках для частично правильных ответов.

Задания с конструируемыми регламентированными ответами должны удовлетворять ряду требований:

• каждое задание необходимо нацелить только на одно дополняемое слово, символ и т.д., место для которого рекомендуется обозначить прочерком или точками;

• прочерк ставится на месте ключевого элемента, знание которого является наиболее существенным для контролируемого материала;

• все прочерки в заданиях для одного теста рекомендуется делать равной длины;

• место для ответа лучше отводить в конце задания или как можно ближе к концу;

• после прочерка, если это возможно, указываются единицы измерения;

• текст задания должен обладать предельно простой синтаксической конструкцией и содержать минимальное количество информации, необходимое для правильного выполнения задания.

Задания второго вида со свободно конструируемым ответом не имеют никаких ограничений по содержанию и форме представления ответов. За отпущенное время тестируемый может писать что угодно и как угодно на специальных бланках для ответов. Несомненно, такие условия выполнения во многом близки к традиционным письменным работам, и потому задания со свободно конструируемым ответом воспринимаются положительно абсолютным большинством педагогов. Они интересны и разнообразны в содержательном плане.

Разработка заданий второго типа неоправданно может показаться легкой. На самом деле трудно не сформулировать задание, а предложить эталон оптимального ответа вместе со стандартизованными правилами оценки результатов его выполнения. Например, формулировка задания по истории с развернутым ответом достаточно кратка.

Задание 3

НАЗОВИТЕ ОСНОВНЫЕ ЗАДАЧИ, КОТОРЫЕ РЕШАЛИСЬ ВО ВНЕШНЕЙ ПОЛИТИКЕ РОССИИ В XVII В. (УКАЖИТЕ НЕ МЕНЕЕ ДВУХ ЗАДАЧ). ПРИВЕДИТЕ ПРИМЕРЫ ВОЙН, ПОХОДОВ И ЭКСПЕДИЦИЙ XVII В., ПРЕДПРИНИМАВШИХСЯ ДЛЯ РЕШЕНИЯ ЭТИХ ЗАДАЧ (НЕ МЕНЕЕ ТРЕХ ПРИМЕРОВ).

Но для того чтобы задание попало в тест, его автору необходимо стандартизовать процедуру проверки, а это объемная работа, вызывающая подчас много нареканий из-за неоднозначности результатов ее выполнения.

В естественных науках предложить эталон выполнения вместе с оценочными критериями гораздо легче. Например, к заданию 4 можно предложить следующие критерии для оценки результатов выполнения

Задание 4

ПРИ КАКИХ ЗНАЧЕНИЯХ X СООТВЕТСТВЕННЫЕ ЗНАЧЕНИЯ ФУНКЦИЙ f ( x ) = log 2 x и g ( x ) = log 2(3 – x ) БУДУТ ОТЛИЧАТЬСЯ МЕНЬШЕ, ЧЕМ НА 1?

Проверка заданий с развернутыми ответами проводится экспертами в соответствии со стандартизованными инструкциями, содержащими эталон оптимального ответа с описывающими его характеристиками и признаками качества, как в приведенном примере. К эталону должны прилагаться оценочные категории для выставления политомической оценки, нуждающиеся в апробации и статистическом обосновании качества, поскольку среди них могут быть как не работающие, так и снижающие дифференцирующий эффект теста.

Задания с развернутыми ответами требуют значительных затрат преподавательского труда при проверке, когда экспертам приходится анализировать множество правильных в разной степени ответов и сравнивать их с эталоном, не принимая во внимание полноту, внешнее оформление ответов, орфографические ошибки и все то, что не входит в критерии для выставления политомической оценки. Иногда проверку стараются стандартизовать путем разработки компьютерных экспертных программ [30].

Вне автоматизированных систем проверка результатов выполнения заданий с развернутыми ответами довольно субъективна, а согласование оценок нескольких экспертов затруднено, поэтому обычно такие задания занимают не более 10–15% от общей длины аттестационного теста.

Основные рекомендации по разработке заданий со свободно конструируемым ответом:

• задания со свободно конструируемым ответом в основном предназначены для оценки когнитивных умений. Их следует разрабатывать только в тех случаях, когда нельзя использовать более простые формы;

• длина и сложность ответа может варьироваться в широких пределах (вплоть до нескольких страниц текста ответа, обоснования приведенного решения проблемы и т.д.). В инструкции желательно ввести ограничения на максимальную длину ответа для каждого задания;

• формулировка задания должна включать постановку проблемы, эталон выполнения и оценочные критерии. Постановочная часть должна быть настолько четкой, чтобы минимизировать возможные отклонения в правильных ответах студентов от планируемого разработчиком эталона выполнения;

• выбор временных рамок для выполнения каждого задания должен позволять студенту сформулировать достаточно развернутый ответ и успеть его записать.

Надежность оценок результатов выполнения заданий со свободно конструируемыми ответами можно повысить, если:

• грамотно составлять задание, руководствуясь приведенными выше рекомендациями;

• использовать при проверке только разработанную стандартизованную схему оценивания не более чем с тремя оценочными категориями (0, 1, 2);

• обучить экспертов по проверке заданий пользовать стандартизованными критериями оценивания;

• привлекать не менее двух экспертов для проверки каждого задания и приглашать третьего эксперта в случае расхождений оценок первых двух более чем на один балл;

• использовать принципы анонимности проверяемых работ и независимости экспертных суждений;

• не смотреть на оценку, данную предыдущему заданию, при оценивании последующего.