Виктор Звонников - Контроль качества обучения при аттестации: компетентностный подход

• провести апробационное тестирование для сбора эмпирических результатов;

• провести статистическую обработку результатов апробации;

• выполнить интерпретацию результатов обработки и наметить пути коррекции теста;

• провести чистку теста и добавить новые задания для улучшения характеристик теста (оптимизации трудности заданий, повышения их валидности, улучшения системообразующих свойств заданий, повышения надежности и валидности теста);

• повторить этап апробации для доказательства достигнутого повышения качества теста (неоднократно, если в этом есть потребность);

• установить нормы выполнения теста и построить шкалу или шкалы для оценки результатов испытуемых.

Возникает своеобразный цикл, так как после чистки теста разработчику приходится возвращаться к этапу сбора эмпирических данных. Как правило, стандартизованные тесты, используемые в образовании для принятия ответственных управленческих решений, проходят не менее 3–4 апробаций, результаты которых позволяют получить устойчивую стандартную шкалу тестовых баллов. Немалое значение для обеспечения высокой точности и валидности измерений имеет представительность выборки испытуемых, используемой при апробации теста. Успех создания теста во многом зависит от высокого качества начального тестового материала, которое обеспечивается правильным отбором проверяемого содержания и умением разработчика корректно отобразить его в заданиях теста. Крайне важен этап обработки эмпирических результатов тестирования, для выполнения которого необходимы специальные программные средства для профессиональной разработки тестов (ConQuest, Testan и др.) [41].

Для административных управленческих решений, связанных с переводом студентов из группы в группу, изменением программы обучения, аттестацией студентов и выпускников учебных заведений, а также при принятии аккредитационных решений необходимы стандартизованные тесты.

Постановка цели создания теста определяет подходы (нормативно-ориентированный или критериально-ориентированный) к интерпретации результатов тестирования, отличающиеся по ряду характеристик и влияющие на особенности процесса создания теста.

В нормативно-ориентированном подходе разрабатываются тесты для сравнения студентов по уровню учебных достижений, поэтому основное назначение нормативно-ориентированных тестов состоит в дифференциации испытуемых по результатам выполнения теста. Поскольку при сравнении и интерпретации оценок студентов используются нормы, то языковые, культурные и социально-экономические различия в выборках стандартизации могут влиять на результаты интерпретации.

При критериально-ориентированном подходе в педагогических измерениях результаты студентов интерпретируются по отношению к содержательной области или требованиям, установленным к учебным достижениям. Тесты для текущего контроля носят смешанный характер, кроме отдельных случаев использования диагностических тестов. Текущий контроль не требует стандартизации тестов. Хотя при интерпретации результатов текущего тестирования не происходит сравнения с нормами, языковые, культурные и социально-экономические факторы также могут оказывать влияние на результаты тестирования, поэтому их следует принимать во внимание.

Содержательная интерпретация результатов тестирования не исключает возможности сравнения их с нормами выполнения теста. Для этого требуется совмещение нормативно-ориентированного и критериально-ориентированного подходов, которое в силу существующих значительных различий между подходами значительно затрудняет процесс разработки теста.

При формулировании понятийного аппарата необходимо классифицировать виды тестов, чтобы привести вводимые определения в соответствие с различными видами тестов и целями их создания. Понятийный аппарат теории педагогических измерений необходим не только специалистам, но и преподавателям для правильного выбора и использования педагогических тестов, знания существенных признаков тестов и их отличий от псевдотестов.

В настоящий момент во многих странах разрабатываются измерители, отличающиеся от традиционных оценочных средств и тестов в сфере отбора содержания (компетентностный подход, междисциплинарный подход, творческие аспекты содержания подготовки), в форме заданий (переход от заданий с выбором ответа к заданиям со свободно конструируемым ответом), форме оценки (переход к самооценке, многомерной оценке). Во многом эти измерители преодолевают недостатки существовавших ранее оценочных средств, поэтому они получили название средств аутентичного оценивания.

1. Каковы функции входного тестирования? Есть ли смысл разрабатывать входные тесты в вузе?

2. Каковы цели разработки корректирующих тестов? Есть ли различия между корректирующими тестами и традиционными средствами текущего контроля?

3. В рамках какого подхода, по вашему мнению, следует разрабатывать компетентностные тесты?

4. Какой процесс называется стандартизацией теста?

5. Перечислите основные факторы, влияющие на устойчивость норм теста для вашего вуза.

6. Укажите отличия между нормативно-ориентированными и критериально-ориентированными тестами.

7. Какие тесты, по вашему мнению, необходимо разрабатывать в первую очередь для повышения эффективности учебного процесса в вузе? Назовите несколько ситуаций, в которых целесообразно использовать портфолио.

8. На какие инновационные средства, по вашему мнению, следует делать упор при введении компетентностного подхода в высшее профессиональное образование?

9. Составьте сравнительную характеристику инновационных измерителей на основе анализа их возможностей для оценивания творческих аспектов подготовленности студентов.

10 Какие измерители наиболее адекватны по своим характеристикам задаче отслеживания динамики изменений качества подготовленности студентов?

11. Какие измерители необходимы для системы мониторинга качества образования внутри учебного заведения?

12. Эффективно ли использовать диагностические тесты без корректирующих тестов?

Содержание теста формируется путем отображения учебного материала в системе тестовых заданий. Для обеспечения высокой конструктной и содержательной валидности результатов педагогических измерений необходимо использование определенной методики, включающей вопросы целеполагания, планирования и оценки качества содержания теста.