Коллектив авторов - Корпоративное обучение для цифрового мира

Шаг 4. Разработать банк контрольных вопросов

Для каждого уровня знаний необходимо разработать от 3 до 10 вопросов, сформулированных строго на основании целей обучающей программы. Работа адаптивного алгоритма зависит от корректной оценки уровня сложности вопросов. Можно диагностировать не только ожидаемый уровень компетентности, но и оценивать степень уверенности в правильности своего ответа. Тесты должны обеспечивать контроль знаний для достижения целевого уровня слушателей.

Адаптивное тестирование( adaptive testing ) – технология тестирования слушателей, где каждый следующий вопрос подбирается автоматически, исходя из ответов, данных на предыдущие вопросы, и определенного заранее уровня сложности.

Главным отличием адаптивного тестирования от классического является динамическое (в реальном времени), а не статическое определение списка вопросов, которые будут заданы тестируемому.

Траектория, по которой обучаемый проходит тесты, индивидуальна. Выбор следующего вопроса определяется индивидуальными особенностями каждого слушателя, а не общими правилами.

Адаптивное тестирование можно сравнить с устным экзаменом, на котором преподаватель последовательно задает индивидуальные вопросы, выясняя уровень знаний слушателя.

1. Точность.Возможность оценить уровень подготовленности каждого испытуемого с минимальной погрешностью.

2. Качество.Измеряется уровень знаний каждого испытуемого по определенным темам.

3. Достоверность.Влияние дополнительных факторов (потеря интереса, отвлечение, утомление, беспокойство) на результаты теста уменьшается, поскольку тестируемые не тратят время и силы на задания, не соответствующие их уровню подготовки (слишком легкие или слишком трудные).

4. Вовлеченность.Участники тестирования более мотивированы и спокойны. Им предлагаются задания, с которыми они в состоянии справиться, а значит, они более нацелены на успешное прохождение теста и уверены в своих силах.

1. Самопроверка слушателей.

2. Быстрое и точное измерение результатов корпоративного обучения.

3. Прогнозирование результатов обучения через предварительное тестирование.

4. Предварительное тестирование с целью выявления «белых пятен» и корректировки программы курса.

5. Предварительное тестирование с целью разделения учащихся на группы по уровням подготовки.

Oxford Placement Test – это стандартизированный адаптивный тест для проверки уровня английского языка, который меняет набор вопросов по ходу выполнения теста (степень сложности и число заданий зависят от уровня студента). Тест продолжительностью 40–70 минут проходит в онлайн-формате и включает в себя такие задания, как поиск ошибок в предложениях или заполнение пропусков, выбор правильного варианта из нескольких или определение верности утверждения.

Банк вопросов

Все вопросы, из которых будет составлен индивидуальный список вопросов для каждого участника тестирования. Минимальный размер банка вопросов рекомендуется определять по следующей формуле: банк вопросов = 15 × количество тем(тематических блоков теста). Например, если вопросы теста разделены на 3–5 тем, то рекомендуемый размер банка вопросов – 45–75 вопросов.

Число вопросов в индивидуальном тесте

Число вопросов в индивидуальном тесте определяется общим числом вопросов, задаваемых участнику тестирования. Оптимальное число вопросов теста рекомендуется рассчитывать по формуле: общее число вопросов = 5 × количество тем(тематических блоков теста).

Таким образом, в итоговом тесте участнику по каждой теме задается не менее 5 вопросов. Например, если вопросы теста разделены на 4 темы, то рекомендуемая длительность теста – 20 вопросов. Но не стоит увеличивать объем теста более чем до 20 вопросов, так как в этом случае снижается мотивация обучаемого. Лучше предложить ему несколько раз пройти тест. Это повышает точность оценки слушателя и проще для него самого. Если давать менее 5 вопросов, адаптивному алгоритму может не хватить информации для достаточно достоверного определения уровня знаний по теме.

Типы вопросов:

• с выбором одного правильного варианта ответа;

• с выбором нескольких правильных вариантов ответа;

• на соответствие/упорядочивание;

• с вводом текстового ответа (где ответ – это число, слово, недвусмысленная фраза (словосочетание), возможные для автоматической проверки).

Вариабельность ответов тестов:

• для автоматической проверки ответов на тесты каждый вопрос должен иметь по крайней мере один вариант правильного ответа;

• правильных ответов в вопросе может быть более одного;

• все варианты ответа также могут быть правильными.

Уровни сложности

Вопросы в банке вопросов ранжируются по единым для всех тем уровням сложности. Количество уровней – не менее 3, оптимально – от 5 до 10. Наличие большого числа уровней сложности (например, 10) более требовательно к калибровке сложности на выборочной группе слушателей, но и обеспечивает более высокую точность итоговой оценки уровня знаний.

Внутри каждой темы (тематического блока) рекомендуется иметь вопросы разного уровня сложности, так как это прямо влияет на вариативность теста и адаптивные возможности технологии.

Внутри каждой темы лучше распределить вопросы группами – не менее трех вопросов на каждом уровне. Чем больше вопросов на одном уровне сложности, тем больше вариативность теста, что важно для повторного прохождения или тестирования людей, которые могут помогать друг другу.

Варианты распределения вопросов

• Равномерное распределение –не менее 10 вопросов каждого уровня сложности.

• «Пирамида» – коррекция количества вопросов в форме «пирамиды», когда более сложных вопросов несколько меньше, чем простых (так как до сложных доходят гораздо реже). В этом случае рекомендуется следующее соотношение: не менее 6 вопросов высших уровней сложности, не менее 8 вопросов средних уровней сложности и не менее 10 вопросов низших уровней сложности.