Мередит Бруссард - Искусственный интеллект [Пределы возможного] [litres]

Если проблема существует в школах Филадельфии, значит, она есть и в других районах по всей стране. Одной из явных проблем, наблюдаемых в округах Нью-Йорка, Вашингтона, Чикаго, Лос-Анджелеса и других крупных городов, является то, что школы не могут себе позволить покупать учебники. В аккаунте школьного округа Филадельфии в Twitter однажды появился пост с фотографией бывшего мэра Майкла Наттера, раздающего 2000 книг, пожертвованных ученикам начальной школы. Но, к сожалению, знакомство детей с классической литературой не поможет им писать тесты с высокими результатами.

Все потому, что тесты не основываются на программе общеобразовательной подготовки. Я выяснила, что вопросы опираются на весьма конкретные знания, содержащиеся в конкретных учебниках – учебниках, созданных авторами тестирования.

Все это оказывается тесно связано с экономической стороной тестирования. По всей стране разработкой тестов занимаются лишь три компании: CTB/McGraw-Hill, Houghton Mifflin Harcourt (HMH) и Pearson. Они создают тесты и системы их оценки, а также выпускают учебники, по которым школьникам следует готовиться. Согласно материалам в прессе, HMH занимает 38 % рынка, а в 2013 г. прибыль компании составила $1,38 млрд.

В том же году штат Пенсильвания заключил многомиллионный контракт с компанией Data Recognition Corporation (DRC) для оценки тестов PSSA. Как оказалось, DRC сотрудничала с McGraw-Hill в рамках федерального контракта, по которому консорциуму следовало разрабатывать и оценивать тесты для всей страны. Тем временем McGraw-Hill также писала учебники и разрабатывала программы, которые школы покупали, чтобы подготовить детей к тестам. Например, «Математика на каждый день» (Everyday Math), брендированная программа, по которой учатся пятиклассники в большинстве пенсильванских школ, выпущена как раз McGraw-Hill.

Иначе говоря, учитель, который хочет подготовить учеников к тестам, должен учить их по учебнику одного из трех издательств. И, если посмотреть на содержание учебников и вопросы в тестах, окажется, что ответы на большинство вопросов действительно есть – это заметит даже третьеклассник. В 2012 г. издательство Pearson пережило серьезный скандал: выяснилось, что один из абзацев в тесте был полностью скопирован из учебника, изданного ими.

Проблемы возникают даже не столько с фактами или цифрами, сколько с конкретными словами. Предлагаю вам вопрос из теста PSSA за 2009 г., где третьеклассника просят записать четное трехзначное число и объяснить, почему выбрано именно это число. На рис. 5.1 мы видим пример корректного ответа, представленного Пенсильванским департаментом образования. Следом, на рис. 5.2, мы видим частично правильный ответ, за который ученик заработал один балл из двух возможных.

Второй ответ оказался лишь частично верным попросту потому, что третьеклассник не обладает определенной концептуальной базой, чтобы объяснить, почему его вариант ответа правильный. Подробное решение этой задачи можно найти в учебниках «Математика на каждый день» (Everyday Math), а в методических пособиях советуют также закрепить пройденный материал вопросами вроде «Каково правило различения целых и нецелых чисел? Как узнать, что подсчет верен?». Третьеклассник, у которого нет учебника, вполне может научиться различать оба типа чисел, однако сложности возникнут все равно, поскольку ему будет сложно угадать, как именно должен выглядеть ответ по мнению экзаменатора. В общем, эти тесты скорее подходят для «слабого» интеллектуального развития, но не «общего». Система обращается с детьми как с программами машинного обучения: если предполагается, что они должны выдавать правильный ответ на заданный вопрос (уже сомнительная цель, не так ли?), в них необходимо внедрить корректные данные – из учебников.

Не в пример университетским преподавателям, которые попросту дают студентам список литературы, учителя, работающие в школе, обязаны выдавать учебники. Однако это непростое дело – предоставить каждому ученику учебники для каждого предмета. Опираясь на то, что я выяснила в школах, побеседовав с учителями и детьми, можно сказать, что каждому ученику нужен один учебник и одна рабочая тетрадь для каждого предмета, также множество таблиц и проектов, которые учителя находят на разных сайтах (не говоря уже о зажимах для бумаги, картона, ножницах и прочих материалах для проектно-ориентированного обучения). Учебники можно использовать из года в год, но лишь в том случае, если образовательные стандарты не меняются – конечно, они менялись каждый год в течение последних 10 лет.

Осознав эту связь между учебниками и тестами, я попыталась выяснить, сколько конкретно школ в Филадельфии сталкиваются с нехваткой книг трех ведущих издательств. Кроме того, мне было любопытно посчитать, сколько будет стоить попытка закрыть этот дефицит.

Проблемы начались, когда я попросила в Управлении школьного округа Филадельфии список программ, используемых в школах. Дело в том, что, если вы хотите узнать, какие конкретно учебники имеются в школах, необходимо точно знать название учебных программ в школах. (Брендированные программы вроде «Математика на каждый день» позволяют школам выбивать неплохие скидки.)

– У нас нет такого списка, – ответил мне администратор отдела учебных программ и развития Филадельфии. – Его вообще не существует.

– Откуда вы тогда узнаете, по какой программе учатся в школах?! – удивилась я.

– Мы не знаем этого.

На этом конце провода воцарилась тишина.

– Откуда вы тогда знаете, что в школах достаточно необходимых учебников?

– Мы не знаем этого.

Согласно политике округа каждая школа самостоятельно проводит инвентаризацию системы хранения учебников при помощи централизованной базы данных.

– Если вы дадите мне список из системы хранения учебников, я смогу переделать его так, чтобы вы видели списки для отдельных школ, – сказала я администратору.

– Правда? – отозвалась она. – Было бы здорово. Не знала, что это можно сделать!

Я поступила так, как на моем месте поступил бы любой программист, – придумала обходное решение. Я написала программу, позволяющую просматривать данные каждой филадельфийской школы и видеть, соответствует ли количество учебников необходимой норме. Результаты выглядели не слишком хорошо. В среднем в одной школе насчитывалось 27 % учебников, рекомендованных администрацией. Как минимум в 10 школах нужных книг не было вовсе, согласно их же инвентаризационным данным. В иных были безнадежно устаревшие книги.