Станислас Деан - Как мы учимся. Почему мозг учится лучше, чем любая машина… пока

В процессе обучения сверточные нейронные сети Лекуна применяют все, что им удается узнать в одной области, ко всей сети, на всех уровнях. Посему им предстоит усвоить гораздо меньшее количество параметров: по большому счету система должна отрегулировать один-единственный фильтр, который она будет применять везде, а не множество различных соединений для каждого фрагмента изображения. Этот простой трюк значительно улучшает производительность, особенно обобщение. Столкнувшись с новым изображением, алгоритм может использовать весь свой обширный опыт, полученный в результате анализа каждой точки каждой фотографии, которую он когда-либо видел. Это существенно ускоряет процесс обучения: машина исследует только подмножество моделей зрения. До начала обучения она уже знает о мире кое-что важное, а именно – что один и тот же объект может появиться в любом месте изображения.

Этот же прием работает и во многих других областях. Например, чтобы распознать речь, необходимо абстрагироваться от специфики голоса говорящего. Для этого искусственную нейронную сеть заставляют использовать одни и те же соединения в разных частотных диапазонах независимо от того, высокий голос или низкий. За счет уменьшения количества параметров, подлежащих корректировке, удается не только увеличить скорость, но и улучшить способность к обобщению. Собственно, именно благодаря этому ваш смартфон может реагировать на ваш голос.

Научение – это проецирование априорных гипотез

Стратегия Яна Лекуна – хороший пример гораздо более общего явления: использования знаний, присущих системе изначально. Сверточные нейросети учатся лучше и быстрее других типов искусственных нейронных сетей, потому что они не учатся всему. В самой их архитектуре заключена основополагающая гипотеза: то, что я узнаю в одном месте, можно обобщить и применить в других местах.

Главная проблема распознавания образов – это инвариантность: я должен распознать объект вне зависимости от его положения и размера, даже если он движется вправо или влево, ко мне или от меня. Это не только трудная задача, но и мощный ограничитель: логично предположить, что одни и те же подсказки помогут мне узнать лицо в любой точке пространства. Задействуя повсюду один и тот же алгоритм, сверточные сети эффективно используют это ограничение: они интегрируют его в саму свою структуру. Изначально, до любого обучения, система уже «знает» это ключевое свойство зрительного мира. Она не учится инвариантности, а принимает ее априори и использует для сужения учебного пространства – умно, не правда ли?

Мораль в том, что природу (наследственность) и среду не следует противопоставлять друг другу. Чистого научения в отсутствие каких-либо априорных ограничителей не существует. Любой алгоритм научения так или иначе содержит некий набор предположений об изучаемой области. Вместо того чтобы пытаться научиться всему «с нуля», гораздо эффективнее опираться на предварительные допущения, которые четко очерчивают базовые законы исследуемой области и интегрируют эти законы в саму архитектуру системы. Чем больше количество таких допущений, тем быстрее происходит научение (при условии, конечно, что эти допущения верны!). Это справедливо всегда. Например, было бы ошибочно полагать, что программа AlphaGo Zero , которая тренировалась играть в го сама с собой, возникла на пустом месте: ее первоначальное представление включало, среди прочего, знание топографии и симметрий игры, что позволило сократить пространство поиска в восемь раз.

Наш мозг тоже содержит множество допущений, причем самого разного толка. В одной из последующих глав мы убедимся, что при рождении мозг ребенка уже организован и весьма неплохо информирован. Дети имплицитно знают, что мир состоит из вещей, которые движутся, если их толкнуть, но никогда не проникают друг в друга (твердые предметы), а также из гораздо более странных сущностей, которые говорят и движутся сами по себе (люди). Специально изучать эти законы нет никакой необходимости: поскольку они верны везде, где живет человек, наш геном заранее встраивает их в мозг, тем самым существенно ускоряя процесс научения. Младенцам вовсе не приходится познавать мир «с нуля»: поскольку их мозг с самого начала изобилует врожденными ограничителями, все, что остается, – это усвоить определенные параметры, которые меняются непредсказуемо (форма лица, цвет глаз, тон голоса, индивидуальные вкусы окружающих людей и так далее).

С другой стороны, если мозг ребенка знает разницу между людьми и неодушевленными объектами, то это потому, что в определенном смысле он ей научился – не в первые дни своей жизни, но в ходе миллионов лет эволюции. Дарвиновский естественный отбор, по сути, представляет собой типичный алгоритм обучения – невероятно мощную программу, которая работала сотни миллионов лет на миллиардах обучающихся машин (под «машинами» я подразумеваю всех существ, когда-либо живших на Земле) 14. Мы – наследники невероятной, бесконечной мудрости. Путем дарвиновских проб и ошибок наш геном впитал знания всех предшествующих поколений. Эти врожденные знания совсем иного типа, нежели конкретные факты, которые мы узнаем в течение жизни: они носят гораздо более абстрактный характер, ибо «программируют» наши нейронные сети уважать фундаментальные законы природы.

Вкратце, во время беременности наши гены закладывают архитектуру мозга, которая направляет и ускоряет последующее научение, ограничивая размер исследуемого пространства. На языке информатики можно сказать, что гены задают «гиперпараметры» мозга – высокоуровневые переменные, определяющие количество слоев, типы нейронов, общую форму их взаимосвязей, дублирование в сетчатке и так далее. Поскольку многие из этих переменных хранятся в нашем геноме, учиться им не нужно: наш вид усвоил их в ходе эволюционного развития.

Вывод: наш мозг – не просто пассивный приемник сенсорных импульсов. С самого начала он обладает набором абстрактных гипотез – знаниями, накопленными в результате дарвиновской эволюции и проецируемыми на внешний мир. Хотя не все ученые согласны с данной точкой зрения, я считаю ее ключевой: наивная эмпирическая философия, лежащая в основе многих современных искусственных нейросетей, ошибочна. Едва ли при рождении наши нейронные сети абсолютно дезорганизованы и лишены каких-либо знаний вообще. Такого просто не может быть. Научение – и у человека, и у машины – всегда начинается с некоего набора априорных гипотез. Эти гипотезы система проецирует на поступающие данные, а затем выбирает те, которые лучше всего согласуются с текущими условиями. Как пишет Жан-Пьер Шанжё в своей книге Neuronal Man (букв. «Человек нейронный», 1985), «учиться – значит исключать».