Терренс Сейновски - Антология машинного обучения. Важнейшие исследования в области ИИ за последние 60 лет

Terrence J. Sejnowski

The Deep Learning Revolution

© 2018 Massachusetts Institute of Technology

© Райтман М. А., перевод на русский язык, 2019

© Сазанова Е. В., перевод на русский язык, 2021

© Оформление. ООО «Издательство «Эксмо», 2022

Используя распознавание голоса в смартфоне на Android или в Google Переводчике в Интернете, вы сталкиваетесь с нейросетью, натренированной глубоким обучением. За последние несколько лет глубокое обучение обеспечило компании Google прибыль, достаточную для того, чтобы покрыть расходы на все футуристические проекты Google X, включая беспилотные автомобили, очки Google Glass и научно-исследовательский проект Google Brain [1] Астро Теллер, «капитан муншотов» Google (moonshot – полет на Луну, в переносном смысле – смелый и передовой проект), 6 февраля 2015 года сказал, что глубокое обучение помогло снизить потребление энергии на 15 % и тем самым ежегодно экономить компании Google X сотни миллионов долларов. – Прим. авт. . Она одной из первых начала применять глубокое обучение. В 2013 году Google наняла Джеффри Хинтона, отца-основателя глубокого обучения, и сейчас другие компании пытаются угнаться за ней.

Современные достижения в области искусственного интеллекта (ИИ) получены благодаря реверсивной инженерии [2] Реверсивная инженерия, или обратное проектирование, – исследование объекта с целью понять принцип его работы. – Прим. ред. человеческого мозга. Алгоритмы обучения многоуровневых нейронных сетей основаны на том, как нейроны взаимодействуют друг с другом и изменяются в процессе получения опыта. Внутри сети вся многогранность мира превращается в калейдоскоп моделей деятельности, которые и являются основными составляющими ИИ. Модели нейросетей, с которыми я работал в 1980-х годах, едва сравнимы с современными, состоящими из миллионов искусственных нейронов и десятков слоев. Человеческое упорство, огромный объем данных и мощные компьютеры позволили глубокому обучению совершить прорыв в решении самых сложных проблем искусственного интеллекта.

Сложно предугадать, какое влияние новые технологии окажут в будущем. Кто мог предсказать в 90-х годах прошлого века, когда Интернет стал коммерческим, как он повлияет на музыкальный бизнес? А на такси, политические кампании, да и практически все стороны нашей жизни? Когда появились первые компьютеры, тоже тяжело было вообразить, как они изменят нашу жизнь. В 1943 году Томаса Джона Уотсона, президента IBM, спросили, как повлияют компьютеры на наш мир, и он ответил: «Я думаю, мировой рынок компьютеров вряд ли превысит пять штук». Что действительно сложно представить, так это то, как будет использоваться новое изобретение – и сами изобретатели не скажут больше, чем любой другой человек. Глубокое обучение и ИИ находятся на столь же ранней стадии. Есть множество вариантов развития событий – от утопического и до апокалиптического, – но даже авторы научной фантастики с очень развитой фантазией вряд ли предскажут последствия.

Первые наброски этой книги я сделал через несколько недель после пешего тура по северо-западному побережью Тихого океана и изучения важных изменений в мире ИИ, появившихся десятилетия назад. История рассказывала о небольшой группе ученых, бросивших вызов государственному институту, занимавшемуся вопросами ИИ и не имевшему конкурентов. Они сильно недооценивали сложность задачи и полагались на интуицию, что оказалось ошибкой.

Жизнь на Земле таит в себе множество загадок, и происхождение разума – одна из самых сложных. В природе достаточно его форм, от «интеллекта» простейших бактерий до разума человека, и каждая из них адаптирована к своей нише. Искусственный интеллект так же будет представлен разнообразием форм, которые займут свои места в этом спектре. Так как ИИ основывается на создании глубоких нейронных сетей, по мере своего развития он может подтолкнуть к переосмыслению понятия биологического интеллекта.

Книга, которую вы держите в руках, – гид по прошлому, настоящему и будущему глубокого обучения. Она не охватывает все аспекты данного вопроса – скорее, это личный взгляд на основные достижения, а также на исследователей, их добившихся. Человеческая память, обращаясь к одним и тем же воспоминаниям, все больше их искажает. Этот процесс называется реконсолидацией. Истории, рассказанные в книге, охватывают период более сорока лет, и хотя некоторые из них свежи в моей памяти так, словно они были вчера, я осознаю, что определенные детали стерлись.

В первой части речь пойдет о предпосылках к рождению глубокого обучения и основных этапах его создания, необходимых для понимания его сути. Во второй части объяснены алгоритмы обучения нейронных сетей с различной структурой. Наконец, в третьей части исследуется влияние ИИ на нашу жизнь. Но, как говорил бейсболист «Нью Йорк Янкиз» Йоги Берра, известный своими «философскими» высказываниями: «Трудно делать прогнозы, особенно насчет будущего». Есть также девять блоков с технической информацией, необязательной для понимая текста. Хронология охватывает события более шестидесяти лет.

1956 – Дартмутский летний исследовательский семинарположил начало разработке ИИ и мотивировал целое поколение ученых исследовать потенциальные возможности информационных технологий с целью добиться воспроизведения ИИ возможностей человека.

1962 – Фрэнк Розенблаттопубликовал книгу «Принципы нейродинамики. Перцептроны [3] Перцептрон – математическая или компьютерная модель восприятия информации мозгом. – Прим. ред. и теория механизмов мозга» [4] В переводе на русский книга вышла в 1965 году. – Прим. ред. . В ней были представлены обучающие алгоритмы для моделей однослойных нейронных сетей, ставшие предшественниками современных алгоритмов глубокого обучения.

1962 – Дэвид Хьюбел и Торстен Визелвыпустили статью «Рецептивные поля, бинокулярное взаимодействие и функциональная архитектура зрительной коры кошек», где впервые были описаны характеристики отклика нейронов, записанные при помощи микроэлектрода. Архитектура глубокого обучения нейросетей подобна иерархии областей зрительной коры.

1969 – Марвин Минский и Сеймур Пейпертопубликовали книгу «Перцептроны» [5] В переводе на русский книга вышла в 1971 году. – Прим. ред. , которая показала вычислительные ограничения перцептронов и ознаменовала начало «зимы» в изучении нейросетей.

1979 – Джеффри Хинтон и Джеймс Андерсонпровели в Ла-Хойя в Калифорнии семинар по параллельным моделям ассоциативной памяти, на которых основывались нейросети нового поколения.