Терренс Сейновски - Антология машинного обучения. Важнейшие исследования в области ИИ за последние 60 лет

Компания Шоу достигла значительного успеха, однако ей далеко до страхового фонда Renaissance Technologies, основанного Джеймсом Саймонсом, выдающимся математиком и бывшим заведующим кафедрой математики Университета штата Нью-Йорк в Стоуни-Брук. В 2016 году Саймонс в одиночку заработал 1,6 миллиарда долларов [21] Sei Chong, Morning Agenda: Big Pay for Hedge Fund Chiefs Despite a Rough Year, New York Times May 16, 2017 www.nytimes.com/2017/05/16/business/dealbook/hedge-funds-amazon-bezos.html , и это далеко не самая большая его прибыль. Фонд Renaissance был назван «компанией с лучшими физиками и математиками в мире» [22] За исключением Агентства Национальной Безопасности, в числе сотрудников которого – сотни математиков (Alfred W. Hales, personal communication). – Прим. авт. , которая «избегает нанимать любого, кто связан с Уолл-стрит» [23] Сарфраз Манзур. «Гении математики работают на Уолл-стрит. Биржевые маклеры остаются без работы, так как их заменят гении математики, использующие сверхсовременные компьютеры. Но во благо ли это или во вред?» The Telegraph, 23 июля 2013 года. .

Дэвид Шоу больше не занимается повседневной работой в D. E. Shaw, сейчас он поглощен проектом D. E. Shaw Research по созданию компьютера для параллельных вычислений под названием Anton, который выполняет расчет сворачивания белка гораздо быстрее, чем любой другой компьютер на планете [24] Shaw D. E.; Chao Jack C.; Eastwood Michael P.; Gagliardo Joseph; Grossman J. P.; Ho C. Richard; Ierardi Douglas J.; Kolossváry István; et al. (May 2007). «Anton – компьютер для моделирования молекулярной динамики». International Symposium on Computer Architecture: Proceedings of the 34th annual international symposium on Computer architecture. ACM. 35 (2). . Саймонс ушел из Renaissance и вместе со своей женой основал благотворительный фонд, который поддерживает исследование аутизма и другие проекты по физике и биологии. Фонд спонсирует работу Института теории вычислений Саймонса в Беркли в Калифорнии, Центра социального мозга Саймонса при Массачусетском технологическом институте [25] Далее – МТИ. , а также Института Флэтайрон в Нью-Йорке.

Рис. 1.6. Машинное обучение управляет высокоскоростной торговлей на фондовых рынках. Для достижения наилучшего результата совмещают несколько моделей машинного обучения [26] Ян Эллисон. «Бывший физик-ядерщик Анри Вельбрук объясняет, как машинное обучение снижает риск высокочастотной торговли», International Business Times, 23 марта 2016 г. www.ibtimes.co.uk/formernuclear-physicist-henri-waelbroeck-explains-how-machine-learning-mitigates-high-frequency1551097

Глубокое обучение только начинает влиять на труд юристов. Большая часть рутинной работы в юридических организациях, стоящая сотни долларов в час, будет автоматизирована, особенно в крупных компаниях. В частности, ИИ, не чувствуя усталости, может выполнять анализ тысяч документов в поисках доказательств [27] Такой подход уже получил имя «электронное расследование» (также «автоматизированный анализ», или technology-assisted review, TAR) – автоматизированный сбор и анализ цифровой информации, релевантной для конкретного судебного процесса. – Прим. ред. . Еще одно преимущество автоматизированной системы – полное соблюдение постоянно усложняющихся нормативных требований. Юридическая консультация станет доступна любому, кто не может себе позволить нанять адвоката. Работа юристов станет не только дешевле, но и гораздо быстрее, а этой порой важнее стоимости. Правовой мир станет юридически глубоким.

Безлимитный техасский холдем «один на один» входит в число самых популярных разновидностей покера. В нее обычно играют в казино, а также на главном состязании – Мировой серии покера. Покер сложен, потому что, в отличие от шахмат, где оба игрока владеют одинаковым объемом информации, у игроков в покер информация неполная. Поэтому при игре на высоком уровне умение блефовать и вводить в заблуждение не менее важно, чем сами карты.

Рис. 1.7. Безлимитный техасский холдем «один на один». Пара тузов на руках. Блеф на высоких ставках был освоен системой DeepStack, которая победила профессиональных игроков с большим отрывом

Джон фон Нейман, математик, создавший математическую теорию игр и заложивший основы архитектуры вычислительных машин, был очарован покером, так как «реальная жизнь вся состоит из блефа, маленьких хитростей и размышлений, что другой человек думает о том, что собираюсь сделать я. Игры в моей теории как раз такие». Покер отражает ту часть человеческого интеллекта, которая была усовершенствована в процессе эволюции. К величайшему удивлению экспертов в покере, сеть глубокого обучения DeepStack сыграла 44 852 игры против 33 профессиональных игроков в покер и победила их на четыре стандартных отклонения [28] Moravčík M., Schmid M., Burch N., Lisý V., Morrill D., Bard N., Davis T., Waugh K., Johanson M., Bowling M. «DeepStack: Expert-level artificial intelligence in heads-up no-limit poker». Science. 356: 508–513 2017. Стандартное отклонение – это половина ширины колоколообразной кривой. Только 16 процентов выборок больше одного стандартного отклонения от среднего. Только один из десяти миллионов образцов имеет более четырех стандартных отклонений от среднего значения. – Прим. авт. . Невероятный успех. Победу над лучшими игроками при использовании даже одной стратегии уже можно было бы назвать прорывом. Если это достижение применить и в других сферах человеческой деятельности, где решения принимаются при отсутствии полной информации, например в политике и международных отношениях, последствия могут быть далеко идущими [29] Вспоминается сюжет американского фильма «Военные игры 1983 года». – Прим. авт. .

В марте 2016 года кореец Ли Седоль, чемпион мира по го, сыграл матч против AlphaGo – программы, обученной этой игре (рис. 1.8) [30] Silver David; Huang Aja; Maddison Chris J.; Guez Arthur; Sifre Laurent; Driessche George van den; Schrittwieser Julian; Antonoglou, Ioannis; Panneershelvam Veda (2016). «Mastering the game of Go with deep neural networks and tree search». Журнал Nature. 529 (7587): 484–489. . AlphaGo использовала нейросеть глубокого обучения, чтобы оценить расположение камней на доске и возможные ходы. Го сложнее шахмат, как шахматы сложнее шашек. Если шахматы – одно сражение, то го – война. Доска для игры в го размером 19 на 19, что значительно больше, чем шахматная доска 8 на 8 клеток. В го возможно одновременно вести несколько битв на разных частях доски. В игре есть множество нюансов, поэтому судить ее порой сложно даже экспертам. Существуют 10 170возможных позиций, что больше, чем количество атомов в наблюдаемой Вселенной.

AlphaGo применяла несколько нейросетей глубокого обучения для оценки ситуации на доске и выбора наилучшего хода. Кроме того, у нее совершенно другая система обучения, использовавшаяся для решения задач, в которых необходимо вычислить, какие действия приведут к успеху, а какие – к неудаче. Если я выигрываю в го, какие мои действия способствовали этому? А если проигрываю, какой шаг был неверным? Часть человеческого мозга, которая отвечает за решение таких задач, – базальные ганглии. Они получают проекции сигналов с коры головного мозга и передают их обратно. AlphaGo использует алгоритмы, которые применяются базальными ганглиями для вычисления наиболее успешной последовательности действий. Об этом подробно будет рассказано в главе 10. Таким образом, AlphaGo училась, играя с собой раз за разом.