Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Интеллект без знаний — все равно что двигатель без топлива. Люди получают огромные знания от других людей: они передаются через поколения в форме языка. Среди них есть фактические: Обама стал президентом в 2009 г., плотность меди составляет 8,92 г/см 3, законы Ур-Намму устанавливают наказания за различные преступления и т. д. Огромный объем знаний заключен в самом языке — в понятиях, которые обусловливают его существование. Президент, 2009, плотность, медь, грамм, сантиметр, преступление и все прочие понятия заключают в себе обширнейшую информацию, представляющую собой выделенное множество процессов открытия и систематизации, благодаря которым, собственно, они и оказались встроены в язык.

Рассмотрим, например, слово медь , обозначающее определенный комплекс атомов во Вселенной, и сравним со словом арглебарглиум , которым я обозначаю столь же крупный комплекс совершенно случайным образом выбранных атомов во Вселенной. Можно открыть много общих, полезных и обладающих предсказательной силой законов о меди — ее плотности, проводимости, пластичности, точке плавления, звездном происхождении, химических соединениях, практическом применении и т. д. Напротив, об арглебарглиуме практически ничего нельзя сказать. Организм, говорящий на языке, который состоит из таких слов, как арглебарглиум, не мог бы функционировать, потому что никогда не открыл бы закономерностей, которые позволили бы ему моделировать и делать прогнозы в своей вселенной.

Машина, действительно понимающая человеческий язык, была бы способна быстро накапливать огромные объемы человеческого знания, что позволило бы ей превзойти результаты 10 000 лет обучения более чем 100 млрд человек, живших на Земле. Представляется попросту нецелесообразным ждать, когда машина заново сделает все эти открытия с нуля, начав с первичных сенсорных данных.

В настоящее время, однако, технология естественного языка не способна выполнить задачу прочтения и понимания миллионов книг, многие из которых поставили бы в тупик даже высокообразованного человека. Такие системы, как Watson от IBM, прославившаяся победой над двумя людьми-чемпионами американской телевизионной игры Jeopardy! {5} 5 В России выходит под названием «Своя игра». — Прим. ред. в 2011 г., способны извлекать простую информацию из четко сформулированных фактов, но не может строить комплексные структуры знания на основе текста, как и не в состоянии отвечать на вопросы, требующие построения длинных логических цепочек и использования информации из нескольких источников. Например, задача прочитать все доступные документы, относящиеся к концу 1973 г., и оценить (с объяснением) вероятный результат Уотергейта — процесса, приведшего к отставке президента Никсона, — далеко выходила бы за рамки сегодняшних возможностей.

Предпринимаются серьезные усилия по углублению анализа языка и выделению информации. Например, проект Aristo Института изучения ИИ им. Аллена ставит целью разработку систем, способных сдать школьные экзамены по естественным наукам после прочтения учебников и методических пособий [115] Проект Aristo Института изучения ИИ им. Аллена: allenai.org/aristo . . Вот вопрос из теста за четвертый класс [116] Анализ знания, необходимого для получения хороших результатов в тесте для четвертого класса на понимание и здравый смысл: Peter Clark et al., «Automatic construction of inference-supporting knowledge bases», in Proceedings of the Workshop on Automated Knowledge Base Construction (2014), akbc.ws/2014 . :

Четвероклассники решили устроить гонки на роликовых коньках. Какая поверхность подойдет для этого лучше всего?

(А) гравий, (Б) песок, (В) асфальт, (Г) трава.

Машина сталкивается по крайней мере с двумя типами трудностей при ответе на этот вопрос. Во-первых, это классическая проблема понимания языка — уяснения смысла предложения: анализ синтаксической структуры, идентификация значимых слов и т. д. (Чтобы убедиться в этом, воспользуйтесь онлайновым переводчиком, чтобы перевести предложение на незнакомый вам язык, затем с помощью словаря этого языка попробуйте сделать обратный перевод на английский.) Во-вторых, это необходимость обыденного знания. Нужно сообразить, что «гонки на роликовых коньках» — это, по всей видимости, состязание на скорость между людьми, обутыми в коньки на роликах (имеющими их на ногах), а не гонки роликовых коньков. Нужно понять, что «поверхность» — то, на чем будут состязаться гонщики, а не сидеть зрители. Нужно знать, что означает «лучше всего» применительно к поверхности для гонки, и т. д. Подумайте, как изменился бы ответ, если заменить «четвероклассников» на «садистов-инструкторов армейского тренировочного лагеря».

Эти трудности можно обобщить, сказав, что чтение требует знания, а знание приобретается (по большей части) из чтения. Иными словами, перед нами классическая ситуация с курицей и яйцом. Можно рассчитывать на процесс бутстрэпа — «спасения утопающих силами самих утопающих», — когда система читает какой-нибудь простой текст, получает определенные знания, использует их для чтения более сложного текста, получает дополнительные знания и т. д. К сожалению, на деле происходит противоположное: приобретенное знание оказывается по большей части ошибочным, что вызывает ошибки при чтении, приводящие к еще более ошибочному знанию, и т. д.

Например, проект «Бесконечное изучение языка» (Never-Ending Language Learning, NELL) Университета Карнеги — Меллона является, пожалуй, самым амбициозным проектом бутстрэп-обучения языку, осуществляемым в настоящее время. С 2010 по 2018 г. NELL усвоил более 120 млн утверждений, читая англоязычные тексты в интернете [117] Проект машинного чтения NELL описан в статье: Tom Mitchell et al., «Neverending learning», Communications of the ACM 61 (2018): 103–15. . Часть этих утверждений верна, например, что «Мейпл Лифс» {6} 6 «Торонто Мейпл Лифс» — профессиональный хоккейный клуб. — Прим. пер. играют в хоккей и выиграли Кубок Стэнли. Помимо фактов NELL постоянно учит новые слова, категории и семантические отношения. К сожалению, он уверен лишь в 3 % своих утверждений и нуждается в экспертах-людях, чтобы регулярно исправлять ложные или бессмысленные утверждения — например, что «Непал — это страна , также известная как Соединенные Штаты », а « ценность — сельскохозяйственный продукт , который обычно режут на базис ».

Я подозреваю, что может не произойти единого прорыва, который обратил бы нисходящую спираль вспять. Базовый процесс бутстрэп-обучения кажется правильным: программа, которая знает достаточно фактов, может сообразить, на какой из них ссылается новое предложение, и, таким образом, узнать новую текстуальную форму выражения фактов, что впоследствии позволит ей открыть больше фактов, и так процесс продолжится. (Сергей Брин, сооснователь Google, опубликовал важную статью об идее бутстрэп-обучения в 1998 г. [118] Идея самостоятельного получения выводов из текста принадлежит Сергею Брину: «Extracting patterns and relations from the World Wide Web», in The World Wide Web and Databases , ed. Paolo Atzeni, Alberto Mendelzon, and Giansalvatore Mecca (Springer, 1998). ) Безусловно, этому способствует предварительная подготовка в виде большого количества закодированного вручную знания и лингвистической информации. Повышение сложности репрезентации фактов — позволяющей отображать комплексные события, причинно-следственные связи, верования и отношения других и т. д., — а также совершенствование работы с неопределенностью в значениях слов и предложений могут постепенно вылиться в самосовершенствующийся, а не вырождающийся процесс обучения.