Мартин Форд - Архитекторы интеллекта. Вся правда об искусственном интеллекте от его создателей

М. Ф.: Но ведь в военных целях могут применяться и обычные устройства. Достаточно приобрести на сайте Amazon беспилотный летательный аппарат и добавить к нему оружие…

С. Р.: Современные беспилотные летательные аппараты все-таки управляются с земли. Конечно, к такому аппарату можно прикрепить небольшую бомбу и доставить ее куда нужно, но сам по себе он этого сделать не сможет. Кроме того, для запуска 10 млн дронов потребуется столько же людей-операторов. Гипотетически можно представить, что кто-то подготовит целую армию для управления оснащенными бомбами дронами, но такие вещи попадают под санкции международных контролирующих органов. А вот возможности контролировать автономное оружие пока не существует.

М. Ф.: Но разве невозможно в домашних условиях разработать автономную систему управления и развернуть ее на дронах? Контролируются ли как-нибудь подобные вещи?

С. Р.: Да, для управления оснащенными оружием дронами можно использовать нечто похожее на программное обеспечение, которое управляет беспилотным автомобилем. В результате получится самодельное автономное оружие. Возможно, по этому поводу со временем будет заключен некий регулирующий договор, придумают механизм проверки с привлечением производителей дронов и чипов для беспилотных автомобилей. На заметку будут брать всех, кто заказывает подобные комплектующие в больших количествах. Разумеется, плохие вещи все равно будут делаться, но редко. А в небольших количествах автономное оружие не обладает особыми преимуществами перед обычным.

Кроме того, с применением ИИ в военных целях связаны и другие риски. Например, машины могут неправильно истолковать какой-то сигнал. Нельзя сбрасывать со счетов и вероятность взлома, после чего автономное оружие, которое вы считаете своей надежной защитой, обернется против вас.

М. Ф.: Эти пугающие сценарии вы показали в короткометражном фильме Slaughterbots («Роботы-убийцы»).

С. Р.: В письменной форме мы не смогли достучаться до широких масс. Люди продолжали считать автономное оружие научной фантастикой.

М. Ф.: В 2014 г. вместе со Стивеном Хокингом, Максом Тегмарком и Фрэнком Вильчеком вы опубликовали письмо [10] Оригинал письма доступен по адресу https://www.independent.co.uk/news/science/stephen-hawking-transcendence-looks-at-the-implications-of-artificial-intelligence-but-are-we-taking-9313474.html , в котором говорилось о недостаточно серьезном отношении к рискам, связанным с ИИ. Среди авторов вы были единственным специалистом в области computer science. Как появилась идея этого письма?

С. Р.: Все началось с того, что Национальное общественное радио попросило меня поделиться мыслями по поводу фильма «Превосходство». Фильм совсем недавно появился в прокате, поэтому я пошел в кино, понятия не имея о том, что именно увижу.

Сначала там показали отдел информатики в Беркли. Профессор в исполнении Джонни Деппа рассказывал об ИИ, как вдруг его убил представитель радикальной антитехнологической группировки. В этот момент я невольно сжался, ведь на месте этого профессора в то время вполне мог оказаться и я. Перед смертью ученого его жена и лучший друг успели загрузить его мозг в большой квантовый компьютер. Он стал сверхинтеллектуальной сущностью, которая смогла быстро развить различные новые технологии и попыталась захватить мир.

В итоге появилось письмо, которое на первый взгляд представляло собой рецензию на фильм, но на самом деле несло следующую идею: «Любые создаваемые машины могут оказать сильное влияние на реальный мир, и это может стать серьезной проблемой, потому что речь идет о передаче контроля над нашим будущим объектам, которые не являются людьми». Ведь именно интеллект дает нам способность контролировать мир.

М. Ф.: Но многие видные ученые, занимающиеся ИИ, не считают это проблемой…

С. Р.: Да, я слышал много раз, что связанные с ИИ проблемы надуманны. Но пока аргументы сторонников такой точки зрения не показались мне заслуживающими внимания. Например, утверждать, что механизм с ИИ можно просто отключить, все равно что считать, что для победы в го над компьютером AlphaZero достаточно правильно двигать свои камни.

Отрицание проблемы ИИ я воспринимаю как защитную реакцию. Чтобы перестать бояться угрозы, люди убеждают себя, что ее не существует. По крайней мере, эта теория объясняет, почему даже очень информированные люди пытаются отрицать наличие проблемы.

Распространяется теория и на тех представителей ИИ-сообщества, которые не верят в возможность появления сильного ИИ. Здесь ситуация еще забавнее, потому что у нас за плечами 60 лет работы над темой, в успех которой мало кто верил. Но вещи, которые, если верить скептикам, были невозможными, воплотились в реальности. Например, компьютер победил чемпиона мира по шахматам.

Я верю, что люди, которые за историю своего существования сделали множество открытий и даже научились пользоваться атомной энергией, смогут преодолеть препятствия и создадут интеллект, достаточно сильный для того, чтобы возникла угроза его выхода из-под контроля. Благоразумно начать думать над тем, как убрать эту угрозу еще на стадии проектирования систем ИИ.

М. Ф.: А как это можно сделать?

С. Р.: На мой взгляд, мы не совсем корректно определяем понятие «интеллект». В целом, это рациональное поведение. Если создать машины с аналогичной способностью осуществлять свои намерения, появятся очень умные существа, но со своими целями. И достигать они будут именно их!

Первоначально ИИ был задуман как оптимизатор: то есть искатель оптимальных путей достижения человеческой цели. И это работало, но только потому, что созданные машины не были по-настоящему интеллектуальными и функционировали в ограниченном пространстве. После выхода ИИ в реальный мир все может пойти не по плану. Мы уже видели обвал торговых рынков после появления торговых ботов.

Мне кажется правильным, когда машины, помогающие в достижении наших целей, не знают, в чем эти цели заключаются. Нужна неопределенность относительно характера наших целей. Именно она даст желанную гарантию безопасности.

Попробую продемонстрировать это на примере. Если цель машины приносить кофе, при достаточном интеллекте она сможет понять, что в выключенном состоянии она не сможет этого сделать. Тогда она предпримет шаги для предотвращения выключения. Я считаю, что необходимо заложить в машину цель избегать нежелательных для человека действий. Такое видение ИИ можно описать математически, показав, что гарантия безопасности (то есть в данном случае мотив, под влиянием которого машина позволит себя выключать) напрямую связана с отсутствием информации о целях человека.