Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

Представляется также возможным применить аналогичные идеи к перестройке других «машин», призванных служить людям, начиная с обычных программных систем. Нас учат создавать программное обеспечение, соединяя вспомогательные подпрограммы, каждая из которых имеет четко определенную спецификацию , описывающую, какой выход будет получен при любом данном входе, — как у кнопки извлечения квадратного корня на калькуляторе. Эта спецификация является прямым аналогом цели, заданной ИИ-системе. Вспомогательная подпрограмма не должна отключаться и возвращать управление более высоким уровням программного комплекса, пока не получит результат, отвечающий спецификации. (Это должно напомнить вам об ИИ-системе, упорствующей в своем узколобом преследовании поставленной цели.) Лучшим подходом было бы допустить в спецификации неопределенность. Например, подпрограмме, выполняющей некие ужасно сложные математические вычисления, обычно дается предел погрешности, определяющий требуемую точность ответа, и она должна выдавать ответ, верный в этих пределах. Иногда для этого необходимо несколько недель расчетов. Возможно, лучше быть менее точными в отношении допустимой ошибки, чтобы подпрограмма могла вернуться через 20 секунд и сообщить: «Я нашла настолько-то точное решение. Этого достаточно, или вы хотите, чтобы я продолжила?» В некоторых случаях вопрос может передаваться через всю иерархию вплоть до высшего уровня программного комплекса, чтобы человек-пользователь мог давать системе дальнейшие указания. Ответы человека помогли бы уточнить спецификацию на всех уровнях.

Рассуждения того же типа можно применить и к таким структурам, как правительства и корпорации. Очевидные промахи властей включают чрезмерное внимание, уделяемое предпочтениям (финансовым, а также политическим) некоторых лиц, облеченных властью, и пренебрежение предпочтениями тех, кем они управляют. Выборы призваны сообщить правительству о предпочтениях людей, но, как представляется, имеют удивительно узкий охват (порядка одного байта информации каждые несколько лет) для столь комплексной задачи. Во многих странах правительство есть всего лишь средство для какой-то группы людей навязать свою волю другим. Корпорации дальше заходят в стремлении узнать предпочтения клиентов через исследования рынка или непосредственную обратную связь в форме решений о покупке. В то же время формирование человеческих предпочтений с помощью рекламы, культурного влияния и даже зависимости от химических веществ считается приемлемым способом ведения бизнеса.

ИИ способен преобразовать мир, и процессом преобразования необходимо каким-то образом управлять. Если судить просто по числу проектов разработки эффективного управления ИИ, то дела у нас идут блестяще. Буквально каждый желающий создает комитет, совет или международную экспертную группу. Международный экономический форум выделяет почти 300 отдельных проектов выработки этических принципов ИИ. Содержимое моей электронной почты можно описать как одно бесконечное приглашение на «Глобально-всемирный саммит-конференцию-форум по проблеме будущего международного управления социальным и этическим воздействием формирующихся технологий ИИ».

Все это очень отличается от картины, наблюдавшейся в сфере ядерной технологии. После Второй мировой войны все инструменты контроля в ядерной сфере были у США. В 1953 г. президент США Дуайт Эйзенхауэр предложил ООН создать международный орган регулирования развития ядерной технологии. В 1957 г. начало работать Международное агентство по атомной энергии; это единственный всемирный контролер в области безопасного и полезного использования атомной энергии.

Напротив, в сфере ИИ влияние сильно рассредоточено. Как минимум США, Китай и ЕС финансируют многочисленные исследования ИИ, но практически все они ведутся вне надежных стен национальных лабораторий. Исследователи ИИ в университетах являются частью обширного, взаимодействующего международного сообщества, спаянного общими интересами, конференциями, соглашениями о кооперации и профессиональными обществами, например АААI (Ассоциация по продвижению ИИ) и IEEE (Институт инженеров электротехники и электроники, включающий десятки тысяч исследователей и практиков в области ИИ). Вероятно, б о льшая часть инвестиций в исследования и разработку ИИ сейчас осуществляется корпорациями разного масштаба. Ведущими игроками на 2019 г. являются Google (включая DeepMind), Facebook, Amazon, Microsoft и IBM в США, Tencent, Baidu и, до некоторой степени, Alibaba в Китае — все они из числа крупнейших корпораций мира [332]. Все, кроме Tencent и Alibaba, являются членами Partnership on AI, профессионального консорциума, включившего в число своих принципов обещание кооперации в области обеспечения безопасности ИИ. Наконец, хотя огромное большинство людей не могут считаться специалистами по ИИ, специалисты демонстрируют по меньшей мере некоторую готовность принимать в расчет интересы человечества.

Итак, некоторые игроки имеют определяющее влияние. Их интересы не вполне совпадают, но они разделяют общее стремление сохранить контроль над ИИ-системами по мере роста их возможностей. (Другие цели, в том числе избежать массовой безработицы, являются общими для властей и университетских исследователей, но необязательны для корпораций, рассчитывающих быстро заработать на максимально широком внедрении ИИ.) Скрепить этот общий интерес и прийти к скоординированным усилиям помогают учреждения с организационным потенциалом , которые устраивают различные мероприятия. Помимо профессиональных обществ, способных объединить исследователей ИИ, и Partnership on AI, объединяющего корпорации и некоммерческие организации, традиционными координаторами являются ООН (правительства и исследователи) и Всемирный экономический форум (правительства и корпорации). Кроме того, «Большая семерка» предложила создать Международную экспертную группу по проблемам ИИ, рассчитывая, что она разовьется в аналог Межправительственного совета ООН по борьбе с изменением климата. Многообещающие отчеты множатся как грибы после дождя.

Дает ли вся эта деятельность какие-то надежды на реальный прогресс в области контроля ИИ? Как ни странно, ответ положительный — по крайней мере, прогресс уже заметен. Власти многих стран создают консультативные советы, чтобы способствовать процессу правового регулирования; возможно, самым ярким примером является Высшая экспертная группа по искусственному интеллекту (ЕС). Появляются соглашения, законы и стандарты в таких областях, как конфиденциальность пользователя, обмен данными и предупреждение расовой нетерпимости. Власти и корпорации упорно трудятся над выработкой законов для автомобилей с автопилотом — законов, которые неизбежно приобретут международный характер. Имеется договоренность, что если мы хотим получить ИИ-системы, которым сможем доверять, то решения, предлагаемые ИИ, должны быть объяснимыми, и это уже отчасти реализовано в установлениях Общего регламента по защите данных Европейского союза. В Калифорнии новый закон запрещает ИИ-системам представлять людей в определенных обстоятельствах. Последние два момента — объяснимость и представительство — безусловно, имеют определенные последствия для вопросов безопасности и контроля ИИ.