Стюарт Рассел - Совместимость. Как контролировать искусственный интеллект

В настоящее время отсутствуют реализуемые на практике рекомендации, которыми могли бы воспользоваться правительства и другие организации для решения вопросов контроля над ИИ-системами. Такие установления, как «ИИ-системы должны быть надежными и контролируемыми», ничего не дают, поскольку эти понятия пока не имеют точного значения, а также из-за отсутствия общепринятой инженерной методологии обеспечения этой безопасности и контролируемости. Однако будем оптимистами и представим, что всего через несколько лет продуктивность подхода к созданию ИИ на принципе «доказуемой полезности» доказана как математическим анализом, так и практической реализацией в форме полезных приложений. Например, у нас появляются личные цифровые помощники, которым можно доверить пользоваться нашими кредитными картами, фильтровать звонки и электронную почту и управлять нашими финансами, потому что они адаптировались под наши личные предпочтения и знают, когда можно действовать самостоятельно, а когда лучше обратиться за указаниями. Наши автономные автомобили научились хорошим манерам при взаимодействии друг с другом и с водителями, а домашние роботы прекрасно справляются даже с самым невыносимым дошкольником. По счастью, ни одна кошка не была зажарена на ужин и ни разу на торжественном обеде членов Партии зеленых не было подано китовое мясо.

На этом этапе представляется вполне уместным составление шаблонов разработки программного обеспечения, которым должны соответствовать разные типы приложений, чтобы их можно было продавать или подключать к интернету, как сейчас приложения должны пройти ряд программных тестов, прежде чем их пустят в App Store или Google Play. Продавцы программного обеспечения могут предложить собственные шаблоны, если сумеют доказать их соответствие требованиям безопасности и контролируемости (на тот момент уже тщательно проработанным). Будут созданы механизмы информирования о проблемах и обновления программных комплексов, выдающих нежелательное поведение. Тогда будет иметь смысл также разработать профессиональные кодексы поведения, основанные на идее доказуемой безопасности программ ИИ, и интегрировать соответствующие теоремы и методы в программы подготовки мотивированных практиков в области ИИ и машинного обучения.

Для опытного спеца из Кремниевой долины это может звучать довольно наивно. Любого рода регулирование встречает здесь яростное сопротивление. Если мы привыкли к тому, что фармацевтические компании обязаны доказывать безопасность и (благоприятную) эффективность путем клинических испытаний, чтобы получить возможность продавать продукт потребителям, индустрия программного обеспечения следует другому комплексу правил, а именно их пустому множеству. «Компания придурков, потягивающих „Ред булл“» [333]в фирме — разработчике программного обеспечения может выпустить продукт или обновление, которые могут повлиять буквально на миллиарды человек, без какого-либо контроля незаинтересованной стороны.

Однако сфера технологий неизбежно должна будет признать, что от ее продуктов очень многое зависит, следовательно, важно, чтобы они не причиняли вреда. Это значит, что появятся законы, управляющие характером отношений с людьми, запрещающие разработки, которые, скажем, последовательно манипулируют предпочтениями или формируют зависимость. Я не сомневаюсь, что переход от нерегулируемого мира к регулируемому будет болезненным. Будем надеяться, что для преодоления сопротивления профессиональной среды не потребуется катастрофа масштаба Чернобыльской (или хуже).

Регулирование может быть болезненным для разработчиков программного обеспечения, но станет невыносимым для «Доктора Зло», строящего планы по захвату мира в тайном подземном бункере. Без сомнения, криминальный элемент, террористы и некоторые страны могут иметь стимул обойти любые ограничения, налагаемые на устройство разумных машин, чтобы их можно было использовать для контроля оружия или для разработки и осуществления преступных действий. Опасно не столько то, что системы злоумышленников могут оказаться успешными, сколько то, что они могут потерять контроль над плохо разработанными интеллектуальными системами — в особенности получившими вредоносные задачи и доступ к оружию.

Это не причина отказываться от регулирования (в конце концов, у нас есть законы против убийства, хотя они часто нарушаются), однако возникает очень серьезная политическая проблема. Мы уже проигрываем в борьбе с хакерскими программами и киберпреступлениями. (В недавнем отчете даются оценки в более чем 2 млрд потерпевших и около $600 млрд ежегодных потерь [334].) Противостоять вредоносному программному обеспечению в форме высокоинтеллектуальных программ будет намного сложнее.

Некоторые, в том числе Ник Бостром, предложили использовать собственные полезные сверхинтеллектуальные ИИ-системы для обнаружения и уничтожения любых вредоносных или любым образом неправильно ведущих себя ИИ-систем. Безусловно, нам нужно будет использовать все доступные средства, в то же время сводя к минимуму влияние на личную свободу, но образы людей, теснящихся в бункерах, беспомощных против титанических сил, высвобожденных взбунтовавшимся сверхразумом, мало утешают, даже если часть этих сил на нашей стороне. Было бы намного лучше найти способы задавить вредоносный ИИ в зародыше.

Правильным первым шагом стала бы успешная, скоординированная международная кампания против киберпреступлений, включающая расширение Будапештской конвенции о киберпреступности. Тогда была бы сформирована организационная схема возможных будущих мероприятий по предупреждению появления неконтролируемых ИИ-программ. В то же время потребуется широкое взаимодействие культур по вопросу о том, что создание таких программ, намеренное или случайное, является в долгосрочной перспективе самоубийственным поступком, сопоставимым с созданием возбудителей пандемий.

Самые известные романы Э. М. Форстера, в том числе «Говардс Энд» и «Поездка в Индию», исследовали британское общество и его классовую систему первой половины XX в. В 1909 г. он написал примечательную научно-фантастическую повесть «Машина останавливается». Повесть поражает предвидением: в ней мы видим то, что сегодня называем интернетом, видеоконференциями, iPad, массовыми открытыми дистанционными курсами (МООК), а также массовое ожирение и избегание личных контактов. Машина, упомянутая в заглавии, — это всеобъемлющая интеллектуальная инфраструктура, удовлетворяющая все потребности людей. Люди все больше зависят от нее, но все хуже понимают, как она работает. Инженерное знание уступает место обрядовым заклинаниям, в конечном счете не способным остановить постепенное ухудшение работы Машины. Главный герой, Куно, видит, что всех ждет, но бессилен это остановить [335]: