Джеймс Баррат - Последнее изобретение человечества

Можно сделать так, чтобы ИИ зависел от регулярного разрешения на отсрочку, исходящего от человека или комитета, или от другого ИИ, не способного совершенствовать себя и предназначенного исключительно для обеспечения безопасного развития самосовершенствующегося кандидата. Без регулярного «разрешения» апоптический ИИ быстро испустит дух.

Для Роя Стеррита из Университета Ольстера апоптические вычисления — защитное средство широкого профиля, и время его пришло.

Мы уже пытались доказать, что все компьютерные системы должны быть апоптическими, тем более что они встречаются все чаще и становятся все более вездесущими. Этот механизм должен охватывать все уровни взаимодействия с техникой, от данных до услуг, агентов и роботов. Помня недавние громкие скандалы с кредитными картами и пропажей персональных данных в организациях и правительственных учреждениях и не забывая о фантастических сценариях, которые сегодня обсуждаются уже как возможное будущее, запрограммированная смерть по умолчанию становится насущной необходимостью.

Мы стремительно приближаемся ко времени, когда новые автономные компьютерные системы и роботы перед внедрением должны будут проходить испытания, аналогичные этическим и клиническим испытаниям новых лекарств; новые исследования в области апоптиче- ских вычислений и апоптической связи, возможно, смогут гарантировать нам безопасность.

Недавно Омохундро начал разрабатывать проект, имеющий много общего с апоптическими системами. Разработка, получившая название «Строительные леса для безопасного ИИ», призывает к созданию «очень ограниченных, но все же мощных интеллектуальных систем», которые помогали бы в строительстве систем еще более мощных. Первая система помогла бы исследователям решить опасные проблемы в ходе создания более продвинутой системы и т. д. Безопасность первоначальной и последующих систем необходимо будет доказывать математически. Доказательство безопасности будет требоваться для каждой новой системы. А будучи безопасным, мощный ИИ сможет потом помогать в решении реальных практических задач. Омохундро пишет: «Имея инфраструктуру из надежных вычислительных устройств, мы затем работаем с ними, чтобы получить гарантированно безопасные устройства, способные физически воздействовать на реальный мир. Затем мы разрабатываем системы производства новых устройств, способных (доказано!) строить только устройства надежных классов».

Конечная цель — создать разумные устройства, достаточно мощные, чтобы справиться со всеми проблемами неподконтрольных ИСИ или создать «контролируемый мир, удовлетворяющий все же нашим потребностям в свободе и индивидуальности».

Бен Гертцель в качестве решения этой проблемы предлагает элегантную стратегию, не подсмотренную у природы и не заимствованную из инженерного дела. Вспомните, что в гертцелевой системе OpenCog ИИ первоначально «живет» в виртуальном мире. Не исключено, что такая архитектура может решить проблему «воплощения» разума при соблюдении некоторого уровня безопасности. Гертцеля, однако, заботит не безопасность, — он хочет сэкономить. Гораздо дешевле сделать так, чтобы ИИ исследовал и изучал виртуальный мир, чем снабжать его сенсорами и исполнительными устройствами и выпускать для обучения в реальный мир. Для этого потребовалось бы дорогостоящее роботизированное тело

Сможет ли когда-нибудь виртуальный мир обрести достаточную глубину, детальность и другие полезные качества, и Фонд Lifeboat, постоянно подчеркивают экзистенциальный риск ИИ. Они считают, что если существуют меньшие риски, то приоритет их ниже, чем возможность полной гибели человечества. Мы видели, что Курцвейл намекает на «аварии» меньшего масштаба, чем события 11 сентября; специалист по этике Уэндолл Уоллак, цитатой из которого начинается эта глава, тоже предвидит более скромные катастрофы. Я согласен с обеими сторонами — нас ждут и большие, и малые катастрофы. Но какого рода аварии, связанные с ИИ, наиболее вероятны на пути к созданию УЧИ? Напугают ли они нас достаточно, чтобы мы могли увидеть перспективы создания УЧИ в новом, более здравомыслящем свете?

Первыми возможностями ИИ и продвинутого ИИ воспользуются спонсируемые государством частные хакеры; их целью будет кража информации, а результатом их действий — разрушения и гибель людей. Дело в том, что вредоносные компьютерные программы обретают все новые возможности, и уже сегодня их можно рассматривать как слабый ИИ. Как сказал мне Рэй Курцвейл, «существуют компьютерные вирусы, реально демонстрирующие ИИ. До сих пор мы не отстаем от них, но нет никакой гарантии, что не отстанем». А пока знания и опыт в области использования вредоносных программ становятся товаром. За деньги можно найти не только сам продукт, но и услуги по его настройке и обслуживанию. На то, чтобы найти в Сети приведенное выше рекламное объявление по поводу вредоносной программы Zeus, мне потребовалось меньше минуты.

Компания Symantec (ее девиз: безопасность в мире информационных технологий) начинала свое существование как ИИ- компания, но сегодня это крупнейший игрок в иммунной системе Интернета. Каждый год Symantec находит в сети около 280 млн новых вредоносных программ. Большую их часть автоматически создают специальные программы. Приложение от Symantec тоже действует автоматически: анализирует подозрительную программу, создает «заплатку» или блокирует и добавляет в «черный список». По данным Symantec, по количественным показателям вредоносное программное обеспечение уже несколько лет как обогнало полезное, и сегодня по крайней мере каждая десятая закачка из Сети содержит вредоносную программу.

Существует множество видов вредоносных программ, но у всех у них — будь то червь, вирус, программа-шпион, руткит или троянец, — общая изначальная цель: они созданы для того, чтобы использовать компьютер без согласия владельца. Они готовы украсть все, что в нем находится, — номера кредиток или социальных карт, интеллектуальную собственность — и оборудовать лазейку для дальнейшего использования. Если зараженный компьютер подключен к сети, они могут устроить набег и на связанные с ним компьютеры. Кроме того, они могут поработить сам компьютер и сделать его частью ботнета, или сети роботов.