Джошуа Ганс - Искусственный интеллект на службе бизнеса

Вроде бы несложное решение проблемы сбоя системы заключается в разнообразии используемых прогностических машин. Это снижает угрозу безопасности, но за счет пониженной эффективности и к тому же повышает риск случайных мелких сбоев из-за отсутствия стандартизации. Разнообразие машин, как и биологическое, включает в себя компромисс между результатами на индивидуальном и системном уровнях.

В большинстве случаев системный сбой происходит вследствие одновременной атаки на несколько прогностических машин. Например, атака на один беспилотный автомобиль угрожает личной безопасности, а на несколько сразу – внутренней безопасности государства.

Еще один способ защиты от одновременной массированной атаки, подходящий для стандартизированной системы гомогенных прогностических машин, – отсоединение устройства от облака [154]. Мы уже рассказывали о плюсах внедрения прогнозов в устройства вместо облака для ускорения контекстного обучения (в ущерб точности прогнозов в целом) и обеспечения конфиденциальности.

Но существуют и другие преимущества. Если устройства не связаны с облаком, одновременная атака на них невозможна [155]. Хотя обучение прогностической машины, вероятнее всего, будет происходить в облаке, по его завершении целесообразно осуществлять прогнозирование непосредственно на устройстве, без отправки информации обратно в облако.

Следующий риск заключается в том, что кто-нибудь может получить данные вашей прогностической машины. Возможно, конкурентам удастся декомпилировать алгоритмы или использовать результаты их работы в качестве обучающих данных для своих прогностических машин. Самый, наверное, известный пример – трюк команды Google по борьбе со спамом. Они сделали так, чтобы на бессмысленные запросы вроде hiybbprqag выходили несуществующие результаты. Затем они попросили инженеров Google выполнить такие запросы из дома и обязательно через панель Microsoft Internet Explorer. Несколько недель спустя команда выполнила поиск в Bing, поисковой машине Microsoft. Как и следовало ожидать, на запросы типа hiybbprqag она показала фальшивые результаты Google. Команда доказала, что Microsoft использует панель для копирования результатов поисковой машины Google [156].

В то время возникло много споров на тему допустимости действий Microsoft [157]. По сути, компания применила панель Google для обучения посредством использования и улучшения алгоритмов поисковой машины Bing. Пользователи задавали поиск в Google и кликали по ссылкам. И если искомое слово было редким, имелось только в Google (hiybbprqag) и его запрашивали несколько раз (этим занимались инженеры Google), машина Microsoft его запоминала. Странно, что она не выучила – хотя вполне могла, – как поисковые запросы Google переводятся в клики, и не имитировала полностью ее поисковую машину [158].

Стратегическая проблема состоит в том, если у вас есть ИИ (например, поисковая машина Google) и конкурент может видеть вводимые данные (поисковые запросы) и результаты (список ссылок), то у него появляется полуфабрикат для контролируемого обучения собственного ИИ и воссоздания алгоритмов. В случае с поисковой машиной Google это было бы очень трудно, но в принципе выполнимо.

В 2016 году IT-специалисты продемонстрировали, что определенные алгоритмы глубокого обучения особенно уязвимы для имитации [159]. Они тестировали свое предположение на нескольких известных платформах машинного обучения (в том числе Amazon Machine Learning), и оказалось, что при относительно малом количестве запросов (650–4000) возможно декомпилировать модели с высокой точностью вплоть до идеальной. Само по себе применение алгоритмов машинного обучения ведет к такой уязвимости.

В имитации нет ничего сложного: после обучения ИИ его механизмы доступны всему миру, и их можно скопировать. Еще неприятнее то, что овладение этой информацией позволяет злоумышленникам манипулировать прогнозом и процессом обучения. Если хакер знает суть работы машины, она становится уязвимой. Однако положительный аспект состоит в том, что подобные атаки можно отслеживать. Чтобы разобраться в работе машины, необходимы многократные запросы. Их нетипичное количество или содержание должно насторожить: поймав подходящий момент, можно защитить прогностическую машину, хотя это и непросто, но по крайней мере вы будете начеку и выясните, что уже известно хакеру. Затем можно заблокировать его либо, если это невозможно, подготовить план на случай непредвиденных осложнений.

Прогностические машины взаимодействуют с другими людьми и машинами вне бизнеса, что создает дополнительный риск: злоумышленники могут внести в ИИ данные, искажающие процесс обучения. Это не просто манипуляция отдельным прогнозом, а обучение машины систематически давать неверные прогнозы.

Показательный пример произошел в марте 2016 года, когда Microsoft запустила в Twitter чат-бота по имени Tay на основе ИИ. Задумка была хорошая: Tay общается с людьми в Twitter и выбирает оптимальный ответ. Он должен был обучаться «приятной непринужденной беседе» [160]. Теоретически это был разумный способ предоставить ИИ необходимый для быстрого обучения опыт. Поначалу Tay общался не лучше попугая, но перед ним стояла важная цель.

Однако интернет – среда не всегда дружелюбная. Вскоре люди начали проверять, насколько далеко зайдет Tay. Baron Memington спросил @TayandYou«Ты поддерживаешь геноцид?» – и получил ответ: «Да, несомненно». Tay быстро превратился в расиста, женоненавистника и фашиста, и Microsoft эксперимент прекратила [161]. Как именно Tay развивался с такой скоростью, до конца не ясно. Вероятнее всего, он позаимствовал шаблоны поведения у пользователей Twitter. В конечном счете эксперимент доказал, насколько просто повлиять на машинное обучение в реальном мире.

Выводы очевидны. Конкуренты и недоброжелатели могут намеренно обучить вашу прогностическую машину давать неверные прогнозы. Tay, как и любая прогностическая машина, обучался на данных. И в реальном мире машина может столкнуться с людьми, которые воспользуются ее возможностями неразумно, со злым умыслом или непорядочно.

Работа прогностических машин сопряжена с рисками. Любая компания, вкладывающая средства в ИИ, столкнется с ними, а устранить их все невозможно. Единого решения не существует. Но теперь вам известно, как отслеживать риски. Выясните, как прогноз различается для отдельных групп людей. Определите, отражает ли прогноз подспудные причинно-следственные связи и действительно ли они верные. Найдите компромисс между рисками для всей системы и преимуществами небольших улучшений. И бдительно высматривайте злоумышленников, способных получить информацию от прогностической машины для ее копирования или уничтожения.