Владимир Овчинский - Искусственный интеллект. Большие данные. Преступность

Многие исследователи опасаются, что компьютер при решении той или иной задачи построит программу, в которой оптимизироваться должно то, что оптимизируемым с точки зрения человеческого общества ни в коем случае быть не может. Грубо говоря, существует перезагруженный авиационный маршрут. Число желающих осуществить перелет намного превышает возможности авиакомпании. Компьютер, рассмотрев различные способы решения этой проблемы, пришел к выводу, что лучшим вариантом будет серьезная авария без смертельных случаев, но с большим числом раненых самолета данной авиакомпании на данном маршруте. Модель показала падение числа желающих до нормативного уровня. У математиков эта ситуация известна как отсутствие запрета на скрытую оптимизацию.

Данный пример показывает не только появление принципиально новых угроз, но и принципиальное различие в подготовке, анализе и принятии решения у человека и компьютера. Человек отказался бы от подобной оптимизации на самой ранней стадии разработки темы. А компьютер выбрал ее как основную.

Еще одна группа угроз связана, как это ни парадоксально, с притуплением внимания и снижением ответственности лиц, принимающих решения, чьим советником является ИИ. В отличие от триллеров и фантастических блокбастеров, лица, принимающие решения, это, в подавляющем большинстве, обычные по интеллектуальным способностям средние люди. Они находятся под прессингом воздействия социальных СМИ, телевидения, интернета, которые изо дня в день вот уже на протяжении двух-трех лет рассказывают о всемогуществе ИИ. Соответственно, даже в тех случаях, когда окончательные решения остаются за человеком, а ИИ дают лишь рекомендации, то, как показали эксперименты в университетах Йокогамы (Япония) и Ванкувера (Канада), лица, принимающие решения на уровне полицейских управлений городов, более чем в 98 % случаев солидаризировались с рекомендациями ИИ и принимали те решения, которые де-факто выработал ИИ.

В одном случае опыт проводился для 70 ситуаций, в которых принимали участие три полицейских начальника, а в другом – для 300 ситуаций, где работало пять начальников. Самым удивительным итогом эксперимента стало следующее. ИИ дали неправильные ответы по оценке ситуации для Японии примерно в 20 % случаев, для Канады – в 17 %. Начальники же в тех примерно 10 % случаев, где приняли решение вопреки ИИ, правы оказались лишь в Канаде в 5 %, а в Японии – ни в одном. Данные выкладки показывают, что тема гибридного или человеко-машинного интеллекта чрезвычайно сложна. В конечном счете, мы пытаемся соединить то, в чем мы вообще ничего не понимаем, – человеческое сознание, с тем, что является техникой в первом поколении ИИ, и надеемся на базе этого соединения успешно решать все проблемы.

Рассмотрим основные сценарии злонамеренного использования ИИ

Ключевой угрозой является автоматизация социальной инженерии. С помощью ИИ на человека, являющегося целью социальных инженеров, собирается досье. При этом особое внимание обращается на его непроизвольные автоматические реакции, которые и будут использоваться социальными инженерами при фишинговых атаках, использовании телефонии и т. п. По мере развития ИИ в целях обеспечения анонимности возможно использование социальными инженерами чат-ботов, которые будут вести разговоры с жертвами. Наряду с автоматизацией социальной инженерии следует ожидать использования ИИ для улучшения выбора целей и определения приоритетов в злонамеренных атаках. Автономное программное обеспечение, внедренное в атакуемую сеть, будет в течение долгого времени обеспечивать ИИ необходимой информацией.

Текст предоставлен ООО «ЛитРес».

Прочитайте эту книгу целиком, купив полную легальную версию на ЛитРес.

Безопасно оплатить книгу можно банковской картой Visa, MasterCard, Maestro, со счета мобильного телефона, с платежного терминала, в салоне МТС или Связной, через PayPal, WebMoney, Яндекс.Деньги, QIWI Кошелек, бонусными картами или другим удобным Вам способом.

PwC, «Sizing the prize: what’s the real value of AI for your business and how can you capitalize?», 2017. Доступно по ссылке: www. pwc.com/gx/en/issues/analytics/assets/pwc-ai-analysis-sizing-the-prize-report.pdf.

Перспективы развития технологий в интересах устойчивого развития. ООН, ESCAP/76/16 (11–16 мая 2018 г.).

См.: Artificial Intelligence and National Security. Belfer center paper. July, 2017.

Cm.: The Malicious Use of Artificial Intelligence: Forecasting, Prevention, and Mitigation. February, 2018 (Center for new American Security).

Тьюринг Алан Мэтисон – английский математик и криптограф, разработавший еще в 1936 году вычислительную «машину Тьюринга», которую в период Второй мировой войны использовали для расшифровки сообщений немецких войск.

Востром, Ник. Искусственный интеллект. Этапы. Угрозы. Стратегии. М., 2016, с. 93; см. также: Что мы думаем о машинах, которые думают. Ведущие мировые ученые об искусственном интеллекте. Под ред. Дж. Брокмана. М., 2017.

Гордон Эрл Мур (США) – почетный председатель совета директоров и основатель корпорации Intel, основоположник «закона Мура», который сводится к тому, что количество транзисторов в кристалле микропроцессора удваивается каждый год. В 1975 году он изменил временную составляющую закона и заявил об удвоении количества транзисторов каждые два года.

Термин «белый шум» обычно применяется к сигналу, имеющему автокорреляционную функцию. Белый шум некоррелирован по времени (или по другому аргументу), не определяет его значений во временной (или любой другой рассматриваемой аргументной) области.

См.: Artificial Intelligence and National Security. Congressional Research Service. 26.04.2018.

Социальный инжиниринг – система управления поведением человека с использованием методов социологии и психологии.

См.: Плеханов И. Разведывательные дроны преступников. Альманах «Искусство востока», 17.05.2018.