Педро Домингос - Верховный алгоритм

Несложно заложить в робота общие принципы применения оружия, например военные соображения, пропорциональность и сохранение жизни мирного населения. Но между этими принципами и конкретной ситуацией — пропасть, которую должно преодолеть рассуждение солдата. Когда роботы будут пытаться применить на практике три закона робототехники, они быстро столкнутся с проблемами, что, собственно, иллюстрируют рассказы Айзека Азимова. Общие принципы обычно противоречивы, а иногда исключают друг друга, и это неизбежно, иначе мир станет черно-белым, без оттенков. Когда военная необходимость превыше жизни гражданских лиц? На это нет однозначного ответа, и не получится вложить в компьютер все непредвиденные обстоятельства. Выход дает машинное обучение. Во-первых, надо научить роботов распознавать соответствующие концепции, предоставив им, например, наборы ситуаций, где гражданских пощадили или не пощадили, применение оружия было и не было пропорциональным и так далее. Затем надо составить для роботов кодекс поведения в виде правил с этими концепциями. Наконец, их надо научить применять этот кодекс путем наблюдения за людьми: в этом случае солдат открыл огонь, а в этом воздержался. Обобщая эти примеры, робот сможет сформировать комплексную модель принятия этических решений в виде, скажем, большой логической сети Маркова. Когда его решения начнут совпадать с человеческими настолько, насколько решения разных людей совпадают между собой, обучение будет завершено и модель можно будет загрузить в тысячи электронных мозгов. В отличие от людей роботы не будут терять голову в горячке боя. Если робот станет функционировать неправильно, ответственность за это понесет производитель. Если начнет поступать неправильно — учителя.

Как вы, наверное, догадались, главная проблема такого подхода заключается в том, что учиться этике путем наблюдения за людьми, возможно, не лучшая идея. Робот может серьезно смутиться, увидев, что своими действиями люди часто нарушают собственные этические принципы. Поэтому можно, например, очистить обучающие данные, оставив только примеры поведения солдата, признанные этической комиссией правильными. Члены комиссии также станут проверять и корректировать модель после обучения, пока их не удовлетворит результат. Если в комиссию войдут разные люди, достичь консенсуса будет непросто, но так и должно быть. Обучение роботов этике, с учетом их логичности и отсутствия предыдущего опыта, заставит нас перепроверить собственные представления и исключить из них противоречия. Здесь, как и во многих других областях, большим плюсом машинного обучения может оказаться не то, что узнают машины, а то, что узнаем мы сами — их учителя.

Другой аргумент против армий роботов — то, что война станет слишком легким делом. При этом односторонний отказ от такого вооружения сам по себе может спровоцировать нападение. Логическая реакция, которую поддерживают ООН и Human Rights Watch, — соглашение о запрете роботизированного вооружения, аналогичное Женевскому протоколу 1925 года, запретившему химическое и биологическое оружие. Однако здесь есть важный нюанс. Химическое и биологическое оружие только увеличивает человеческие страдания, а роботизированное может заметно их облегчить. Если войну ведут машины, а люди ими командуют, не будет убитых и раненых, поэтому, наверное, надо запрещать не роботизированных солдат, а — когда мы будем к этому готовы — солдат-людей.

Армии роботов действительно могут повысить вероятность боевых действий, но они изменят и саму этику войны. Когда на прицеле робот, решить дилемму «стрелять — не стрелять» намного проще. Сейчас войну считают невообразимым ужасом, крайней мерой. Такая точка зрения будет скорректирована: война по-прежнему останется оргией разрушения, убыточной для всех воюющих сторон, и ее будут избегать по мере возможности, но не любой ценой. А если война сведется к соревнованию в мощи уничтожения, почему не соревноваться в масштабе созидания?

Как бы то ни было, запрет роботизированного вооружения может оказаться невозможным. Сегодня вместо того, чтобы запрещать дронов — предшественников завтрашних боевых роботов, — большие и малые государства заняты их разработкой, вероятно, потому, что преимущества превышают риски. Как и с любым оружием, безопаснее иметь роботов, чем верить, что противник соблюдает правила. Если в будущем миллионы дронов-камикадзе окажутся способны за считаные минуты разбить традиционные армии, пусть это лучше будут наши дроны. Если Третья мировая война закончится за секунды и сведется к взятию под контроль систем врага, лучше иметь умные, быстрые и стойкие сети. (Системы, не объединенные в сети, не помогут: хотя их нельзя взломать, они не идут ни в какое сравнение с сетевыми.) В итоге гонка роботизированных вооружений может стать благом, если приблизит день, когда Пятая женевская конвенция запретит участие людей в боевых действиях. Войны будут всегда, но не обязательно с человеческими жертвами.

Google + Верховный алгоритм = Skynet?

Конечно, армии роботов пробуждают в воображении еще одного приз­рака. Если верить голливудским фильмам, в будущем человечество обречено на порабощение гигантским искусственным интеллектом и огромной армией послушных ему машин (если, конечно, в последние пять минут отважный герой всех не спасет). У Google уже есть масштабное оборудование, которое необходимо искусственному интеллекту, а недавно компания приобрела и второй элемент — массу стартапов, занимающихся робототехникой. Если добавить в ее серверы последний ингредиент — Верховный алгоритм, наша песенка спета? Признаюсь — все именно так и будет. Пришло время в стиле Толкина объявить о моих истинных намерениях:

Три алгоритма — ученым в небесных шатрах,

Семь — инженерам, живущим в дворцах серверов,

Девять — смертным магнатам, чей жребий — забвение и прах.

А один — искусственному разуму на троне тьмы,

В мрачном крае обучения, где залежи данных.

Один алгоритм правит всеми, один их отыщет,

Один соберет их и накрепко свяжет во тьме

В мрачном царстве обучения, где залежи данных.

Ха-ха-ха! Но если говорить серьезно, стоит ли опасаться, что машины возьмут верх? Ведь зловещие признаки действительно существуют. Компьютеры с каждым годом не просто делают больше работы, но и принимают все больше решений: кому дать кредит, какие товары человек покупает, кого принять на работу, кому дать прибавку к зарплате, какие котировки пойдут вверх, а какие вниз, сколько будет стоить страховка, куда направить полицейские патрули и кто будет арестован, какой тюремный срок этот человек получит, кто с кем пойдет на свидание и, следовательно, кто родится. Модели машинного обучения уже играют во всем этом свою роль. Момент, когда можно было выключить все компьютеры, не опасаясь коллапса современной цивилизации, давно пройден. Машинное обучение — последняя соломинка: когда компьюте­ры начнут программировать себя самостоятельно, все надежды взять их под контроль, безусловно, окажутся потеряны. Выдающиеся ученые, например Стивен Хокинг, призвали немедленно начать исследования на эту тему, потому что потом будет слишком поздно.