Елена Ларина - Роботы-убийцы против человечества. Киберапокалипсис сегодня

На наш взгляд, это лучшее из возможных и наиболее приемлемое для внутреннего и международного обихода определение автономного оружия. Мы считаем его наилучшим по нескольким причинам:

• во-первых, поскольку это определение соответствует большинству используемых на практике в Соединенных Штатах и за рубежом определений;

• во-вторых, оно позволяет идентифицировать не только уже существующие, но и будущие типы вооружений;

• в-третьих, так или иначе, это определение может быть развернуто с добавлением определенных свойств в терминологию, используемую в настоящее время министерством обороны США, ООН, Международным Комитетом Красного Креста и т. п.

Представляется, что данное определение позволит разработчикам, планировщикам, администраторам и военным говорить на одном языке. С технической точки зрения данное определение позволяет выделить основные направления развития автономии в военном деле. К ним относятся:

• автономные системы оружия, которые после своей активации действуют на всех фазах боевого цикла самостоятельно, без участия человека-оператора, и даже человека-контролера;

• системы автономного оружия, предполагающие контроль оператора. В этих системах участие оператора сводится лишь к возможности отменить миссию, обеспечив автономный возврат на места дислокации или принять решение об уничтожении автономного оружия;

• полуавтономные оружейные системы. В этом типе систем человек остается участником «петли управления и контроля» и выполняет те или иные функции в дополнительном или параллельном по отношению к программно-аппаратному блоку режиме. Человек может в силу каких-либо обстоятельств взять управление оружием на себя и т. п.

Необходимо отдавать себе отчет, что повышение уровня автономности одновременно может способствовать росту эффективности и жизнеспособности систем оружия и повышать риски его избыточного или нецелевого применения. Два эти процесса пока идут параллельно, и разделить их не удается.

Возможно, могут быть предложены и другие подходы к определению автономности оружия. Однако данный подход представляется наиболее оправданным не только с точки зрения его больших описательных возможностей, но и поскольку он анализирует оружие с единственно правильной точки зрения. А именно, с точки зрения человека-оператора и контролера.

Представляется, что в будущем даже при наличии технических возможностей создания полностью автономных военных систем в строгом, формальном смысле слова, надо много раз подумать и еще больше раз поэкспериментировать, прежде чем ставить такие системы на вооружение. С ростом интеллектуальности автономных систем и повышением их огневой и иной поражающей мощи, параллельно возрастают риски не только утраты контроля, но и вообще способности человека управлять и контролировать подобными системами.

Уже сегодня в вооруженных силах США применяются программно-аппаратные комплексы для анализа и прогнозирования, которые человек не контролирует. Т. е., он, конечно, контролирует их работу, именно человек пишет программу, но строго говоря, не только непосредственные потребители – военные, но и возможно разработчики и программисты не могут проконтролировать правильность рекомендаций, анализов и прогнозов, полученных аппаратно-программным комплексом. Уже сегодня в определенных случаях военные становятся заложниками компьютерных вычислений.

Представляется, что определение, базирующееся на здравом смысле и опирающееся на анализ распределения участия человека и автомата в решениях и действиях на разных фазах боевого цикла – от обнаружения цели до ее поражения, позволяет уйти от «мутных тем» искусственного интеллекта, человеко-машинного разума и свободы воли роботов. Оставим их писателям-фантастам, философам, психологам и т. п., а вместо этого сосредоточимся на конкретной работе, связанной с автономным оружием.

Стремительное развитие информационных технологий означает, что возможности, сегодня кажущиеся труднореализуемыми, либо невероятными, завтра станут обыденностью и будут воплощены в конкретных системах, аппаратах, решениях и механизмах. Мы не думаем, что процесс развития информационных технологий является полностью управляемым. Более того, мы не думаем, что можно даже, понимая ту или иную опасность, остановить динамику. Например, всем понятны опасности, связанные с постоянно повышающейся автономностью в сочетании с ростом интеллектуальности вооружений. На эту тему очень много рассуждают различного рода активисты и политики. Они, вероятно, правы в своих опасениях. Но эта правота ничего не меняет. Каждая из потенциально враждебных сторон будет резонно полагать, что противоположная сторона стремится обеспечить свое преимуществ. Соответственно она не будет верить, что противоположная сторона займет сдержанную позицию по отношению к автономии интеллектуальных систем оружия. В итоге гонка в автономии, интеллектуальности и живучести вооружений неостановима до тех пор, пока будут иметься хотя бы две не доверяющие друг другу стороны.

Этот материал нацелен на выработку общего понимания автономии. Слишком часто в прошлом те или иные политические и административные решения принимались в нашей стране, за рубежом и в международном масштабе без понимания сути дела. Отдавая отчет в долговременной тенденции повышения автономности роботизированных систем, в том числе в военном деле, мы, с учетом этой тенденции и должны принимать различного рода законодательные и административные акты, формировать бюджет. Если они не будут соответствовать тенденции, при всех благих намерениях они не будут выполняться.

Видя опасность повышения автономности, интеллектуальности и живучести систем вооружений, мы должны отдавать себе отчет, что эти тенденции имеют и свою положительную сторону. Например, они позволяют резко снизить потери в вооруженных силах Соединенных Штатов, позволяют при использовании высокоточного оружия на порядки уменьшить жертвы среди гражданского населения в зонах вооруженных столкновений и конфликтов.

Общей тенденцией эволюции систем вооружений в будущем будет их нарастающая автономия, все более активный переход от полуавтономных БАРС и АРС различных типов к автономным системам и полностью автономным системам в формальном смысле. Целесообразно, прежде всего, отработать автономные системы, не несущие на себе летального оружия, а связанные с разведкой, транспортировкой, логистикой и применением нелетального оружия. Наработав опыт в этой сфере и приучив к такого рода системам общественное мнение, а главное, сделав их привычными для солдат и офицеров, можно переходить к следующей стадии – к БАРСам.