Обострение дискуссии о юридической ответственности за действия военных систем искусственного интеллекта (ИИ) приобретает критическую остроту на фоне всё более широкого применения смертоносных автономных систем вооружений (САС) в современных конфликтах. Вопрос о том, кто понесёт ответственность за ошибки и непреднамеренные жертвы, вызванные решениями, принятыми машинами, а не людьми, становится ключевым для международного права и безопасности.

Доцент Российского государственного университета правосудия Александр Евсеев изучил проблемы, связанные с массовым применением смертоносных автономных систем вооружений в современных конфликтах. Он проанализировал правовые аспекты привлечения к ответственности за преднамеренное использование этих систем против невоенных объектов и лиц, а также за ошибки операторов и оборудования. Свои выводы он изложил в статье «”Прекрасное далеко”? Искусственный интеллект и международные преступления», опубликованной в «Журнале ВШЭ по международному праву».

Автор отмечает, что в боевых действиях последних лет активно применяются беспилотные летательные аппараты (БПЛА), а также их надводные и подводные аналоги. Эти аппараты не только картографируют местность, но и способны сбрасывать боеприпасы, поражать живую силу и боевую технику. Также используются роботизированные машины разминирования и другие “новые разрушительные технологии”.

Это вызвало широкую дискуссию среди правоведов, особенно в отношении применения САС, способных мгновенно поражать заданные цели и самостоятельно, без участия человека, принимать решение об ударе. Примерами таких систем считаются израильский самолет-снаряд «Гарпия», система обороны «Фаланкс» и даже американские зенитные ракеты «Пэтриот».

Массовое применение нового оружия в войнах будущего (а возможно, и настоящего) заставляет задуматься об ответственности за жертвы среди мирного населения и несоразмерный ущерб гражданской инфраструктуре.

Прогресс науки и техники, по мнению правоведа, поставил человечество на грань физической и моральной катастрофы. Прежние военные вызовы, такие как ядерная опасность, химическое оружие, война в космосе, привели к изменениям в международном уголовном праве, в частности, к криминализации новых деяний (экоцида, посягательств на национально-культурное наследие народов и т. д.). Однако субъектом этих злодеяний оставался человек, совершивший преступление по нормам международного уголовного права.

Появление и применение САС, способных без вмешательства человека выбирать и поражать цели, меняет существующую парадигму, считает Александр Евсеев. Он поясняет, что САС имеют разные степени автономности:

• ИИ предлагает альтернативные цели, оставляя окончательное решение за оператором.
• Оператор должен подтвердить цель, выбранную ИИ.
• Оператор вправе отменить атаку по цели, самостоятельно назначенной ИИ.
• ИИ самостоятельно избирает цель и наносит по ней удар без согласования.

Строго говоря, только последний случай считается САС, но иногда к ним относят и более ранние модификации, требующие участия оператора.

Эксперты Международного Комитета Красного Креста отмечают, что после ввода САС в действие они самостоятельно запускаются или наносят удар, реагируя на внешнюю информацию. Это означает, что оператор не имеет сведений о причине выбора цели, точном месте и времени применения оружия, и человек оказывается “вне контура управления”.

Это порождает многочисленные риски и моральные дилеммы, с которыми неизбежно придется столкнуться при применении такого оружия. Ключевой вопрос: сможет ли САС отличить комбатанта, законную военную цель, от гражданского лица?

Признать “электронным лицом”

Этот вопрос уже возникал в практике международных судов, в частности, в деле “Ханан против Германии” (“кундузское дело”), рассмотренном Европейским Судом по правам человека (ЕСПЧ). Тогда немецкие силы в Афганистане нанесли удар по наводке американского БПЛА по бензовозу, захваченному талибами, в результате чего погибли или были ранены более 100 афганцев. ЕСПЧ решил, что немецкие власти не нарушили статью 2 (право на жизнь) Конвенции о защите прав человека и основных свобод, поскольку немецкий офицер через подчиненного как минимум 7 раз связывался с осведомителем, чтобы убедиться в отсутствии мирных жителей рядом с объектом атаки, но трагедии все равно не удалось избежать.

САС по боевым возможностям существенно превосходят используемые ранее беспилотные боевые системы, и их вероятное массовое применение вызывает дискуссию о запрете использования во время боевых действий.

Основные позиции таковы:

• Следует полностью отказаться от САС из-за их неизбирательного действия.
• Следует отказаться от их применения для нанесения ударов по живой силе.
• Конструктивные особенности САС, разрешенных к применению, а также порядок их использования требуют должного регулирования.

Сторонники запрета САС отмечают, что их применение означает отсутствие этичного и ответственного принятия решения об атаке и умаляет человеческое достоинство пострадавших. Противники же парируют это довод подверженностью человека эмоциям, что является скорее недостатком, чем достоинством, в процессе принятия морально ответственных решений. По их мнению, военные ИИ в будущем станут более точными и совершенными в отличие от оператора, неизменно подверженного стрессу и переутомлению.

Другой аргумент противников САС подчеркивает вероятность высокой погрешности используемых в них алгоритмов ИИ, и их применение до усовершенствования чревато множеством жертв. Сторонники внедрения, в свою очередь, утверждают, что применение САС постепенно снизит потребность в живых участниках боевых действий: пехотинцах, артиллеристах и других специалистах, и сократит число потерь на войне. Они прогнозируют, что к концу текущего века человечество придет к “войне роботов”, похожей на фантастические романы, и исчезнет проблема посттравматических расстройств комбатантов, их лечения, реабилитации и т.д., поскольку войну будут вести роботы, а не живые люди.

Наконец, юридический аргумент противников САС – непредсказуемость и обезличенность субъекта ответственности за их неправомерное применение, неспособность операторов контролировать и ограничивать последствия их применения, как того требует международное гуманитарное право.

По мнению сторонников САС, чтобы избежать “лакуны безнаказанности”, следует признать роботизированную систему “электронным лицом”, то есть субъектом права, несущим юридическую ответственность.

Случай подполковника Петрова

Однако, отмечает Александр Евсеев, даже в сложнейших системах ядерного оружия, построенных на “двойном кодировании”, где отданный приказ перепроверяется должностным лицом высшего ранга, присутствует человеческий контроль и возможность отказа от выполнения преступного приказа. Он напоминает о “казусе Петрова”, когда в сентябре 1983 года, в разгар “холодной войны”, советская спутниковая система раннего предупреждения приняла учения НАТО за применение тактического ядерного оружия. СССР мог нанести ответный удар, однако подполковник Станислав Петров понял, что сигнал ложный, и передал отбой вышестоящему командованию, предотвратив трагедию. «Стоит ли говорить, что в случае с САС их свобода от человеческого фактора в аналогичной ситуации обернулась бы непоправимым?», - пишет правовед.

Ряд лидеров общественного мнения добиваются запрета дальнейшей разработки САС путем распространения на них действия Конвенции 1980 г. о запрещении или ограничении применения конкретных видов обычного оружия, которые могут считаться наносящими чрезмерные повреждения или имеющими неизбирательное действие (далее – Конвенция о «негуманном» оружии; КНО). Несколько раундов переговоров, начиная с 2019 г., не привели к успеху, и, по мнению автора, учитывая нынешний период турбулентности, консенсус вряд ли возможен в ближайшем будущем.

Тем не менее, в результате дискуссий на 6-й Обзорной конференции КНО в 2021 г. удалось принять 11 руководящих принципов в отношении САС, предполагающих их применение с учетом норм международного гуманитарного права; сохранение ответственности человека за решение по их использованию; ответственность за последствия использования САС должна обеспечиваться в соответствии с международным правом, включая установление “цепочки командования” и контроля со стороны людей; следует также принимать во внимание риск попадания этого оружия в руки террористов.

Эти принципы, отмечает автор, дают общие рекомендации, не позволяющие сформировать жесткие правовые рамки для нового вида вооружений, но задают вектор дальнейшего регулирования САС и очерчивают контуры полемики об ответственности за их неправомерное использование.

Наиболее радикальным вариантом считается наделение САС самостоятельной правосубъектностью, позволяющей нести ответственность за преступления по международному праву. Разумеется, такой подход вызывает ряд возражений. Известно, что человек становится человеком, сохраняя и повседневно реализуя связь с культурой, как квинтэссенцией опыта предыдущих поколений. Его реакция на вызовы корректируется культурой, моралью, знанием собственного прошлого и истории своего народа. Ничего этого у ИИ нет и быть не может.

Кроме того, с правовой точки зрения у ИИ нет субъектности, ибо отсутствует восприятие собственной вины как внутреннего психического отношения к совершенному деянию, а равно нет имущества, из которого впоследствии может быть возмещен ущерб жертвам. ИИ жестко детерминирован его разработчиками и программным обеспечением, а ущербные действия ИИ обусловлены ошибками или умыслом его создателей.

Это порождает новые проблемы: вероятно, ИИ можно будет обучить отличать гражданское лицо от комбатанта по внешним признакам, но неясно, какое решение примет ИИ, если противник сложит оружие и потребует милосердия.

“Конструирование статуса электронного лица и наделение им САС представляется явно преждевременным”, - резюмирует Александр Евсеев.

Привлечение САС к ответственности по аналогии с уголовным преследованием юридического лица в англосаксонской правовой системе также не совсем корректно, поскольку речь может идти не только об умышленном преступлении, но и о техническом сбое. Приравнивание САС к юридическому лицу создает новые проблемы, ведь Международный уголовный суд (МУС) рассматривает только дела физических лиц, несущих индивидуальную ответственность.

Ответственность за ошибки

Одним из принципов, принятых в КНО, является сохранение ответственности человека за использование САС, что создает возможность для вменения действий ИИ индивиду, которого можно привлечь к ответственности за совершение преступлений с применением САС.

Нечто подобное существует в англосаксонском праве. Речь идет о модели “совершение через другое лицо”, применяемой в делах об ИИ, когда к ответственности могут привлечь программиста, разработавшего софт, или пользователя, владеющего юнитом ИИ и эксплуатирующего его в преступных интересах. Презюмируется, что деяние робота совершает программист или пользователь. Тогда за технологические дефекты САС, повлекшие грубые нарушения международного гуманитарного права, ответит производитель, а за неправомерное применение их непосредственно в бою - оператор или иное лицо, обладающее инструментами значимого человеческого контроля. Впрочем, здесь есть и свои “подводные камни”. В части ответственности разработчиков отметим: в выпуск ПО сейчас часто вовлечены несколько фирм из разных юрисдикций, что может привести к размыванию ответственности. Неясно, как определить их вину, учитывая, что международное уголовное право не признает ответственности юридических лиц. Наконец, если использовать конструкцию “совершение через другое лицо”, получается, что САС до известных пределов признаются субъектами права, посредством которых “человек за спиной” выполнил “грязную” работу.

Названные противоречия может преодолеть второй подход к вменению действий ИИ людям, именуемый в англосаксонской доктрине “естественным вероятным следствием”, согласно которому программист/пользователь должны предвидеть само преступление и полагать, что его совершение потенциально может быть следствием ординарных функций ИИ. Если эту норму толковать буквально, то в отношении САС она может применяться только тогда, когда будет доказано, что производитель или оператор, сознавая пороки конкретной системы, занялся ее массовым производством или отдал приказ на ее применение в бою. А это случается крайне редко.

Поэтому еще одним способом может стать применение принципа командной ответственности в соответствии со статьей 28 Римского статута МУС, по которой командир или исполняющий его обязанности подлежат уголовному преследованию за преступление, совершенное силами, находящимися под его командованием, из-за ненадлежащего контроля над такими силами. То есть командир ответственен за действия своих подчиненных, даже если он не отдавал приказа о совершении преступления, но отсутствие должного контроля над подчиненными привело к его совершению. Если удастся применить эту концепцию к командирам, чьи подчиненные использовали САС во вред гражданским или покровительствуемым лицам, их можно будет привлечь к ответственности даже в случае, если они не предвидели нарушений международного гуманитарного права.

Однако ряд ученых считают такой подход неверным, поскольку САС нельзя рассматривать как «подчиненные», то есть как обычные, «одушевленные» силы. По их мнению, правильнее дополнить положение Римского статута специальным условием: командир должен нести ответственность за вред, причиненный САС, если он мог предвидеть, что САС собираются нанести серьезный ущерб лицам или объектам, находящимся под защитой международного права. С другой стороны, командир без технического образования и знаний о новейших видах вооружения не всегда может спрогнозировать действия САС.

Как и в случае с ответственностью по модели «естественное вероятное следствие», привлечение к командной ответственности следует ограничить ситуациями, когда на основании полученных данных командир мог предвидеть риск применения САС.

Правовед отмечает, что 11 руководящих принципов в отношении систем автоматического ведения огня сформулированы слишком обобщённо и не позволяют поставить этот вид вооружений под контроль права. Предлагать нормы, регулирующие применение нового вида вооружений, всегда непросто. Ясно одно: за их применением должен сохраняться значимый человеческий контроль. В противном случае мы рискуем оказаться в ситуации, когда привлекать к ответственности системы автоматического ведения огня нецелесообразно из-за несостоятельности конструкции «электронного лица», а военные будут парировать обвинения утверждениями: «Это не мы, это машина!».

Александр Евсеев резюмировал: до тех пор, пока не будет достигнут консенсус в отношении регулирования САС и механизмов ответственности за причиненный ими вред, необходимо руководствоваться тезисом известного российского правоведа конца XIX — начала XX века Ф. Ф. Мартенса -- «...в случаях, не предусмотренных принятыми постановлениями, население и воюющие стороны остаются под защитой и действием начал международного права, поскольку они вытекают из обычаев, установившихся между образованными народами, из законов человечности и требований общественного сознания».