On the legal and ethical aspects of autonomous use of mobile robots in the sphere of military operations

Введение

Развитие и внедрение в практику новых технологий, кроме несомненных преимуществ, несёт в себе и определенные опасности. Не является исключением развитие робототехники, и, в частности, создание автономных робототехнических систем. Под последними понимаются системы с гибкими алгоритмами, управляемые без участия человека.

Наиболее наглядный пример возникновения проблем использования автономных роботов являет сфера вооруженного противоборства. Высокая динамичность ведения современных военных действий, сложность фоно-целевой обстановки, требуют кардинального сокращения длительности цикла поражения объектов противника. Использование «традиционных» систем вооружения физически не обеспечивает требуемой длительности цикла «обнаружение – анализ – принятие решения – выдача команды – поражение» с одновременным соблюдением требований по безопасности экипажей (расчётов). Решением проблемы стало создание ударных беспилотных средств, сочетающих в себе системы разведки и поражения. Но и они не в полной мере отвечают заданным требованиям, так как решение на применение оружия в них принимает удалённо расположенный человек-оператор, по определению отстающий в скорости обработки информации от программных и технических средств. Ситуация осложняется наличием в современных разведывательно-ударных робототехнических комплексах каналов связи, которые могут быть подавлены средствами радиоэлектронной борьбы, что может привести приведёт к срыву удара. Эти тенденции порождают необходимость использования на поле боя автономных разведывательно-ударных робототехнических систем. Но, в таком случае, возникают проблемы совсем другого плана: этические, правовые…

1.Применение боевых роботизированных систем в современных вооруженных конфликтах

До последнего времени боевые роботизированные системы, отвечающие современному понятию определения «робот», применялись там, где они способны были заменить человека в наиболее опасных видах деятельности: беспилотные самолёты-разведчики, мишени и ложные цели для системы противовоздушной обороны противника, роботы-саперы, беспилотные средства для подводных поисковых работ и т.п.

Организованное в соответствии с указанным принципом применение роботов на поле боя, например, в качестве разведывательных систем, позволило повысить эффективность ведения боевых действий. Но такое локальное решение, соответственно, обеспечивает и локальный прирост эффективности. В том числе, не решая задачу реализации одного из важнейших принципов: поразить противника, находясь вне зоны его ответного поражения. А также проблему сокращения длительности цикла поражения обнаруженных объектов, актуальность которой непрерывно растёт по мере повышения динамичности современных боевых действий.

Для решения указанных проблем логичным оказалось совместить вооружение и средства разведки на единой роботизированной платформе. Но что в таком случае делать с управлением и принятием решения на удар?

Этот вопрос в условиях высокодинамичных боевых действий не заставил себя ждать. При проведении операции “Enduring Freedom” беспилотным летательным аппаратом (БПЛА) MQ-1 Predator была обнаружена автомобильная колонна, идентифицированная как подразделение противника. За время оценки обстановки и принятия оператором решения на удар колонна вышла из зоны применения оружия и не была обстреляна, хотя на борту БПЛА имелись ракеты AGM-114K Hellfire, позволявшие при своевременном получении команды выполнить задачу.

17 октября 2001 года произошло событие, практически незамеченное средствами массовой информации, но являющее собой определённую веху в истории взаимоотношения человека и созданных им машин: в ходе операции коалиционных сил США и НАТО в Афганистане зафиксирован первый опыт использования оснащенного управляемой ракетой БПЛА Predator для поражения зенитной установки с находящейся в ней расчётом. Впоследствии случаи применения БПЛА для поражения наземных объектов стали массовыми. В ходе проведения операций ”Anaconda” и ”Shock and Awe”, БПЛА применялись даже для непосредственной огневой поддержки и это, по заявлению американских источников, явилось очередным шагом к «войне машин» против человека ^[2,3]. В дальнейшем, по мере развития и внедрения боевой робототехники, количество подобных событий выросло многократно. В настоящее время счёт жертв беспилотников в зонах локальных конфликтах уже идёт на тысячи ^[4-6].

2.О некоторых проблемах развития боевой робототехники и источниках их возникновения

До настоящего времени на всех этапах развития роботов от дистанционно управляемых к беспилотным аппаратам, решение на применение оружия остаётся за человеком. Но в перспективе, эта функция может быть, и скорее всего, будет, делегирована БПЛА. Это решение объективно диктуется проблемами управления роботами на большом расстоянии и в сложных средах, а также требованиями оперативности решения боевых задач, неразрывно связанными с возрастанием масштабов и динамичности ведения современных военных действий. И его реализация изменит существующую ситуацию разделения полномочий и ответственности.

Аналогичная ситуация складывается и в других сферах применения робототехники в современном высокодинамичном мире. Что повышает актуальность контроля разработки автономных роботов и их составных частей, в первую очередь компонентов, отвечающих за автономность: алгоритмического, математического и программного обеспечения.

На практике реализация подобных решений, находящихся на грани юридических и морально-этических компетенций, ограничивается наличием ряда проблем, как технического, так и организационного характера. Без решения которых дальнейшее развитие боевой робототехники будет проблематично.

С научной точки зрения, наиболее очевидным алгоритмом решения подобных комплексных проблем является их декомпозиция на относительно автономные составные части с дальнейшим поиском путей локализации каждой из них.

Анализ особенностей процесса роботизации поля боя позволяет провести декомпозицию проблемы на составляющие, определяющие ряд нерешенных вопросов в рассматриваемых областях деятельности:

- проблемы безопасности роботизированного вооружения для эксплуатантов и мирного населения (некомбатантов);

- правовые и морально-этические вопросы в части разрешения на самостоятельные действия и применение робота против человека;

- проблема разделения ответственности за результаты и ошибки применения между разработчиками и эксплуатантами, и ряд других.

Проблемы безопасности всегда сопровождают развитие сложных технических систем. Робототехника – не исключение. Начиная с 1979 года, зафиксировано более десяти случаев получения увечий и даже гибели людей при сбоях использования промышленных роботов. Но промышленные роботы системы, не имеющие функциональной задачи причинять вред. Боевые роботы намного опаснее и меры безопасности при их использовании должны быть совершенно иными. Первыми над этим стали задумываться там, где наиболее активно применяют подобные системы ^[7-9]. Вопрос не праздный, тем более уже имеются прецеденты: 12 октября 2007 года несанкционированным огнём автоматической зенитной пушки GDF-005 ”Oerlikon” в Южной Африке были убиты 9 и ранены 14 военнослужащих, просто находившихся рядом с орудием и случайно вызвавших срабатывание автоматики ^[10]. Логично предположить, что чем больше будет на вооружении стран мира робототехнических систем, тем выше вероятность подобных случаев.

Впрочем, как отмечено ранее, проблема безопасности применения сопровождает любые сложные системы, в том числе роботизированные, и общие пути её решения активно разрабатываются: как технологические, так и организационные. С точки зрения разработки систем они регламентируются нормативными документами по производству ^[11,12], а с точки зрения их использования, например, в гражданской сфере – правовыми документами по имущественным и неимущественным правам в соответствии с областью применения (Гражданским кодексом, Воздушным кодексом, Кодексами торгового мореплавания и внутреннего водного транспорта и т.п.).

Впрочем, и в гражданском секторе остаётся множество проблем. Правовые документы возлагают ответственность на эксплуатанта потенциально опасной техники. Реально, на транспорте, происходит делегирование ответственности экипажам, управляющим транспортными средствами, оставляя за предприятием-эксплуатантом проверку их годности и предрейсовый контроль состояния технических средств. В случае автономных беспилотников за эксплуатантами остаётся только последнее, а в рейсе вся надежда только на программное обеспечение транспортных средств, что у которого «под капотом» пользователю доподлинно неизвестно: остаётся только надежда на добросовестность разработчика программного обеспечения.

С учётом этого, и наряду с активным внедрением робототехнических систем в военном деле, с возрастанием мощности вооружения роботов, не менее актуальной стала проблема, характерная для боевых человеко-машинных систем: проблема парирования ошибок применения и ответственности в случае их возникновения. Напомним, что подобные ошибки в математической статистике принято разделять на ошибки первого и второго рода.

В военном деле к ошибкам первого рода относят необоснованный отказ от применения оружия, приводящий к невыполнению боевой задачи, непоражению важной цели. Эта ошибка, как показывает практика, типична для ведения военных действий и не вызывает особой тревоги, конечно, если не влечёт за собой крупного ущерба от непораженного противника. Меры предотвращения такой ошибки, как правило, организационные: повышение ситуационной осведомлённости, автоматизации поддержки принятия решений и т.п.

Ошибка второго рода, это поражение цели, которую нельзя было поражать. К подобным ошибкам относят, например, «дружественный огонь» (Friendly fire). Последствия таких ошибок, как правило, намного страшнее, особенно, если в их результате пострадали некомбатанты.

Как ни печально это констатировать, применение боевых (ударных) робототехнических систем неизбежно влечёт за собой ошибки как первого, так и второго рода. Указанные ошибки характерны как для применения автономных роботов, так и для разомкнутых систем с участием в контуре управления человека. Кроме того, опасности причинения вреда возникают не только в процессе применения оружия, но и при автономном маневрировании роботов, их небоевом применении как потенциально-опасных систем.

Более того, ранее приведённые примеры ^[5,6] показывают, что подобные ошибки уже фиксируются в ходе локальных войн и вооруженных конфликтов. Соответственно, с развитием боевой робототехники масштаб ущерба от ошибок второго рода будет увеличиваться.

При появлении ошибок применения робототехнических систем возникает вопрос, которого не было для «обычной» боевой и специальной техники, кто виноват в них: пользователь системы, который поставил некорректную задачу или разработчик, создавший систему, неверно эту задачу интерпретировавшую? Причина этого вопроса кроется в самой структуре любого робота, представляющего собой совокупность технических и программных средств, управляемых по единому алгоритму.

Неразрывно связана с указанной проблемой ещё одна спорная ситуация - это наличие юридического и этического права предоставлять машинам возможность самостоятельно принимать решение на совершение безусловно опасных действий, например, на поражение объектов, в которых может находиться и/или при поражении которых может пострадать человек.

Боевая необходимость делегации боевым роботам функции принятия решений, как отмечалось ранее, становится всё более актуальной, что определяется рядом факторов:

1) Увеличивается радиус действия этих машин и разнообразие сред их применения (подводная, дальняя воздушная и надводная, наземная со сложным, в том числе урбанистическим, рельефом), затрудняя дистанционное управление ими. Проблема осложняется повышением разнообразия и эффективности средств радиоэлектронного подавления каналов управления техническими системами. Для неавтономных роботов, действующих на большом удалении от пунктов управления, этот фактор весьма чувствителен. Повышение автономности существенно снижает эффективность радиоэлектронного противодействия. Особенно, если предусмотреть алгоритмическое парирование потери каналов связи и навигации робототехнической системы;

2) Резко возрастают требования к оперативности поражения объектов противника, длительности цикла поражения, частью которого является время принятия решений;

3) Насыщение поля боя робототехническими системами при ограничении на количество привлекаемых операторов потребует организации группового применения роботизированного «роя», когда решение на маневрирование в составе группы, применение оборонительного оружия, будет приниматься «ведомыми» роботами автономно.

Одновременно, с развитием технологий искусственного интеллекта, создаётся технологическая возможность практического внедрения автономного принятия решений.

В период с апреля 2013 по август 2018 года указанная проблема неоднократно обсуждалась на совещаниях, проводимых под эгидой ООН в рамках уточнения Конвенции о запрещении или ограничении применения различных видов вооружения ^[9]. Совет безопасности ООН рекомендовал установить мораторий на развитие автономных боевых роботов (Lethal autonomous robotics - LAR). Но данное решение носит рекомендательный характер, оно не несёт статуса международного закона, обязательного к исполнению ^[13]. Пользуясь этим и методологической неопределённостью проблемы, ведущие промышленные государства продолжают разработку боевых роботов, в том числе – частично и полностью автономных.

Тем более, что, как указано ранее, процесс повышения автономности боевых робототехнических систем определяется объективными факторами развития вооруженного противоборства.

Анализ показывает, что в основе указанной в статье проблемы лежит сама структура робототехнических систем, являющихся сложными изделиями, включающими технические средства и программное обеспечение, функционирующие в едином неразрывном цикле.

В связи с этим, если в «классическом» случае применения обычного оружия всю очевидно: производитель вооружения обособлен от результатов своего труда и все решения, а, следовательно, и ответственность, лежит на пользователе, то в боевой робототехнике всё не так очевидно. Программное обеспечение боевых роботов не просто является их неотъемлемой частью, оно обеспечивает реализацию алгоритмов их боевого применения: управление перемещением, оценку обстановки, расчёты на применение оружием и т.п. За человеком остаётся только постановка цели и выдача команды на применение оружия, и то пока…

Ещё более сложная ситуация с разработкой и эксплуатацией робототехнических систем, оснащённых средствами искусственного интеллекта, например, на основе самообучающихся нейронных сетей. Интеллектуализированные робототехнические системы уже не действуют путём выбора стандарта поведения из набора готовых алгоритмов, они способны модифицировать алгоритмы применения, создавать собственные, обучаясь по мере эксплуатации. И кто будет виноват в возникновении ошибок эксплуатации: «родители» такого робота, разрабатывающие структуру нейронной сети и активационные функции нейронов, «воспитатели», обеспечивающие их обучение, или эксплуатанты, ставящие задачи разной степени корректности.

В свою очередь, программное обеспечение робототехнических систем разрабатывается целой кооперацией исполнителей: постановщиками задач, алгоритмистами, программистами, тестировщиками.

Последние играют не менее важную роль, чем все остальные. Достаточно вспомнить классический случай некачественного тестирования автоматизированной системы противовоздушной обороны ”See Wolf” фрегата ”Broadsword”, следствием которого явилась пропущенная алгоритмическая ошибка, проявившаяся уже в боевых условиях и приведшая к потоплению эсминца ”Cowentry” в ходе Фолклендского конфликта ^[14]. К ошибкам программного обеспечения можно и отнести самосрабатывание автомата ”Oerlikon” в 2007 году.

Любой из представителей коллектива разработчиков робототехнических систем может совершить ошибку, приводящую к критическим последствиям и, теоретически, должен разделять ответственность за неё наряду с эксплуатантами системы. В существующих нормативных документах в рамках решения этой проблемы прописаны только требования по организации тестирования робототехнических систем, валидации и верификации их программного обеспечения, а вот указаний о закреплении ответственности по этапам разработки и эксплуатации указаний в них нет ^[11,12]. Отсылка к ГОСТам, регламентирующим проведение испытаний в целом, подразумевает, в лучшем случае, коллективную ответственность за формальные результаты их проведения. Учитывая, что с принятием «Закона о техническом регулировании» №184-ФЗ от 27.12.2002, статус ГОСТ существенно снижается, а технические регламенты в части создания и эксплуатации робототехники не разработаны, ситуация становится критичной.

И это ещё для относительно простого случая, при отсутствии злонамеренного программно-аппаратного воздействия на робототехническую систему. В случае применения боевых роботов ситуация будет однозначно сложнее и характеризоваться попытками противника физически или программно нарушить целенаправленную работу боевых робототехнических систем. Соответственно, в цепочку ответственных добавятся разработчики защитных систем комплекса.

Ситуация дополнительно осложняется тем, что в своей работе коллективы разработчиков тоже используют сторонние средства автоматизации процесса создания программного обеспечения, в том числе – работающие с кодом программ, автоматически генерирующие часть кода для решения задач, задаваемых в общем виде. Это удлиняет цепочку участников и ещё сильнее «размывает» проблему ответственности. И в очередной раз поднимает вопросы её юридического определения. Вопросы, ответов на которые пока нет.

3.Формулировка задачи поиска решения проблемы

Актуальность необходимости решения указанного перечня проблем, с учётом перспектив вполне вероятного массового применения роботов на поле боя в обозримом будущем будет только возрастать ^[15,16]. Примером может служить армия США, в которой активно реализуется так называемая «Третья компенсационная стратегия», направленная на активную роботизацию поля боя ^[17-19]. И вести войну по принципу «кровь – цена победы» будут всё меньше и меньше армий, развитые страны будут беречь своих граждан, обеспечивая бескровную победу. Соответственно, аналогичные проблемы возникают и в других областях деятельности.

Таким образом, анализируя текущее состояние проблемы роботизации поля боя можно сделать ряд выводов:

1) Введение реально действующего запрета на применение автономных боевых роботов в обозримом будущем маловероятно, процесс их создания, учитывая потребности ведения динамичных и высокотехнологичных боевых действий, продолжится.

2) С ростом масштабов применения автономных робототехнических систем в различных сферах деятельности неизбежно увеличение количества ошибок их применения, как первого, так и второго рода. Организационно-технические меры по их снижению не будут давать полную гарантию от ошибок, лишь снижая вероятность их возникновения.

3) Первые два фактора неизбежно порождают морально-этическую и правовую проблему определения ответственности за приносимый роботами вред и разделения её между разработчиками и эксплуатантами боевых роботов.

Акцентируясь на последней проблеме, можно сделать вывод о том, что проблема этичности создания автономных роботов и юридической ответственности за возможные последствия их применения актуальна, но до настоящего времени не решена. То есть в настоящее время существует насущная научная задача, требующая скорейшего решения.

В общем виде данная задача может быть сформулирована как необходимость:

- разработки нормативных актов, регламентирующих принципы делегирования полномочий на самостоятельные действия (маневрирование и применение оружия) программному обеспечению автономных робототехнических систем;

- проведения правового анализа возможности признания (или не признания) за интеллектуализированными робототехническими системами возможности проявления собственной «воли» и ответственности за результаты её проявления специалистов, участвующих в разработке, обучении и эксплуатации роботов;

- уточнения системы нормативной документации по разработке и применению робототехнических систем в части юридического закрепления ответственности за различные этапы разработки и применения, а также за возникающие на них ошибки.

Сформулированная проблема является сложной научно-практической задачей, расположенной на стыке наук. Более того, решение задачи должно быть найдено не только и не столько для национальных правовых систем, сколько для системы международного права, обеспечив единые правила для всех. Для её решения требуется привлечение разнородных групп специалистов: юристов, техников, IT-специалистов. Но задача является актуальной и решение её объективно необходимо.

Все страны, включившиеся в процесс развития робототехники для различных сфер её применения, будут вынуждены решать сформулированную научную задачу. Россия – не исключение.

Заключение

Как показывает практика, в процессе работы любых сложных систем, в том числе робототехнических комплексов различного назначения, неизбежно приходится решать целый ряд технологических ^{[20, 21, 22]} и организационных проблем ^{[23, 24, 25, 26]}. Как указано в отчете института SIPRI, одной из актуальных проблем обеспечения безопасности является угроза, потенциально возникающая при практическом применении автономных боевых роботов ^[27]. Решение сформулированной в статье научно-практической задачи поможет обеспечить снижение данной угрозы, повысив безопасность современного мира в целом и каждой конкретной страны в частности.