Рус Eng Cn Перевести страницу на:  
Please select your language to translate the article


You can just close the window to don't translate
Библиотека
ваш профиль

Вернуться к содержанию

Вопросы безопасности
Правильная ссылка на статью:

О правовых и этических аспектах автономного использования робототехнических комплексов в сфере вооружённого противоборства

Тиханычев Олег Васильевич

ORCID: 0000-0003-4759-2931

кандидат технических наук

заместитель начальника отдела управления перспективных разработок, ГК "Техносерв"

111395, Россия, г. Москва, ул. Юности, 13

Tikhanychev Oleg Vasilyevich

PhD in Technical Science

Deputy Head of Department in the Office of Advanced Development, Technoserv Group 

111395, Russia, Moscow, Yunosti str., 13

tow65@yandex.ru
Другие публикации этого автора
 

 

DOI:

10.25136/2409-7543.2019.3.28960

Дата направления статьи в редакцию:

14-02-2019


Дата публикации:

30-07-2019


Аннотация: Предмет исследования – применение автономных роботов различного назначения. Объектом исследование являются правовые и морально-этические проблемы, возникающие в данной области. Исследование проведено на примере применения робототехники в военной сфере. Анализ особенностей современных боевых действий показывает, что один из аспектов революции в военном деле - роботизация поля боя. Но реализация данной тенденции порождает определённые проблемы в правовой и гуманитарной сфере. Как и для любого оружия, при применении боевых роботов могут происходить критичные ошибки, разделяемые специалистами на ошибки первого и второго рода.В роботехнике основная причина этих ошибок - функционирование программного обеспечения роботехнических систем. И если для обычного вооружения последствия этих ошибок предсказуемы, а ответственность за их результаты определена, то для случая применения боевых роботов ситуация требует решения. В статье, с применением общенаучных методов анализа и синтеза, исследованы основные аспекты современного состояния и перспективы данной проблемы. На основе обзорного анализа правовых и морально-этических проблем применения автономных роботов, возможных последствий и причин появления ошибок первого и второго рода, возникающих при их боевом применении, в данной статье синтезирована постановка научной задачи решения проблемы разделения ответственности между разработчиками и эксплуатантами подобных систем


Ключевые слова:

морально-этические проблемы робототехники, правовые проблемы робототехники, применение оружия, применение боевых роботов, право и роботехника, автономные боевые роботы, роботизация поля боя, ошибочные решения, ошибки второго рода, разделение ответственности

Abstract: The subject of this research is the application of autonomous robots of various designation. The object of this research is the occurring legal and moral-ethical aspects. The work is conducted on the example of the use of robotics in military sphere. Analysis of peculiarities of the modern military actions demonstrated that one of the revolutionary aspects in military sphere lies in implementation of robotics in the battlefield. However, the implementation of this trend generates certain problems in the legal and humanitarian sphere. As with any weapon, use of battlefield robots can results in critical errors, divided by the experts in the errors of first and second type. In robotics, the primary cause of such errors consists in functionality of software of robotic systems. If for conventional armament the consequences of these errors are predictable and responsibility is established, then in the case of using battlefield robots, the situation requires a solution. Based on the general review of the legal and moral-ethical problems of using mobile robots, possible consequences and causes of occurrence of errors of first and second type, the article synthesizes articulation of the scientific task of solving the problem of allocation of responsibility between developers and users of such systems.


Keywords:

moral and ethical problems of robotics, legal problems of robotics, use of weapons, use of combat robots, law and robotics, autonomous combat robots, robotization of the battlefield, wrong decisions, type II errors, division of responsibility

Введение

Развитие и внедрение в практику новых технологий, кроме несомненных преимуществ, несёт в себе и определенные опасности. Не является исключением развитие робототехники, и, в частности, создание автономных робототехнических систем. Под последними понимаются системы с гибкими алгоритмами, управляемые без участия человека.

Наиболее наглядный пример возникновения проблем использования автономных роботов являет сфера вооруженного противоборства. Высокая динамичность ведения современных военных действий, сложность фоно-целевой обстановки, требуют кардинального сокращения длительности цикла поражения объектов противника. Использование «традиционных» систем вооружения физически не обеспечивает требуемой длительности цикла «обнаружение – анализ – принятие решения – выдача команды – поражение» с одновременным соблюдением требований по безопасности экипажей (расчётов). Решением проблемы стало создание ударных беспилотных средств, сочетающих в себе системы разведки и поражения. Но и они не в полной мере отвечают заданным требованиям, так как решение на применение оружия в них принимает удалённо расположенный человек-оператор, по определению отстающий в скорости обработки информации от программных и технических средств. Ситуация осложняется наличием в современных разведывательно-ударных робототехнических комплексах каналов связи, которые могут быть подавлены средствами радиоэлектронной борьбы, что может привести приведёт к срыву удара. Эти тенденции порождают необходимость использования на поле боя автономных разведывательно-ударных робототехнических систем. Но, в таком случае, возникают проблемы совсем другого плана: этические, правовые…

1.Применение боевых роботизированных систем в современных вооруженных конфликтах

До последнего времени боевые роботизированные системы, отвечающие современному понятию определения «робот», применялись там, где они способны были заменить человека в наиболее опасных видах деятельности: беспилотные самолёты-разведчики, мишени и ложные цели для системы противовоздушной обороны противника, роботы-саперы, беспилотные средства для подводных поисковых работ и т.п.

Организованное в соответствии с указанным принципом применение роботов на поле боя, например, в качестве разведывательных систем, позволило повысить эффективность ведения боевых действий. Но такое локальное решение, соответственно, обеспечивает и локальный прирост эффективности. В том числе, не решая задачу реализации одного из важнейших принципов: поразить противника, находясь вне зоны его ответного поражения. А также проблему сокращения длительности цикла поражения обнаруженных объектов, актуальность которой непрерывно растёт по мере повышения динамичности современных боевых действий.

Для решения указанных проблем логичным оказалось совместить вооружение и средства разведки на единой роботизированной платформе. Но что в таком случае делать с управлением и принятием решения на удар?

Этот вопрос в условиях высокодинамичных боевых действий не заставил себя ждать. При проведении операции “Enduring Freedom” беспилотным летательным аппаратом (БПЛА) MQ-1 Predator была обнаружена автомобильная колонна, идентифицированная как подразделение противника. За время оценки обстановки и принятия оператором решения на удар колонна вышла из зоны применения оружия и не была обстреляна, хотя на борту БПЛА имелись ракеты AGM-114K Hellfire, позволявшие при своевременном получении команды выполнить задачу.

17 октября 2001 года произошло событие, практически незамеченное средствами массовой информации, но являющее собой определённую веху в истории взаимоотношения человека и созданных им машин: в ходе операции коалиционных сил США и НАТО в Афганистане зафиксирован первый опыт использования оснащенного управляемой ракетой БПЛА Predator для поражения зенитной установки с находящейся в ней расчётом. Впоследствии случаи применения БПЛА для поражения наземных объектов стали массовыми. В ходе проведения операций ”Anaconda” и ”Shock and Awe”, БПЛА применялись даже для непосредственной огневой поддержки и это, по заявлению американских источников, явилось очередным шагом к «войне машин» против человека [2,3]. В дальнейшем, по мере развития и внедрения боевой робототехники, количество подобных событий выросло многократно. В настоящее время счёт жертв беспилотников в зонах локальных конфликтах уже идёт на тысячи [4-6].

2.О некоторых проблемах развития боевой робототехники и источниках их возникновения

До настоящего времени на всех этапах развития роботов от дистанционно управляемых к беспилотным аппаратам, решение на применение оружия остаётся за человеком. Но в перспективе, эта функция может быть, и скорее всего, будет, делегирована БПЛА. Это решение объективно диктуется проблемами управления роботами на большом расстоянии и в сложных средах, а также требованиями оперативности решения боевых задач, неразрывно связанными с возрастанием масштабов и динамичности ведения современных военных действий. И его реализация изменит существующую ситуацию разделения полномочий и ответственности.

Аналогичная ситуация складывается и в других сферах применения робототехники в современном высокодинамичном мире. Что повышает актуальность контроля разработки автономных роботов и их составных частей, в первую очередь компонентов, отвечающих за автономность: алгоритмического, математического и программного обеспечения.

На практике реализация подобных решений, находящихся на грани юридических и морально-этических компетенций, ограничивается наличием ряда проблем, как технического, так и организационного характера. Без решения которых дальнейшее развитие боевой робототехники будет проблематично.

С научной точки зрения, наиболее очевидным алгоритмом решения подобных комплексных проблем является их декомпозиция на относительно автономные составные части с дальнейшим поиском путей локализации каждой из них.

Анализ особенностей процесса роботизации поля боя позволяет провести декомпозицию проблемы на составляющие, определяющие ряд нерешенных вопросов в рассматриваемых областях деятельности:

- проблемы безопасности роботизированного вооружения для эксплуатантов и мирного населения (некомбатантов);

- правовые и морально-этические вопросы в части разрешения на самостоятельные действия и применение робота против человека;

- проблема разделения ответственности за результаты и ошибки применения между разработчиками и эксплуатантами, и ряд других.

Проблемы безопасности всегда сопровождают развитие сложных технических систем. Робототехника – не исключение. Начиная с 1979 года, зафиксировано более десяти случаев получения увечий и даже гибели людей при сбоях использования промышленных роботов. Но промышленные роботы системы, не имеющие функциональной задачи причинять вред. Боевые роботы намного опаснее и меры безопасности при их использовании должны быть совершенно иными. Первыми над этим стали задумываться там, где наиболее активно применяют подобные системы [7-9]. Вопрос не праздный, тем более уже имеются прецеденты: 12 октября 2007 года несанкционированным огнём автоматической зенитной пушки GDF-005 ”Oerlikon” в Южной Африке были убиты 9 и ранены 14 военнослужащих, просто находившихся рядом с орудием и случайно вызвавших срабатывание автоматики [10]. Логично предположить, что чем больше будет на вооружении стран мира робототехнических систем, тем выше вероятность подобных случаев.

Впрочем, как отмечено ранее, проблема безопасности применения сопровождает любые сложные системы, в том числе роботизированные, и общие пути её решения активно разрабатываются: как технологические, так и организационные. С точки зрения разработки систем они регламентируются нормативными документами по производству [11,12], а с точки зрения их использования, например, в гражданской сфере – правовыми документами по имущественным и неимущественным правам в соответствии с областью применения (Гражданским кодексом, Воздушным кодексом, Кодексами торгового мореплавания и внутреннего водного транспорта и т.п.).

Впрочем, и в гражданском секторе остаётся множество проблем. Правовые документы возлагают ответственность на эксплуатанта потенциально опасной техники. Реально, на транспорте, происходит делегирование ответственности экипажам, управляющим транспортными средствами, оставляя за предприятием-эксплуатантом проверку их годности и предрейсовый контроль состояния технических средств. В случае автономных беспилотников за эксплуатантами остаётся только последнее, а в рейсе вся надежда только на программное обеспечение транспортных средств, что у которого «под капотом» пользователю доподлинно неизвестно: остаётся только надежда на добросовестность разработчика программного обеспечения.

С учётом этого, и наряду с активным внедрением робототехнических систем в военном деле, с возрастанием мощности вооружения роботов, не менее актуальной стала проблема, характерная для боевых человеко-машинных систем: проблема парирования ошибок применения и ответственности в случае их возникновения. Напомним, что подобные ошибки в математической статистике принято разделять на ошибки первого и второго рода.

В военном деле к ошибкам первого рода относят необоснованный отказ от применения оружия, приводящий к невыполнению боевой задачи, непоражению важной цели. Эта ошибка, как показывает практика, типична для ведения военных действий и не вызывает особой тревоги, конечно, если не влечёт за собой крупного ущерба от непораженного противника. Меры предотвращения такой ошибки, как правило, организационные: повышение ситуационной осведомлённости, автоматизации поддержки принятия решений и т.п.

Ошибка второго рода, это поражение цели, которую нельзя было поражать. К подобным ошибкам относят, например, «дружественный огонь» (Friendly fire). Последствия таких ошибок, как правило, намного страшнее, особенно, если в их результате пострадали некомбатанты.

Как ни печально это констатировать, применение боевых (ударных) робототехнических систем неизбежно влечёт за собой ошибки как первого, так и второго рода. Указанные ошибки характерны как для применения автономных роботов, так и для разомкнутых систем с участием в контуре управления человека. Кроме того, опасности причинения вреда возникают не только в процессе применения оружия, но и при автономном маневрировании роботов, их небоевом применении как потенциально-опасных систем.

Более того, ранее приведённые примеры [5,6] показывают, что подобные ошибки уже фиксируются в ходе локальных войн и вооруженных конфликтов. Соответственно, с развитием боевой робототехники масштаб ущерба от ошибок второго рода будет увеличиваться.

При появлении ошибок применения робототехнических систем возникает вопрос, которого не было для «обычной» боевой и специальной техники, кто виноват в них: пользователь системы, который поставил некорректную задачу или разработчик, создавший систему, неверно эту задачу интерпретировавшую? Причина этого вопроса кроется в самой структуре любого робота, представляющего собой совокупность технических и программных средств, управляемых по единому алгоритму.

Неразрывно связана с указанной проблемой ещё одна спорная ситуация - это наличие юридического и этического права предоставлять машинам возможность самостоятельно принимать решение на совершение безусловно опасных действий, например, на поражение объектов, в которых может находиться и/или при поражении которых может пострадать человек.

Боевая необходимость делегации боевым роботам функции принятия решений, как отмечалось ранее, становится всё более актуальной, что определяется рядом факторов:

1) Увеличивается радиус действия этих машин и разнообразие сред их применения (подводная, дальняя воздушная и надводная, наземная со сложным, в том числе урбанистическим, рельефом), затрудняя дистанционное управление ими. Проблема осложняется повышением разнообразия и эффективности средств радиоэлектронного подавления каналов управления техническими системами. Для неавтономных роботов, действующих на большом удалении от пунктов управления, этот фактор весьма чувствителен. Повышение автономности существенно снижает эффективность радиоэлектронного противодействия. Особенно, если предусмотреть алгоритмическое парирование потери каналов связи и навигации робототехнической системы;

2) Резко возрастают требования к оперативности поражения объектов противника, длительности цикла поражения, частью которого является время принятия решений;

3) Насыщение поля боя робототехническими системами при ограничении на количество привлекаемых операторов потребует организации группового применения роботизированного «роя», когда решение на маневрирование в составе группы, применение оборонительного оружия, будет приниматься «ведомыми» роботами автономно.

Одновременно, с развитием технологий искусственного интеллекта, создаётся технологическая возможность практического внедрения автономного принятия решений.

В период с апреля 2013 по август 2018 года указанная проблема неоднократно обсуждалась на совещаниях, проводимых под эгидой ООН в рамках уточнения Конвенции о запрещении или ограничении применения различных видов вооружения [9]. Совет безопасности ООН рекомендовал установить мораторий на развитие автономных боевых роботов (Lethal autonomous robotics - LAR). Но данное решение носит рекомендательный характер, оно не несёт статуса международного закона, обязательного к исполнению [13]. Пользуясь этим и методологической неопределённостью проблемы, ведущие промышленные государства продолжают разработку боевых роботов, в том числе – частично и полностью автономных.

Тем более, что, как указано ранее, процесс повышения автономности боевых робототехнических систем определяется объективными факторами развития вооруженного противоборства.

Анализ показывает, что в основе указанной в статье проблемы лежит сама структура робототехнических систем, являющихся сложными изделиями, включающими технические средства и программное обеспечение, функционирующие в едином неразрывном цикле.

В связи с этим, если в «классическом» случае применения обычного оружия всю очевидно: производитель вооружения обособлен от результатов своего труда и все решения, а, следовательно, и ответственность, лежит на пользователе, то в боевой робототехнике всё не так очевидно. Программное обеспечение боевых роботов не просто является их неотъемлемой частью, оно обеспечивает реализацию алгоритмов их боевого применения: управление перемещением, оценку обстановки, расчёты на применение оружием и т.п. За человеком остаётся только постановка цели и выдача команды на применение оружия, и то пока…

Ещё более сложная ситуация с разработкой и эксплуатацией робототехнических систем, оснащённых средствами искусственного интеллекта, например, на основе самообучающихся нейронных сетей. Интеллектуализированные робототехнические системы уже не действуют путём выбора стандарта поведения из набора готовых алгоритмов, они способны модифицировать алгоритмы применения, создавать собственные, обучаясь по мере эксплуатации. И кто будет виноват в возникновении ошибок эксплуатации: «родители» такого робота, разрабатывающие структуру нейронной сети и активационные функции нейронов, «воспитатели», обеспечивающие их обучение, или эксплуатанты, ставящие задачи разной степени корректности.

В свою очередь, программное обеспечение робототехнических систем разрабатывается целой кооперацией исполнителей: постановщиками задач, алгоритмистами, программистами, тестировщиками.

Последние играют не менее важную роль, чем все остальные. Достаточно вспомнить классический случай некачественного тестирования автоматизированной системы противовоздушной обороны ”See Wolf” фрегата ”Broadsword”, следствием которого явилась пропущенная алгоритмическая ошибка, проявившаяся уже в боевых условиях и приведшая к потоплению эсминца ”Cowentry” в ходе Фолклендского конфликта [14]. К ошибкам программного обеспечения можно и отнести самосрабатывание автомата ”Oerlikon” в 2007 году.

Любой из представителей коллектива разработчиков робототехнических систем может совершить ошибку, приводящую к критическим последствиям и, теоретически, должен разделять ответственность за неё наряду с эксплуатантами системы. В существующих нормативных документах в рамках решения этой проблемы прописаны только требования по организации тестирования робототехнических систем, валидации и верификации их программного обеспечения, а вот указаний о закреплении ответственности по этапам разработки и эксплуатации указаний в них нет [11,12]. Отсылка к ГОСТам, регламентирующим проведение испытаний в целом, подразумевает, в лучшем случае, коллективную ответственность за формальные результаты их проведения. Учитывая, что с принятием «Закона о техническом регулировании» №184-ФЗ от 27.12.2002, статус ГОСТ существенно снижается, а технические регламенты в части создания и эксплуатации робототехники не разработаны, ситуация становится критичной.

И это ещё для относительно простого случая, при отсутствии злонамеренного программно-аппаратного воздействия на робототехническую систему. В случае применения боевых роботов ситуация будет однозначно сложнее и характеризоваться попытками противника физически или программно нарушить целенаправленную работу боевых робототехнических систем. Соответственно, в цепочку ответственных добавятся разработчики защитных систем комплекса.

Ситуация дополнительно осложняется тем, что в своей работе коллективы разработчиков тоже используют сторонние средства автоматизации процесса создания программного обеспечения, в том числе – работающие с кодом программ, автоматически генерирующие часть кода для решения задач, задаваемых в общем виде. Это удлиняет цепочку участников и ещё сильнее «размывает» проблему ответственности. И в очередной раз поднимает вопросы её юридического определения. Вопросы, ответов на которые пока нет.

3.Формулировка задачи поиска решения проблемы

Актуальность необходимости решения указанного перечня проблем, с учётом перспектив вполне вероятного массового применения роботов на поле боя в обозримом будущем будет только возрастать [15,16]. Примером может служить армия США, в которой активно реализуется так называемая «Третья компенсационная стратегия», направленная на активную роботизацию поля боя [17-19]. И вести войну по принципу «кровь – цена победы» будут всё меньше и меньше армий, развитые страны будут беречь своих граждан, обеспечивая бескровную победу. Соответственно, аналогичные проблемы возникают и в других областях деятельности.

Таким образом, анализируя текущее состояние проблемы роботизации поля боя можно сделать ряд выводов:

1) Введение реально действующего запрета на применение автономных боевых роботов в обозримом будущем маловероятно, процесс их создания, учитывая потребности ведения динамичных и высокотехнологичных боевых действий, продолжится.

2) С ростом масштабов применения автономных робототехнических систем в различных сферах деятельности неизбежно увеличение количества ошибок их применения, как первого, так и второго рода. Организационно-технические меры по их снижению не будут давать полную гарантию от ошибок, лишь снижая вероятность их возникновения.

3) Первые два фактора неизбежно порождают морально-этическую и правовую проблему определения ответственности за приносимый роботами вред и разделения её между разработчиками и эксплуатантами боевых роботов.

Акцентируясь на последней проблеме, можно сделать вывод о том, что проблема этичности создания автономных роботов и юридической ответственности за возможные последствия их применения актуальна, но до настоящего времени не решена. То есть в настоящее время существует насущная научная задача, требующая скорейшего решения.

В общем виде данная задача может быть сформулирована как необходимость:

- разработки нормативных актов, регламентирующих принципы делегирования полномочий на самостоятельные действия (маневрирование и применение оружия) программному обеспечению автономных робототехнических систем;

- проведения правового анализа возможности признания (или не признания) за интеллектуализированными робототехническими системами возможности проявления собственной «воли» и ответственности за результаты её проявления специалистов, участвующих в разработке, обучении и эксплуатации роботов;

- уточнения системы нормативной документации по разработке и применению робототехнических систем в части юридического закрепления ответственности за различные этапы разработки и применения, а также за возникающие на них ошибки.

Сформулированная проблема является сложной научно-практической задачей, расположенной на стыке наук. Более того, решение задачи должно быть найдено не только и не столько для национальных правовых систем, сколько для системы международного права, обеспечив единые правила для всех. Для её решения требуется привлечение разнородных групп специалистов: юристов, техников, IT-специалистов. Но задача является актуальной и решение её объективно необходимо.

Все страны, включившиеся в процесс развития робототехники для различных сфер её применения, будут вынуждены решать сформулированную научную задачу. Россия – не исключение.

Заключение

Как показывает практика, в процессе работы любых сложных систем, в том числе робототехнических комплексов различного назначения, неизбежно приходится решать целый ряд технологических [20, 21, 22] и организационных проблем [23, 24, 25, 26]. Как указано в отчете института SIPRI, одной из актуальных проблем обеспечения безопасности является угроза, потенциально возникающая при практическом применении автономных боевых роботов [27]. Решение сформулированной в статье научно-практической задачи поможет обеспечить снижение данной угрозы, повысив безопасность современного мира в целом и каждой конкретной страны в частности.

Библиография
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
References
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.

Результаты процедуры рецензирования статьи

В связи с политикой двойного слепого рецензирования личность рецензента не раскрывается.
Со списком рецензентов издательства можно ознакомиться здесь.

Предмет исследования – этико-правовые и технические аспекты безопасного автономного использования роботизированных (в том числе интеллектуализированных) комплексов в сфере вооружённого противоборства (на поле боя).

Методология исследования основана на сочетании теоретического и эмпирического подходов с применением методов анализа, сравнения, обобщения, синтеза.

Актуальность исследования обусловлена широким применением автономных роботизированных (в том числе интеллектуализированных) комплексов в различных сферах современного народного хозяйства (включая национальную безопасность) и, соответственно, необходимостью изучения и обеспечения этико-правовых и технических условий безопасного автономного использования таких систем в сфере вооружённого противоборства (на поле боя).

Научная новизна связана с обоснованными автором выводам о том, что в процессе развития автономных робототехнических систем (в том числе роботизированного вооружения) придётся решать ряд технических и организационных проблем, в том числе разработка нормативных актов, регламентирующих принципы делегирования полномочий на самостоятельные действия (маневрирование и применение оружия), правовой анализ возможности признания / непризнания за интеллектуализированными робототехническими системами возможности проявления собственной «воли», уточнение нормативной документации в части юридического закрепления ответственности за различные этапы разработки и применения таких систем.

Стиль изложения научный. Статья написана русским литературным языком.

Структура рукописи включает следующие разделы: Введение (опасности развития робототехники, создания автономных робототехнических систем, сфера вооруженного противоборства, создание ударных беспилотных средств), 1. Применение боевых роботизированных систем в современных вооруженных конфликтах (организованное применение роботов на поле боя, совмещение вооружения и средств разведки на единой роботизированной платформе, проведение операции «Enduring Freedom», операция коалиционных сил США и НАТО в Афганистане, операции «Anaconda» и «Shock and Awe»), 2. О некоторых проблемах развития боевой робототехники и источниках их возникновения (решение на применение оружия, анализ особенностей процесса роботизации поля боя – проблемы безопасности роботизированного вооружения для эксплуатантов и мирного населения, правовые и морально-этические вопросы в части разрешения на самостоятельные действия и применение робота против человека, проблема разделения ответственности за результаты и ошибки применения между разработчиками и эксплуатантами, и ряд других, характер ошибок, возникающих в ходе принятия решений на применение оружия, факторы делегирования боевым роботам функции принятия решений, разработка и эксплуатация робототехнических систем, оснащённых средствами искусственного интеллекта, злонамеренное программно-аппаратного воздействие на робототехническую систему), 3. Формулировка задачи поиска решения проблемы («Третья компенсационная стратегия» армии США, проблема этичности создания автономных роботов и юридической ответственности за возможные последствия их применения), Заключение (выводы), Библиография.

Рукопись включает одну таблицу. Содержание таблицы может быть приведено в основном тексте, в целом представляется тривиальным.

Содержание в целом не соответствует названию. Во-первых, в статье идёт речь не о проблемах (каких именно?) разработки (или разработки применения?) программного обеспечения автономных систем (какого назначения?) в общем, а о правовых и этических аспектах автономного использования робототехнических комплексов на поле боя, в сфере вооружённого противоборства. Во-вторых, в формулировке заголовка не отражена специфика журнала «Вопросы безопасности». В целом название следует отредактировать с учётом указанных замечаний.

Библиография включает 27 источников и зарубежных отечественных авторов – монографии, научные статьи, мемуары, стандарты, Интернет-ресурсы, бюллетени. Библиографические описания некоторых источников нуждаются в корректировке в соответствии с ГОСТ и требованиями редакции, например:
1. Военная мысль в терминах и определениях : в 3 т. / сост. Н. Н. Тютюнников. – М. : Перо, 2018. – Т. 3. Информатизация Вооруженных Сил. – 472 с.
2. Симулин А. А., Глотов Д. А., Ещенко В. И., Тиханычев О. В. аспекты использования робототехники в военном деле // Risks and safety in rapidly changing world : Materials of the III international scientific conference (May 10–11, 2015). – Praha : Sociosfera-CZ, 2015. – Р. 67–71.
3. Hover and stare: FCS testing UAVS. – URL: htpp://defensetech.org/2008/05/09 (date of access: 09.05.2008).
12. ГОСТ Р 60.1.2.2-2016/ISO 10218-2:2011. Роботы и робототехнические устройства. Требования по безопасности для промышленных роботов. – М. : Стандартинформ, 2016. – Ч. 2. – 70 с.
14. Вудворд С. Фолклендская война. Мемуары командующего Фолклендской ударной группы. – Симферополь : Доля, 2005. – 415 c.
19. Capturing technology. Rethinking Arms Control. Conference Reader. – Berlin : German Federal Foreign Office, 2019. – 50 p.
22. Нестеров А. В. Возможны ли правоотношения и юридические взаимодействия между людьми и роботами? – М. : Наименование издательства ???, 2016. – 14 с.
25. Bechel W. Attributing Responsibulity to Computer Systems // Metaphiiosophy. – 1985. – № 16. – P. 189.
26. Johnson D. G. Computer Systems: Moral entities but not moral agents // Ethics and Information Technology. – 2006. – № 8. – P. 195–204.
Возможно излишнее самоцитирование (Тиханычев О. В. с соавторами). Библиографические описания завершаются точкой. Дублирование (полные выходные данные и URL) нецелесообразно. Ссылки на источники №№ 3, 7, 8, 10 недоступны.

Апелляция к оппонентам (Тютюнников Н. Н., Симулин А. А., Чиров Д. С., Новак К. В., Хрипунов С. П., Благодарящев И. В., Ходаренок М. М., Калинин И., Нестеров А. В., Лопатина Т. М., Вудворд С., Bechel W., Johnson D. G. и др.) имеет место.

Текст нуждается в тщательном редактировании, например:
- Развитие и внедрению (ВНЕДРЕНИЕ) в практику новых технологий, кроме несомненных преимуществ, несёт в себе и определенные опасности;
- До последнего времени боевые роботизированные системы, отвечающие современному понятию определения «робот» (ЗАПЯТАЯ) применялись там, где они способны были заменить человека в наиболее опасных видах деятельности;
- В том числе, не решая проблему (ПОВТОР) реализации одного из основных военно-технических принципов: поразить противника, находясь вне зоны его ответного поражения. (???) А также проблему (ПОВТОР) сокращения длительности цикла поражения обнаруженных объектов, актуальность которой непрерывно растёт по мере повышения динамичности современных боевых действий;
- [4,5,6] ([4–6]; ЗДЕСЬ И ДАЛЕЕ);
- На практике реализация подобных решений, находящихся на грани юридических и морально-этических компетенций, ограничивается наличием ряда проблем (ПОВТОР), как технического, так и организационного характера. Проблем (ПОВТОР), без разрешения которых дальнейшее развитие боевой робототехники будет проблематично;
- С научно (НАУЧНОЙ) точки зрения, наиболее очевидным алгоритмом решения подобных комплексных проблем является их декомпозиция на относительно автономные составные части с дальнейшим поиском путей локализации каждой из них.

Общеупотребительное сокращение для обозначения беспилотного летательного аппарата – БПЛА.

В целом рукопись соответствует основным требования, предъявляемым к научным статьям. Материал представляет интерес для читательской аудитории и после доработки может быть опубликован в журнале «Вопросы безопасности» (рубрика «Технологии и методология в системах безопасности»).