Autonomous robotics: on the problem of control over modifiable algorithms

Введение

Одна из тенденций развития робототехники – создание и применение автономных роботов. Появление этой тенденции обусловлено многими факторами: динамичностью современного мира, глобализацией и ростом масштабов управляемых систем, их распределённостью и мультиагентностью. В таких условиях оператор, довольно часто, является «слабым звеном» системы, и автономизация робототехнических систем становится объективно необходимой. Но её внедрению мешают объективные и субъективные факторы: сложность разработки необходимого для автономной работы программного обеспечения, нерешенность проблемы разделения ответственности за результаты применения автономных роботов, определённое недоверие пользователей к системе, способной к самостоятельным действиям, ответственность за возможные критичные ошибки поведения автономных систем ^[1-6].

Таким образом, как показывает анализ, существует целый ряд объективных проблемы разработки и использования автономных роботов, которые требуется решить для запуска процесса автономизации. Существенная часть этих проблем определяется тем, что автономная система должна действовать не просто по заранее разработанным алгоритмам, как это происходит сейчас в системах, смело, но несколько безосновательно, именуемых «интеллектуальными»: алгоритмы должны модифицироваться в ходе применения, автономная система должна быть не просто обучаемой, а самообучаемой. Причём, итогом самообучения должен быть не просто рациональный выбор лучших вариантов поведения из массива заранее подготовленных алгоритмов, а их модификация с учётом меняющихся условий поведения ^[7]. И тут возникает проблема, находящаяся на стыке правовой и технической областей регулирования: все методики оценки безопасности, разделения ответственности между разработчиком и эксплуатантом за применение автономных систем основаны на принципе неизменности разработанных и заложенных в робототехническую систему алгоритмов, определяющих области ответственности каждого участника процесса разработки, производства и применения ^[8-11]. В том числе, за счёт выноса «за скобки» наиболее критичных вопросов, возникающих при эксплуатации, например, за счёт делегирования принятия конечного решения в ряде ситуаций человеку-оператору. Если алгоритм модифицируемый, то разработчик не может отвечать за применение робототехнической системы после модификации того, что он разработал, а эксплуатант не может полноценно управлять системой с неизвестными ему правилами поведения. Проблема модификации алгоритмов, может быть, не самая заметная, но одна из наиболее существенных для автономной робототехники, в первую очередь, исходя из того, что программная «начинка» - это основа поведения автономной системы.

1.Существующий подход к оценке алгоритмов

Особенно заметна ситуация с проблемами алгоритмического обеспечения использования автономных роботов в военной сфере. Требования к автономности боевых робототехнических систем определяются особенностями ведения современных военных действий: необходимостью обеспечения оперативности решения задач в условиях неопределённой и динамично меняющейся обстановки, необходимость согласованного группового применения, в форме «роя», координация которого осуществляется без участия оператора. При этом объективное требование автономизации применения входит в противоречие с необходимостью обеспечения безопасности применения для своих войск и не комбатантов. Последнее особенно актуально в связи с тем, что большинство современных вооруженных конфликтов ведётся в урбанизированной местности, порой без возможности эвакуировать мирное население. Осознавая это, разработчики систем, реализующих компоненты искусственного интеллекта, стремятся принять определённые меры безопасности. Примером может служить концепция использования искусственного интеллекта в военном деле, разработанная в ВС США ^[12]. Она содержит ряд принципов использования систем искусственного интеллекта в военных целях:

· ответственность за применение систем искусственного интеллекта, который должен применяться только в тех системах и ситуациях, где его применение обусловлено необходимостью;

· беспристрастность, минимизация нежелательных отклонений в поведении систем искусственного интеллекта;

· прослеживаемость, понимание эксплуатантами процессов разработки и принципов поведения систем;

· надежность, определяемая тем, что возможности военных систем искусственного интеллекта должны быть однозначными, четко сформулированы, а их безопасность и эффективность должны проверяться испытаниями и периодически подтверждаться на протяжении всего срока службы.

· подчинение, определяемое тем, что боевые системы искусственного интеллекта должны полностью исполнять предназначенные для них задачи, но военные должны иметь возможность обнаруживать и предотвращать нежелательные последствия использования искусственного интеллекта, иметь возможность выводить из боя или выключать системы, у которых были замечены отклонения в работе.

Напрашивается очевидный вывод – большинство пунктов данной концепции предусматривают контроль алгоритмов применения систем с элементами искусственного интеллекта, как одного из основных источников потенциальных проблем.

В других сферах проблеме контроля поведения робототехнических систем, в первую очередь, автономных, оказывается не меньшее внимание. В Рекомендации Парламентской Ассамблеи Совета Европы №2102 (2017) от 28.04.2017 «Слияние с технологиями, искусственный интеллект и права человека» напрямую сформулированы требования по обеспечению безопасности алгоритмов интеллектуальных систем (пункт 9.3), в том числе роботизированных ^[13]. В документах комиссии по гражданско-правовому регулированию в сфере робототехники Европейского Парламента данные положения детализированы, но в её предложениях, как и в самих Рекомендациях и документах, изданных как до, так и после них, не содержится описание того, как указанные требования будут выполняться при разработке и эксплуатации робототехнических систем ^[14]. Соответственно, задача контроля алгоритмов в робототехнике требует конкретного метода решения, которого пока не существует.

Впрочем, проблему контроля поведения робототехнических систем, в том числе, определяемую совершенством их алгоритмов, уже не раз обсуждали футуристы и писатели. Одним из первых в подобной постановке, данную проблему озвучил Айзек Азимов, разработав три закона робототехники. Но это было сделано на раннем этапе развития, когда ещё не было нейросетей и других подходов к описанию алгоритмов поведения автономных систем, да и сам принцип был сформулирован с самом общем, описательном, виде. Но принцип в основу сформулированных законов робототехники положен верный: для обеспечения безопасности требуются определённые алгоритмические ограничения, а для автономных систем - самоограничения. В рассматриваемом случае – ограничения на модификацию алгоритмов.

В то же время, сейчас разработка алгоритмов, реализуемых в составе программного обеспечения (ПО) робототехнических систем осуществляется по определённым правилам, задаваемым в нормативной документации: соответствующих российских ГОСТ, и стандартов, реализующих технологию RUP (Rational Unified Process) за рубежом. Этими документами, с учётом особенностей той или иной предметной области, определяется схема и этапность описания требований, определяющих разработку и реализацию алгоритмов, контроля качества реализующего их программного обеспечения (ПО), порядок его внедрения и эксплуатации.

Обобщённый вариант типовой схемы разработки управляющего компонента автономных робототехнических систем – ПО, соответствующая действующим нормативным документам ^[15,16], приведена на рисунке 1.

Рисунок 1 – Существующий подход к контролю алгоритмов, реализуемых в программном обеспечении

Отметим, что эта схема изначально ориентирована на разработку «жестких» (не модифицируемых) алгоритмов, начиная от постановки задачи и до тестирования алгоритмов в составе конкретной программной реализации. Механизм тестирования модифицируемых алгоритмов – ни в ГОСТ, ни в стандартах RUP не прописан, так как эти документы создавались тогда, когда необходимости, да и технологической возможности разработки таких алгоритмов не было. С учётом того, что предпринимаемые в настоящее время попытки ограничить использование автономных роботов организационными мерами ^[13,14,17], привести их применение в рамки определённых ограничений, успеха не имеют, проблема остаётся нерешенной и порождает определённые вопросы, особенно в военной сфере применения робототехники ^[18-25]. Впрочем, и в сфере мирного использования, до настоящего времени остаются нерешенные проблемы алгоритмизации ^[26-30]. В рамках существующей системы нормативно-технической документации эти проблемы решены быть не могут.

2.Особенности контроля изменяемых алгоритмов

В то же время, формулируя требования, заказчик и эксплуатанты автономных робототехнических комплексов оперируют такими показателями алгоритмов как: настраиваемость, модифицируемость (обучаемость) и даже самообучаемость. Последнее для того, чтобы сделать автономные системы действительно «интеллектуальными», а не «интелектуализированными», какими они, по сути, являются сейчас. Эти требования объективны, они диктуются условиями сложности и динамичности изменения обстановки, в которой применяются автономные роботы, удалённостью объектов управления от центров принятия решений. С технической точки зрения, эти требования выполнимы уже на современном этапе развития науки и техники. Кроме одного – гарантировать предсказуемость и безопасность поведения робототехнических систем. Решение последней задачи может быть найдено за счёт обеспечения надёжного контроля алгоритмов, заложенных в эти системы, в том числе, с учётом их возможной модификации в ходе эксплуатации (обучения).

Сформулированная задача по своей сущности аналогична одной из важнейших задач искусственного интеллекта: задаче удовлетворения ограничений (constraint satisfaction problem).

Следует отметить, что в прямой постановке задача контроля безопасности модифицируемых и самообучающихся алгоритмов, реализуемых в автономных робототехнических системах, до настоящего времени не ставилась. Соответственно, решение её пока не найдено.

В то же время, похожая задача уже решалась ранее, для «жестких» алгоритмов, реализуемых в неавтономных роботах, например, промышленных. Практика подсказывает, что известное решение, доработанное с учётом особенностей новой задачи, может быть использовано повторно.

Учитывая структуру робототехнических систем, включающих механическую (исполнительную) и программную (управляющую) компоненты, существующие подходы к решению задачи контроля безопасности алгоритмов, с определённой степенью условности, можно разделить на две большие группы: на «внутренние» и «внешние» ограничения алгоритмов.

К «внутренним» ограничениям алгоритмов можно, например, отнести граничные условия, задаваемые при использовании методов оптимизации, то есть ограничения параметров целевой функции: граничные условия, «штрафные» функции и т.п.

Для типовой задачи оптимизации, они могут быть записаны в виде пары:

- целевая функция ,

максимизирующая (минимизирующая) множество F(x) за счёт подбора показателей хjс коэффициентами сj;

- системы ограничений вида .

При использовании такого подхода необходимо учитывать, что ограничения задаются именно для конкретного вида целевой функции, у которой в процессе решения могут меняться только управляемые параметры. Учитывая, что предусмотренная в автономных роботизированных системах модификация алгоритмов поведения может, с высокой вероятностью, приводить к изменению целевой поведенческой функции, применение внутренних ограничений не может однозначно гарантировать безопасность поведения таких систем.

К «внешним» ограничениям можно отнести задание границ поведения системы, описывающей область её возможного применения в виде набора граничных правил. То есть ограничение не отдельных параметров функции F(x), а вариантов итогового значения целевой функции в рамках пространства возможных поведенческих траекторий (областей).

Наиболее простой пример реализации подобного подхода – механические кулисы, ограничивающие амплитуду движения исполнительных элементов промышленных роботов. Известные примеры в части ограничения программных алгоритмов – нанесение специальной разметки для беспилотных автомобилей или те же три правила робототехники, сформулированные Айзеком Азимовым.

Использование «внешних» ограничений представляется более надёжным методом обеспечения безопасности поведения робототехнических систем, хотя и более сложным в части определения общих границ поведения системы, которые требуется описать на всех возможных режимах поведения системы, стараясь при этом не ограничить её функциональные возможности.

3.Постановка задачи ограничения алгоритмов

Возникает проблема выбора между «внутренними» и «внешними» ограничениями, реализуемыми при разработке алгоритмов функционирования автономных робототехнических систем.

Для решения задачи обеспечения безопасности применения автономных робототехнических систем «внутренними» методами, могут быть использованы известные подходы, реализуемые в качестве ограничений в оптимизационных методах поиска оптимума поведенческой функции любой системы: методы поиска на графах с отсечением, методы штрафных функций, методы согласования, методы поиска с возвратом, методы распространения ограничений, генетические, итерационные методы и другие.

В качестве «внешних» ограничений может быть использован принцип задания общих границ поведения системы: в пространстве, во времени и в виде набора разрешенных (запрещённых) логических переменных, описывающих все возможные действия системы.

Оба подхода имеют свои положительные стороны и недостатки, как с точки зрения простоты реализации, так и влияния на ограничения функциональности управляемой системы и обеспечения гарантированной безопасности применения.

Анализ этих характеристик с учётом роли и места ПО, реализующего алгоритмы поведения робототехнических систем в структуре самих таких систем, позволил сделать выводы о влиянии методов ограничений на эффективность и безопасность системы в целом. Результаты сравнения особенностей методов приведены в таблице 1.

Таблица 1 – Сравнение методов ограничения алгоритмов

Анализ существующих подходов показывает некоторую предпочтительность алгоритмов, основанных на «внутренних» ограничениях при сопоставимой сложности их реализации.

Впрочем, для случая использования модифицируемых и самообучающихся алгоритмов, однозначно можно быть уверенным только в надёжности метода внешних ограничений, и, соответственно, применимым остаётся только он. Таким образом, в настоящее время для разработки алгоритмов автономных робототехнических систем может быть использован исключительно принцип реализации «внешних» ограничений. Для его внедрения остаётся описать предельные границы поведения каждой разрабатываемой системы (класса систем) и реализовать «внешние» ограничения на практике.

В то же время, как показывает обзор методов контроля алгоритмов, «внешние» ограничения могут накладывать определённые рамки на применение робототехнической системы, снижая её функционал. Для динамичных систем, особенно военного назначения, этот фактор может быть критичным, как с точки зрения функциональности, так и уязвимости для противника. Не менее важной является эта проблема при реализации «внешних» ограничений в процессе группового применения автономных роботов. А последнее – одно из перспективных направлений их использования, например, в виде «роя» в военной области.

С учётом этого фактора, более перспективными можно всё же считать нереализуемые на современном этапе развития технологий методы «внутреннего» контроля, обладающие большей надежностью при разработке частных алгоритмов.

Исходя из этого, данное направление будет развиваться по мере совершенствования технологий и математических методов. Вероятнее всего, как это происходит обычно – по принципу «от простого к сложному», начиная с простейших алгоритмов, таких, например, как «жадные алгоритмы» (greedy algorithm), в том числе и модифицируемые. Для использования последних, например, достаточно обеспечить условие однозначного доказательства наличия матроида (X, I), где X — конечное множество, именуемое носителем матроида, а I — семейством независимых множеств, являющихся подмножествами X, выполняющего на всём возможном пространстве поведения свойств:

- множество I не пусто;

- любое подмножество любого элемента множества I также будет элементом этого множества;

- eсли множества A и B принадлежат множеству I, а также известно, что размер А меньше B, то существует какой-нибудь элемент x из B, не принадлежащий А, такое что объединение x и A будет принадлежать множеству I. В перспективе, с развитием методологии искусственного интеллекта и совершенствованием технологий, возможности использования «внутренних» ограничений будут расширяться и, вполне вероятно, что именно такой подход станет основным.

Заключение

В данной статье задача ограничения обучающихся алгоритмов сформулирована в самом общем виде. Но проблема, для решения которой сформулирована постановка задачи, крайне актуальна для любых автономных роботов, несущих потенциальную опасность для человека: транспортных и промышленных, обладающих кинетической энергией, боевых, сама цель которых – уничтожение ^[31-37]. И эта проблема требует скорейшего решения, сначала любым доступным способом, а потом и оптимальным.

Отсутствие решения вызывает опасение, которое ранее выражали футурологи и писатели-фантасты, описывая «восстание машин». И это только усугубляет ситуацию, порождая запреты на развитие технологий, объективно необходимых для создания автономных робототехнических систем, вместо того, чтобы решать проблему в комплексе. Сформулированная в статье постановка задачи может послужить одной из предпосылок к разрешению этой ситуации.