Articulation of the problem of ensuring security of the algorithms of intelligent systems

Введение

Одной из областей применения интеллектуальных систем является реализация их в форме программного обеспечения робототехнических систем, в первую очередь – автономных. Необходимость разработки именно автономных робототехнических систем обусловлена многими факторами: динамичностью современной экономики, глобализацией и ростом масштабов управляемых систем, их распределённостью и мультиагентностью. В условиях действия этих факторов человек-оператор является инерциальным звеном в цепи принятия решения и автономизация робототехнических систем становится объективно необходимой. Но её внедрению препятствует ряд факторов: объективная сложность разработки обеспечивающего автономную работу прикладного программного обеспечения, определённое недоверие пользователей к системе, способной к относительно самостоятельным действиям, субъективное опасение потенциальной ответственности за возможные критичные ошибки поведения автономных систем, усугубляемое нерешенностью проблемы разделения ответственности за результаты их применения между разработчиками и эксплуатантами и ряд других ^[1-6]. Таким образом, можно выделить целый ряд проблем разработки и использования автономных роботов, которые требуется решить для запуска объективно необходимого процесса их интеллектуализации. Существенная часть этих проблем определяется тем, что автономная система должна действовать, не просто реализуя один из набора заранее разработанных алгоритмов: алгоритмы должны модифицироваться в ходе её обучения ^[7].

В результате возникает противоречие между потребностью в реализации автономных систем и возможностью их практической реализации. Это противоречие порождает проблему, находящуюся на стыке правовой и технической областей регулирования: все используемые сейчас методы обеспечения безопасности, разделения ответственности между разработчиком и эксплуатантом за применение автономных систем, основаны на принципе неизменности заложенных в робототехническую систему алгоритмов, жестко определяющих области ответственности каждого участника процесса разработки, производства и использования таких систем ^[8-11]. Но если принять то, что используемый алгоритм может быть модифицируемым, то разработчик не может в полной мере отвечать за применение робототехнической системы после модификации того, что было им разработано и протестировано, а эксплуатант, в свою очередь, не может полноценно управлять системой с не полностью известными ему принципами поведения. Возникшее противоречие между необходимостью использования автономных роботов и проблемами их создания и безопасного применения, отражается, в первую очередь, на разработке интеллектуализированного программного обеспечения для них. Без решения этих проблем не может быть гарантирована безопасность любого технологически развитого современного государства.

2.Современное состояние проблемы

Практика показывает, что наиболее актуальны проблемы внедрения автономных роботов и сопутствующие этой проблеме задачи контроля их алгоритмического обеспечения, в области транспорта и в сфере вооруженного противоборства. Требования к автономности боевых робототехнических систем определяются особенностями ведения современных военных действий, их динамичностью, распределённостью в пространстве и высоким уровнем неопределённости. В части транспортных систем требование автономности определяется большим количеством и разнородностью управляемых объектов, их удалением от логистических центров, многообразностью и многоуровневостью урбанизированного пейзажа, на котором они функционируют. При этом объективное требование автономизации применения входит в противоречие с необходимостью обеспечения безопасности применения робототехнических систем для прямых и косвенных участников процесса их использования. Осознавая это, разработчики систем, реализующих компоненты искусственного интеллекта, стремятся принимать определённые меры. Примером может служить концепция использования искусственного интеллекта в военном деле, разработанная Минобороны США (Department of Defense), задающая основные принципы использования систем искусственного интеллекта в системах военного и двойного назначения ^[12]:

· ограничение области применения минимально необходимой (responsible);

· предотвращение нештатных вариантов поведения систем искусственного интеллекта (equitable);

· предсказуемость поведения (traceable), понимание эксплуатантами принципов поведения систем;

· безопасность искусственного интеллекта (reliable), определяемая тем, что возможности военных систем искусственного интеллекта должны быть однозначно трактуемыми, а допустимые границы их поведения должны проверяться и периодически подтверждаться соответствующими испытаниями.

· управляемость (governable), наличие у эксплуатантов возможности обнаруживать и предотвращать нежелательные последствия использования искусственного интеллекта.

Не меньшее внимание оказывается проблеме контроля алгоритмов поведения робототехнических систем, в том числе, интеллектуализированных и автономных, в других сферах. В Рекомендации Парламентской Ассамблеи Совета Европы №2102 (2017) от 28.04.2017 «Слияние с технологиями, искусственный интеллект и права человека», сформулированы требования по обеспечению безопасности алгоритмов интеллектуальных систем (пункт 9.3), в том числе роботизированных ^[13]. Аналогичные положения содержатся в документах комиссии по гражданско-правовому регулированию в сфере робототехники Европарламента ^[14]. Но, как показывает анализ содержания этих документов, а в них, не описано, каким образом указанные требования должны быть реализованы. Нет таких указаний и ни в одном документе, регламентирующим ведение вооруженного противоборства, а также в транспортных, воздушных и водных кодексах разных стран. Не описаны требования к безопасности применения робототехники и в подзаконных актах: технических регламентах, правилах дорожного движения. В то же время, задача контроля алгоритмов в робототехнике требует формулировки конкретного метода решения.

Причём проблема актуальна не только для механических роботов, но и программ-ботов. Особенно, если последние управляют потенциально опасными системами или процессами.

Но, до настоящего времени, разработка алгоритмов, реализуемых в составе программного обеспечения, в том числе для робототехнических систем, осуществляется по определённым правилам, задаваемым в нормативной документации: регламентах и стандартах ^[15,16], документах, реализующих технологию RUP (Rational Unified Process). Указанные документы изначально ориентированы на разработку постоянных, не модифицируемых в ходе использования, алгоритмов. Все определяемые этими документами методы контроля алгоритмов: эвристические, основанные на последовательном анализе всех элементов алгоритма или программные, обеспечивающие проверку алгоритмов через контроль функционала реализующей его программы – разработаны для «жестких» алгоритмов. И, соответственно, разработчик ограничивается при проверках формированием вариантов поведения, реализуемых через максимально полный набор контрольных примеров для проведения приёмо-сдаточных испытаний. А ответственность эксплуатанта определяется знанием границ применимости системы, для которых проводились проверки, и работой в исключительно данных границах. Для модифицируемых алгоритмов такая система не работает. Исходя из этого, сложившаяся ситуация сводит на нет все попытки обеспечить безопасность использования автономных роботов организационными мерами: как в военной сфере ^[17-25], так и в сфере мирного использования искусственного интеллекта ^[26-30]. Анализ руководящих документов показывает, что в рамках существующей системы нормативно-технической документации эти проблемы решены быть не могут.

В то же время, формулируя требования к разрабатываемым системам, заказчик и эксплуатанты автономных робототехнических комплексов оперируют такими показателями алгоритмов как настраиваемость, модифицируемость (обучаемость) и самообучаемость. Технически, эти требования выполнимы уже на современном этапе развития науки и техники. Кроме одного – гарантировать предсказуемость и безопасность поведения робототехнических систем. Решение последней задачи может быть найдено за счёт обеспечения контроля алгоритмов, заложенных в интеллектуальные системы, учитывающего их возможную модификацию в ходе эксплуатации (обучения).

3.Постановка задачи контроля алгоритмов интеллектуальных систем

Сформулированная задача по своей сущности аналогична одной из задач искусственного интеллекта: задаче удовлетворения ограничений (constraint satisfaction problem). Хотя для контроля безопасности модифицируемых и самообучающихся алгоритмов, реализуемых в автономных робототехнических системах, такая задача в прямой постановке пока не ставилась.

Проблема контроля алгоритмов осложняется тем, что, при единой цели применения робототехнической системы, алгоритм её работы не является чем-то однородным, он состоит из одновременно выполняющихся нескольких параллельных алгоритмов, управляющих подсистемами робота: алгоритма обработки информации о внешней среде (например, технического зрения), алгоритма организации перемещения в пространстве, алгоритма применения исполнительных механизмов и других. Каждый из этих составных алгоритмов, в свою очередь, может включать вложенные алгоритмы описания операций и так далее. Теоретически, можно каждый из них контролировать на безопасность и надеяться, что общий результат действий будет также безопасен, но гарантии этому нет, как и нет строго математического обоснования безопасности поведения.

Учитывая наличие частных алгоритмов при формальном отсутствии единого, объединяющего их все, подходы к решению задачи контроля безопасности алгоритмов, с определённой степенью условности, можно разделить на две большие группы: задание «внутренних» и «внешних» ограничений алгоритмов.

К «внутренним» ограничениям алгоритмов можно, например, отнести граничные условия, задаваемые при использовании методов оптимизации, то есть ограничения параметров целевой функции в частных алгоритмах управления: граничные условия, «штрафные» функции и т.п.

Для типовой задачи оптимизации, они могут быть записаны в виде пары:

- целевая функция с расчётными показателями вектора управления хj при постоянных коэффициентах сj;

- система ограничений вида .

При использовании такого подхода необходимо учитывать, что ограничения задаются для конкретного вида целевой функции, у которой в процессе поиска решения меняются только управляемые параметры. Полагая, что предусмотренная в автономных роботизированных системах модификация алгоритмов поведения может, с высокой вероятностью, приводить к изменению параметров поведенческой функции, применение «внутренних» ограничений не может однозначно гарантировать безопасность поведения системы в целом. А с учётом множественности параллельно используемых алгоритмов, вероятность критической ошибки безопасности повышается ещё больше.

К «внешним» ограничениям можно отнести задание границ поведения системы, описывающих допустимую область её применения в виде набора граничных правил. То есть ограничение не отдельных параметров функции F(x), и не частных алгоритмов выполнения операций, а вариантов итогового значения целевой функции в рамках пространства возможных поведенческих траекторий (областей).

Наиболее простой пример реализации подобного подхода – применение механических ограничителей, сокращающих амплитуду движения исполнительных элементов промышленных роботов в заданных направлениях. Примером в части ограничения программных алгоритмов может служить нанесение специальной разметки для управления движением беспилотных автомобилей.

В первом приближении, именно использование «внешних» ограничений представляется более надёжным методом обеспечения безопасности поведения робототехнических систем.

4.Возможные варианты решения задачи

Анализ предметной области показал, что в процессе разработки программного обеспечения автономных робототехнических систем возникает проблема выбора между «внутренними» и «внешними» ограничениями, реализуемыми при разработке алгоритмов их функционирования.

Если для решения задачи обеспечения безопасности применения автономных робототехнических систем выбирается метод «внутренних» ограничений, для ограничения алгоритмов могут быть использованы известные подходы, реализуемые в качестве ограничений в оптимизационных методах поиска оптимума поведенческой функции: методы поиска с отсечением, методы штрафных функций, методы согласования, генетические алгоритмы и другие методы.

При выборе метода «внешних» ограничений, в качестве последних может быть использован принцип задания общих границ поведения системы: в пространстве, во времени и в виде набора разрешенных (запрещённых) пространственных и логических переменных.

Рассматриваемые подходы имеют свои положительные стороны и недостатки, как с точки зрения простоты реализации, так и влияния на ограничение функциональности управляемой системы, обеспечения гарантированной безопасности её применения.

Анализ этих особенностей с учётом роли и места программного обеспечения, реализующего алгоритмы поведения робототехнических систем, позволяет сделать выводы о влиянии используемых методов ограничений на эффективность и безопасность системы в целом. Результаты сравнения особенностей методов приведены в таблице 1.

Таблица 1 – Сравнение методов ограничения алгоритмов

Сравнительный анализ подходов показывает примерно равную предпочтительность методов контроля разрабатываемых алгоритмов по основным параметрам.

В то же время, исходя из того, что для случая использования модифицируемых алгоритмов и самообучающихся систем, однозначно можно быть уверенным только в надёжности метода внешних ограничений, безальтернативно применимым остаётся только он.

Обобщённая последовательность реализации алгоритмов, основанных на «внешних» ограничениях, может быть следующий:

1) формирование матрицы возможных ситуаций поведения системы;

2) выбор наиболее критичных с точки зрения безопасности типовых ситуаций применения;

3) формализация, описание типовых ситуаций в единых фазовых координатах пространства поведения;

4) объединение ситуаций в общем пространстве, отрисовка единых внешних границ поведения, внутри которых обеспечивается безопасное применение системы;

5) формальное описание границ поведения системы в виде граничных параметров её поведения.

В то же время, анализ особенностей применяемых методов задания ограничений показывает: «внешние» ограничения могут накладывать определённые рамки на применение робототехнической системы, снижая её функциональность. Для автономных систем этот фактор может быть критичным, как с точки зрения реализации основных функций, так и по защищенности от неблагоприятных внешних воздействий, в том числе направленных. И, учитывая это, более перспективными можно всё же считать методы «внутреннего» контроля, обладающие большей надежностью при разработке частных алгоритмов и обеспечивающие большую гибкость поведения.

Исходя из этого, можно сделать вывод, что направление, связанное с использованием «внутренних» ограничений, будет развиваться по мере совершенствования технологий и математических методов. Вероятнее всего, как это происходит обычно – по принципу «от простого к сложному», от элементарных ограничений отдельных алгоритмов к выработке более сложных, но более эффективных методов ограничения взаимосвязанных алгоритмических групп. Например, с реализацией следующего обобщённого алгоритма:

1) формирование обобщённого алгоритма поведения системы и задание ограничений в нём;

2) декомпозиция алгоритма на необходимое количество уровней вниз, в идеале – до алгоритма выполнения отдельной операции;

3) последовательное тиражирование ограничений обобщённого алгоритма на его составные части, частные алгоритмы;

4) поиск точек корреляции, корректировка частных алгоритмов с их учётом;

5) проверка функционирования сформулированного набора частных ограничений на устойчивость и надёжность на всех режимах функционирования системы в целом.

Данный алгоритм является итерационным и, вполне возможно, он обеспечит реализацию в создании интеллектуальных систем подходов, основанных на «внутренних» ограничениях, реализуемых системой вложенных алгоритмов. А в перспективе, с развитием методологии искусственного интеллекта, возможности использования «внутренних» ограничений будут расширяться и, вполне вероятно, что именно этот подход станет основным.

Заключение

В данной работе задача ограничения алгоритмов интеллектуальных систем сформулирована в самом общем виде, на примере решения проблемы использования автономной робототехники только в двух областях человеческой деятельности. Но проблема, для решения которой сформулирована постановка задачи, крайне актуальна для любых систем, несущих потенциальную опасность для человека: транспортных и промышленных, обладающих кинетической энергией, боевых, сама цель которых – уничтожение ^[31-37]. Эта проблема требует решения: организационного, в части внесения изменений в нормативную документацию, и технологического, разработкой методов контроля модифицируемых алгоритмов. Последнее может быть сделано, для начала любым доступным способом, впоследствии, с развитием технологий – оптимальным. Сформулированная в статье постановка задачи служит созданию предпосылок к разрешению указанной проблемы.