Epistemological aspects of the definition of purpose and composition of vision systems in the design and development tasks of robotic systems

Bagutdinov Ravil PhD student of the Engineering School of Information Technology and Robotics, Assistant of the Department of Automation and Robotics, Programmer of the Scientific and Educational Laboratory of 3D Modeling and Industrial Design, National Research Tomsk Polytechnic University 634034, Russia, Tomskaya oblast', g. Tomsk, ul. Sovetskaya, 84/3, of. 216 ravil_bagutdinov@yahoo.com Other publications by this author

В робототехнике как и в живом мире основным видом очувствления является зрение. Первые системы технического (машинного, компьютерного) зрения, нашедшие применение в средствах робототехники, копировали органы зрения живых организмов, развиваясь в такой последовательности: черно-белые монокулярные СТЗ, цветные, стереоскопические и многоракурсные с различными вариантами аппаратной реализации.

Первое устойчивое применение в робототехнических комплексов СТЗ получили в системах управления манипуляторов и мобильных роботов от человека-оператора. Так, в 70–80-е годы прошлого столетия в ЦНИИ РТК были созданы такие системы управления для подводных роботов различного назначения. Следующим шагом в развитии таких систем стали системы супервизорного управления. Они оказались особенно эффективны для телеуправления роботами при значительном временном запаздывании в канале связи, когда становится затруднительным управление от оператора в реальном времени, а так же для работы в условиях плохой видимости. Последний случай характерен, например, для подводных роботов, работающих вблизи дна, когда движение робота вызывает подъем осадков и замутнение воды. Поэтому применяемые в этих случаях супервизорное управление сводится к периодическому целеуказанию и заданию оператором очередной выполняемой автоматически элементарной операции в моменты восстановления видимости.

Большой опыт применения таких систем управления роботами с помощью СТЗ был получен при ликвидации последствий аварии на Чернобыльской АЭС (1986 год). Здесь впервые, по крайней мере в отечественной практике, было реализовано групповое применение мобильных роботов с централизованным управлением от оператора. ^[1] Оператор с помощью задающих рукояток и различных средств целеуказания осуществлял управление роботами-наблюдателями, которые выдавали на экран пульта управления общую картину рабочей зоны, роботами-разведчиками, которые проводили детальное обследование этой зоны с передачей помимо видео еще и другой нужной информации, прежде всего, конечно, о радиационной обстановке, и, наконец, технологическими роботами, выполнявшими саму работу по очистке помещений и территории станции от радиоактивного мусора.

Дальнейшим этапом развития систем очувствления роботов стало комплексирование СТЗ с другими сенсорными системами, т. е. совместное их использование прежде всего для решения задач, которые иначе не могли быть решены. Например, картина зоны радиационного заражения, получаемая на экране пульта управления робота, предназначенного для обследования радиационно зараженных территорий и поиска радиоактивных источников. На экране такого робота появляется картина изолиний поля радиации, которые построены по показаниям специальных сенсоров и по информации, получаемой от СТЗ. Помимо получения общей картины этого поля и выявленных мест нахождения локальных источников радиационного излучения это позволяет определять величины активности последних.

Следующий этап развития видео систем роботов — визуализация информации, получаемой от различного типа сенсорных систем.Прежде всего — это системы, использующие другие участки спектраэлектромагнитных излучений. В сторону более длинных волн — этоИК и радиодиапазоны (“радиовидение”), а более коротких — УФ,рентгеновский и гамма-лучевой диапазоны ^[3]. По существу, такаявизуализация в наиболее развитом виде основана на вычислительныхметодах восстановления изображений по их проекциям, которыеприменяются и в томографии. Аналогичная визуализация выполняется для сенсорных систем, использующих механические колебанияв УЗ диапазоне, ядерно-магнитные резонансные колебания и т. п.

Последние, а так же рентгеновские и гамма-лучевые излучения, благодаря их проникающим свойствам, применяются и в интроскопии, включая томографию. Здесь используется либо прямое просвечивание, либо регистрируется обратно рассеянное вторичное излучение. К примеру, робот, предназначенный для борьбы с террористами и обнаружения различных опасных предметов. Подобные роботы обычно оборудованы рентгеновской системой просвечивания.

Общая тенденция развития СТЗ — это совершенствование алгоритмов обработки видеоинформации, включая адаптацию к внешним условиям и решаемым задачам путем изменения структуры и настройки параметров системы. Актуальной задачей является так же переход от бинокулярных СТЗ к многоракурсным (мультиспенсорным). В робототехнике это реализуется путем перемещения робота с СТЗ перпендикулярно направлению видения или такого же перемещения видеокамеры манипулятором. Для отдельных объектов — это осмотр их со всех сторон. В результате компьютерной обработки получаемой видеоинформации синтезируется объемная модель. Разумеется, это неизмеримо информативнее традиционных стереоизображений и позволяет осуществлять соответственно более качественное планирование и управление движением.

По-прежнему, актуальна задача распознавания в реальном масштабе времени достаточно сложных образов подобных лицам людей. Здесь самые совершенные СТЗ пока уступают живым организмам. Основная причина этого в том, что в СТЗ эта задача решается путем перехода от реальных образов в вербальное множество признаков, в пространстве которых и происходит процесс распознавания, в то время как в живом мире оно осуществляется не выходя из образного представления объектов внешней среды. В настоящее время ведутся исследования по созданию систем, которые воспроизводили бы такой процесс обработки исходной видеоинформации вплоть до распознавания образов на основе ассоциативного сопоставления с эталонными или конкретными образами или их фрагментами. Перспективность такого подхода подтверждается, в частности, и опытом распознавания сложных образов по эталону, “фотороботу” и т. п.

Рассмотрим общее состояние современных СТЗ применительно к потребностям робототехники. СТЗ в составе систем управления роботов предназначены наряду с другими сенсорными системами прежде всего для реализации адаптивного управления и для обеспечения человека-оператора, управляющего роботом, видео информацией об окружающей робот обстановке и прежде всего о его рабочей зоне.

В рамках решения последней задачи СТЗ часто комплексируют с компьютерной графикой для построения динамической ЗD картины внешней среды в виде системы стилизованной виртуальной реальности, которая используется при планировании действий робота, отработки программ отдельных операций, а так же при управления ими ^[5].

Основные задачи, которые решают СТЗ:

— получение общей зрительной картины окружающей внешней среды;

— выделение в этой картине отдельных объектов и их распознавание, включая кластеризацию (разбиение на классы по близости по некоторым важным признакам), классификацию (отнесение к определенным заданным классам), верификацию (обнаружение конкретного искомого объекта);

— определение характеристик тех из выявленных объектов, которые нужны для выполнения роботом конкретных заданий.

При решении этих задач СТЗ так же часто комплексируются с другими сенсорными системами. Кроме того, как выше указано, СТЗ применяются для визуализации выходной информации других типов сенсорных систем.

СТЗ могут быть

— одномерными (линейка), двух- и трехмерными;

— монохромными (полутоновыми, черно-белыми);

— цветными.

На рисунке 1 показан типовой состав СТЗ: датчик (сенсор) изображения, устройство предобработки (последнее может быть объединено с датчиком в цифровой датчик) и процессор, выходная информация от которого поступает в систему управления и к человеку-оператору для дальнейшего использования.

Рисунок 1. Упрощенная схема системы технического зрения

Основной тип СТЗ — это однопроцессорные системы, например, на базе персонального компьютера. Предобработка осуществляется специальным устройством ввода (цифровая плата с памятью изображения). Для повышения быстродействия особенно при работе с достаточно сложными изображениями переходят к многопроцессорным системам с разделением задач на подзадачи, которые можно решать параллельно. Существуют СТЗ и с последовательной (конвейерной) структурой. Они применяются для обработки больших массивов данных за длительный период времени.

В компьютерах используется цифровое изображение, которое представляет собой полученную от датчиков изображения совокупность строк и столбцов пикселов (pixels — сокращение слов picture element — элемент изображения), предварительно преобразованных в цифровую форму. Каждый пиксел характеризуется интенсивностью (яркостью), которая представляется числом. Обычно используют однобайтовые (8-битовые) числа, дающие числовые значения от 0 до 255, реже — 10 битовые (1024 значения). Датчик изображения — это оптоэлектронный преобразователь (ОЭП), работающий в диапазоне видимого света.

Существуют так же упомянутые выше ОЭП, работающие в других диапазонах электромагнитного излучения до видимого света — ИК и радио и после — УФ, рентгеновское и гамма излучения. Преобразователь видимого света представляет собой телекамеру одного из двух типов — в виде вакуумных электронно-оптических приборов, которые исторически появились первыми, и более современных твердотельных камер на основе ячеек с зарядной связью (ПЗС) или фотоэлементов (фотодиоды, фототранзисторы, фоторезисторы).

Основные характеристики этих датчиков:

— разрешающая способность (разрешение по вертикали и по горизонтали),

— чувствительность (минимальная воспринимаемая освещенность),

— спектральная характеристика (диапазон частот регистрируемых электромагнитных колебаний).

Изображения могут получаться так же и с помощью сканирующих дальномеров — локаторов (лазерных, микрорадиоволновых и др.).

В соответствии с указанным выше функциональным составом в СТЗ последовательно решаются следующие задачи обработки зрительной информации:

— предварительная обработка видеоизображения, получаемого от датчика, в виде его фильтрации с целью повышения качества изображения путем освобождения от шумов и других помех, включая изменение освещенности и тени, сглаживания, повышения контрастности с усилением границ объектов и их частей, преобразование аналогового сигнала в цифровой ^[6];

— сегментация, т. е. декомпозиция изображения с последовательным выделением отдельных объектов из общей картины, затем их частей и т. д. (обнаружением контуров, участков определенной текстуры и цвета);

— определение характеристик этих объектов, т. е. выделение признаков (дескрипторов) для их последующего распознавания (выделение отрезков прямых, отверстий, округлостей, определение величины периметра, площади и т. п.);

— распознавание, т. е. кластеризация, классификация или верификация.

При этом распознавание возможно и при неполной видимости части объектов. В этом случае выдвигается и проверяется несколько гипотез. Последнее может потребовать и дополнительного осмотра объекта.

Выбор отдельных признаков зависит от конкретной решаемой задачи и может быть иерархическим. (Так, при поиске автомашины на коллективной стоянке сперва ищется объект по цвету и марке, а окончательно, конечно, он определяется по номеру).

Кластеризация и классификация осуществляются на основе методов теории принятия решений по перечню признаков внешнего вида (в n-мерном пространстве признаков). При классификации возможно еще сопоставление с эталонами (образцами), представляющими отдельные классы объектов. Эти эталоны обычно являются обобщенными геометрическими или символьными моделями, сохраняющими только необходимые для распознавания характерные признаки (стол, стул).

Основной метод сопоставления с эталонными геометрическими моделями как и верификации — это совмещение структур изображения и модели (обычного по двум характерным точкам) с предварительным масштабированием и ориентацией (поворотом) изображения.

При трехмерных изображениях объектов они обычно распознаются по двухмерным проекциям, а третья координата используется для определения взаимного расположения объектов. Вместе с тем существуют методы и объемного распознавания. В частности, известен метод совмещения ЗD изображений с ЗD геометрическими моделями, образованными из примитивов типа цилиндр, параллелепипед и т. п. (Здесь совмещение производится уже по трем характерным точкам.)

Вычислительные методы обработки изображений развиваются уже в течение более 30 лет. В настоящее время существуют десятки программ обработки изображений и распознавания образов, в том числе лиц, отпечатков пальцев, рукописных текстов, номеров автомашин, штрих кодов. Многие из них работают в реальном масштабе времени. Как правило, все они предполагают предварительный этап обработки.

Наряду с перечисленными задачами в СТЗ конкретного назначения могут решаться еще и различные сопутствующие задачи. К ним прежде всего относятся сжатие информации и ее хранение ^[7]. Что касается последнего, то для решения задачи распознавания необходима база данных для изображений эталонов и прототипов, классифицированных по характерным геометрическим и словесным признакам. Заметим, что большинство способов и приемов обработки изображений в СТЗ аналогичны существующим в живой природе и подсказаны физиологами и психологами.

В статье приведен анализ существующих подходов к реализации СТЗ в задачах проектирования и разработки робототехнических комплексов, предложены современные пути решения этих задач.

Исходя их выше перечисленного можно выделить основные функции СТЗ - этообзор видимой зоны, выделение отдельных объектов, их кластеризация, классификация или верификация, определение геометрических и оптических параметров внешней среды и ее объектов, комплексирование с другими сенсорными системами для определения различных физических и химических параметров внешней среды и ее отдельных объектов, визуализация информации от других сенсорных систем и от других источников.

Эти функции определяют назначение СТЗ в системах робототехники в виде обеспечения визуальной информацией систем автоматического управления и операторов систем автоматизированного управления средствами робототехники для выполнения различных технологических и других операций, требующих визуальной информации (мониторинг внешней среды, охрана, боевые операции, контроль качества изготавливаемых изделий, сервисное обслуживание людей).