Adaptive algorithm for selecting informative channels in on-board multispectral video systems

Всё более широкое распространение получают бортовые мультиспектральные видеосистемы, формирующие комбинированное видеоизображение с информационными признаками от различных спектральных каналов. Такие системы могут использоваться для оптико-электронной разведки, повышения осведомлённости экипажей мобильной военной или гражданской техники, включая авиационную технику и беспилотные летательные аппараты, при пилотировании в сложных метеоусловиях. Достаточно широкую известность получили авиационные системы усиленного (улучшенного) видения (СУВ), используемые для повышения ситуационной осведомлённости экипажей гражданских самолётов и вертолётов при пилотировании на наиболее ответственных участках полётной траектории.

Вывод разных каналов спектра на различные дисплеи нецелесообразен и, как правило, неосуществим в силу ограниченности пространства вокруг пилота. Поэтому существует необходимость в выборе наиболее информативных каналов с последующим их комплексированием с выводом на один дисплей. В настоящее время в большинстве коммерчески доступных СУВ используется ручной выбор каналов, а их комплексирование основано на жёсткой логике. Данный подход представляется весьма неудобным для оператора, так как вынуждает его достаточно часто производить настройку вывода изображения внешней обстановки на экран. Если же говорить о комплексировании изображений, то оно полезно только при наличии существенной информации в двух и более видеоканалах. Поэтому нужно уметь количественно оценивать информативность видеоизображений. Это позволит автоматизировать выбор наиболее информативного канала, а в случае, когда информативных каналов окажется более одного, осуществлять их комплексирование без вмешательства оператора.

В результате анализа данных, полученных ФГУП "ГосНИИАС" в лётных испытаниях трёхканальной СУВ, состоящей из видеоканалов видимого спектрального диапазона 0,4 – 0,9 мкм, ближнего инфракрасного (ИК) диапазона 0,9 – 1,7 мкм и тепловизионного (дальнего ИК) диапазона 8 –14 мкм, были выявлены следующие особенности:

1. В зависимости от погодно-суточных условий имеет место разная информативность каналов (вплоть до бесполезности некоторых из них для пилотов/операторов в определённых условиях).
2. Имеет место динамическая изменчивость информативности в рамках одного канала: появление/пропадание объектов на изображениях, изменение погодно-суточных и широтных условий в процессе эксплуатации.
3. Слабо формализуемое понятие «информативности изображений» в смысле объёма полезной информации, воспринимаемой пилотом/оператором.
4. Известные безэталонные способы оценки информативности вычисляют абстрактные характеристики изображений, которые не учитывают человеческое восприятие их особенностей (признаков), поэтому для оценки информативности не подходят. В частности, формальная эквивалентность энтропии ^[1] и информации часто бывает лишена смысла, так как не учитывает пространственные зависимости яркостей элементов изображения и особенности их зрительного восприятия.

Согласно исследованию ^[2], к существенным информационным признакам изображений относятся воспринимаемые детали (пространственные признаки), представляющие собой протяжённые перепады яркости, и спектральные контрасты или спектрально-энергетические признаки. В конечном счёте, безэталонную оценку информационных признаков изображения можно свести к оценке протяжённых перепадов его яркости. Предварительная обработка изображений выходит за рамки данной статьи, поэтому предполагается, что изображение не содержит протяжённых артефактов дискретизации, таких как неравномерная структура видеоматрицы, протяжённые области битых пикселей, «гребёнка» чересстрочности и т. д. Для такого случая эффективен следующий алгоритм:

1. Оценивают относительный уровень полезного сигнала I_СЭП изображения I(x,y) путём вычисления отношения разности между минимумом (1) и максимумом (2) среднего модуля градиента яркости изображения в скользящем окне 5×5 пикселей по изображению к его максимуму (3). Такой размер окна соответствует минимальному размеру гарантированно воспринимаемых деталей объектов оператором.

где |∇I(x,y)| – модуль градиента яркости изображения I в точке (x,y).

2. Вычисляют сумму тех модулей градиентов яркости изображения, значения которых выше адаптивного порога, который объективно разделяет постоянную шумовую составляющую изображения и перепады яркости, относящиеся к сигналу (5). Интегральный показатель I_ПП (6) характеризует меру насыщенности изображения воспринимаемыми объектами (деталями):

3. Произведение вычисленных показателей I_инф (7) характеризует информативность изображения, то есть совокупность энергетики воспринимаемых объектов.

Для оценки приоритета видеоканалов вычисляют информативность каждого из них описанным выше способом и осуществляют её последующую нормировку. Если вычисленный приоритет одного канала существенно ниже остальных, то его информационные признаки не будут заметно различимы на комбинированном изображении. Поэтому вводится адаптивное условие использования видеоканала C_i ≥ εC_max, где C_max – наибольший приоритет из всех каналов, C_i – приоритет i-го канала, коэффициент ε определяет минимально допустимую (воспринимаемую) долю любого другого канала в составляющей комбинированного видеосигнала по сравнению с наиболее приоритетным каналом и не зависит от количества информативных каналов. В предлагаемом алгоритме ε = 0,25 было выбрано опытным путем с шагом в 0,05 на выборке типовых лётных ситуаций (см. таблицу 1), так как в конечном счёте результирующее комбинированное изображение должно быть согласовано с визуальным восприятием.

Лётные эксперименты с трёхспектральной СУВ показали, что комплексирование всех трёх видеоканалов практически не добавляет полезных информационных признаков по сравнению с комплексированием двух наиболее информативных из данной тройки каналов. Поэтому наименее информативный канал исключается из рассмотрения.

После выбора информативных каналов необходимо осуществить их комплексирование. Согласно проведённой работе ^[2], наиболее перспективными представляются подходы на основе метода трёхмерной фильтрации ^[3], восстанавливающего многомерное сообщение в рассматриваемом случае по его элементам дискретизации в пространстве изображений и пространстве источников их формирования. Область пропускания такого фильтра нижних частот рассчитана исходя из общих спектральных свойств цифровых многомерных сигналов и анизотропии их визуального восприятия человеком, и представляет собой аппроксимацию октаэдра в области нормированных частот.

В таблице 1 ниже представлено несколько типовых лётных ситуаций информативности видеоканалов трёхспектральной СУВ в различных погодно-суточных условиях с указанием вычисленного приоритета канала и принятия решения о его использовании. Для корректной работы предложенного метода изображения прошли предварительную обработку, которая, однако, не смогла в полной мере устранить протяжённые помехи, воспринимаемые алгоритмом как часть полезного сигнала. Из данной таблицы видно, что полученные результаты в целом согласуются с субъективно воспринимаемой человеком оценкой информативности.

Таблица 1. Примеры автоматического комплексирования при различных погодных условиях

Предложенная безэталонная оценка позволяет в каждый момент времени производить автоматический выбор наиболее информативных каналов, согласованный с субъективным восприятием полезной информации человеком-оператором. Тем не менее, предлагаемый метод оценки чувствителен к протяжённым низкочастотным помехам. В этой связи он нуждается в дополнительной доработке.

На базе предложенной оценки в работе представлен адаптивный алгоритм выбора отдельных кадров для комплексирования, который является простейшим частным случаем локальной взвешенной оценки информативности составляющих мультиспектрального многомерного видеосигнала на уровне отдельных областей изображений. Такая локальная оценка информативности представляется более гибкой и потому более перспективной и будет исследована авторами в дальнейшем.