Segmentation of satellite images based on super pixels and sections on graphs

Введение

Сегментация изображений – это процесс разбиения снимков на группы пикселей на основе определенных критериев. Сегментация является необходимым предварительным этапов для решения многих задач компьютерного зрения высокого уровня: поиск и распознавание объектов, интерпретация сцен, трехмерная реконструкция ^{[1, 2, 3]}. Часто при сегментации из-за большого количества возможных разбиений изображения получаются неоднозначные результаты. Несмотря на широкое использование, задача сегментации часто сопряжена со сложностями. Разработка надежных алгоритмов сегментации, позволяющих формировать значимые области, представляет актуальную задачу. Часто существующие алгоритмы требуют интенсивного ручного ввода и последующего редактирования результатов. Многие исследования в области обработки изображений направлены на то, чтобы улучшить результаты сегментации на основе использования априорной информации. Эти информационные приоритеты включаются в структуру алгоритмов сегментации, чтобы получить более осмысленные результаты.

Сегментация на основе теории графов предоставляет широкие возможности для решения практических задач. Подходы на основе графов представляют элементы изображений в виде структур и позволяют более гибко осуществлять вычисления. Подобные методы сегментации изображений основаны на разбиении графа на подграфы, которые описывают некоторый объект.

Наиболее известными методами сегментации на основе графов являются: метод на основе минимального покрывающего дерева ^[4]; методы, использующие разрезы графов с функциями стоимости ^{[5, 6]}; методы, использующие разрезы графов с использованием случайных полей Маркова (MRF – Markov Random Field) ^[7]; методы, основанные на поиске кратчайшего пути ^[8]; методы случайного поиска ^[9].

Преимуществом методов разрезов на графах является то, что для разных приложений могут быть использованы различные функции стоимости. Это позволяет задавать условия для выделения на изображениях объектов определенного типа. Существенным недостатком алгоритмов сегментации с использованием разрезов на графах является высокая трудоемкость. Для повышения производительности предлагается использовать суперпиксели ^[10]. Суперпиксели представляют собой сегменты изображения, которые значительно уменьшают сложность последующих задач обработки. Целью работы является разработка алгоритма сегментации спутниковых изображений местности для задач выделения зданий на изображениях.

Разработка алгоритма сегментации спутниковых изображений на основе суперпикселей и разрезов на графах

Для сегментации и последующего выделения объектов необходимо сгруппировать суперпиксели, имеющие определенные цветовые характеристики и значения высоты. Для формирования суперпикселей изображение сегментируется на основе алгоритма минимального покрывающего дерева ^[4] (рис. 1, б). Каждому сегменту были присвоены следующие атрибуты: значение высоты, принадлежность к области растительности, к затененной области или остальным объектам сцены. Значение каждого атрибута в суперпикселе усредняется. Значение высоты осуществляется на основе алгоритма минимизации энергии в пределах региона ^[11] (рис. 1, в).

а)

б)

в)

Рисунок 1. Формирование суперпикселей изображения: а) исходное изображение, б) сегментация на основе минимального покрывающего дерева, в) вычисление карты высот

Следует отметить, что области растительности могут быть представлены деревьями, кустарниками и травяным покровом. При этом области травяного покрова имеют нулевую высоту. Здания имеют ненулевую высоту. Цветовые характеристики крыш зданий в большинстве случаев отличаются от цветовых характеристик растительности и теней. Разработанный алгоритм использует сегментацию на основе спектральной теории графов. Каждый регион имеет свой вес, определяемый цветовыми и трехмерными характеристиками. Изображение представляет собой неориентированный взвешенный граф, узлами которого являются сегменты (рис. 2.). Весами вершин графа являются числа, определяющие принадлежность к некоторому классу (табл. 1). Для разделения регионов на кластеры используется метод разрезов на графах. Преимуществом предлагаемого подхода по сравнению с известным методом нормализованных разрезов является высокая скорость обработки, так как в процессе сегментации участвуют не отдельные пиксели, а сегменты изображения.

а)

б)

Рисунок 2. Представление изображения в виде графа: а) исходное

сегментированное изображение, б) граф сегментированного изображения

Таблица 1. Характеристики сегментов изображения, используемые при группировке регионов

Для выделения растительности по цвету используется величина Ψ_g (i, j), называемая цветовым инвариантом. Цветовой инвариант использует значения пикселей в цветовых каналах системы RGB ^[12]:

Ψ_g (i, j)=4/π*arctan((I(i, j)_g - I(i, j)_b)/ (I(i, j)_g + I(i, j)_b)),

где I(i, j)_g– значения пикселей с координатами i, j в зеленом канале цветовой системы RGB; I(i, j)_b – значения пикселей с координатами i, j в синем канале цветовой системы RGB.

Все пиксели, имеющие значение выше порога T_g, относятся к области растительности V(i, j). Порог вычисляется на основе метода Оцу ^[13]. С использованием метода Оцу пиксели разделяются на два класса: растительность и остальные объекты. Метод использует гистограмму для разделения изображения на 2 класса.

Гистограмма изображения строится следующим образом:

P_i=n_i/N,

i=1, 2, 3,..., L ,

где n_i – количество пикселей, принадлежащих уровню i на всей области цветового инварианта; N – количество пикселей изображения; L – количество уровней цветового инварианта.

При этом находится такое значение порога t, чтобы дисперсия между классами была максимальной. Порог находится итеративно. Начальное значение порога устанавливается t=1. На каждом шаге дисперсия пересчитывается и запоминается ее максимальное значение и величина порога.

Таким образом, изображение можно представить в виде двух непересекающихся множеств пикселей (растительности и других объектов):

[V(i, j)=1 | Ψ_g(i, j)>T_g] v [V(i, j)=0 | Ψ_g(i, j)≤T_g],

где T_g – порог для выделения области растительности по методу Оцу; [V(I, j)=1 | Ψ_g(i, j)>T_g] – множество пикселей, относящихся к области растительности; [V(i, j)=0 | Ψ_g(i, j)≤T_g] – множество пикселей, не относящихся к области растительности.

Для обнаружения областей тени на изображении используется цветовой инвариант Ψ_S(i, j) ^[14]:

Ψ_S(i, j)= 4/π*((I(i, j)_r –(I(i, j)_r² + I(i, j)_g² + I(i, j)_b²)^1/2)/(I(i, j)_r +(I(i, j)_r² + I(i, j)_g² + I(i, j)_b²)^1/2)),

где I(i, j)_r, I(i, j)_g, I(i, j)_b – значения пикселей с координатами i, j в красном, зеленом и синем каналах цветовой системы RGB соответственно.

При обнаружении затененных областей порог рассчитывается также на основе метода Оцу. В этом случае изображение можно представить в виде двух непересекающихся множеств пикселей (затененных и незатененных областей):

[V(i, j)=1 | Ψ_S(i, j)>T_S] v [V(i, j)=0 | Ψ_S(i, j)≤T_s],

где T_s– порог для выделения области растительности по методу Оцу; [V(i, j)=1 | Ψ_S(i, j)>T_S] – множество пикселей, относящихся к области теней; [V(i, j)=0 | Ψ_S(i, j)≤T_s] – множество пикселей, не относящихся к области теней.

Предлагается каждый регион, выделенный на основе алгоритма минимального покрывающего дерева, отнести к области растительности или теней.

Для отнесения региона к области растительности требуется выполнение условия:

S_V/S_reg>0,6 ,

где S_V – количество пикселей региона, относящихся к растительности; S_V – общее количество пикселей региона.

Для отнесения региона к затененной области требуется выполнение условия:

S_S/S_reg>0,6 ,

где S_S – количество пикселей региона, относящихся к затененной области.

Результаты использования цветовых инвариантов приведены на рисунке 3.

а)

б)

в)

Рисунок 3. Выделение областей растительности и теней с помощью цветовых инвариантов: а) исходные изображения, б) выделенные сегменты растительности, в) выделенные сегменты теней

Графы можно представить с помощью матрицы смежности, степенной матрицы и матрицы Лапласа. Матрица смежности взвешенного графа – это квадратная матрица W, в которой каждый элемент равен весу ребра, соединяющей ее вершины.

Также для задания графа используется матрица Лапласа, которая определяется следующим образом. Вначале строится степенная матрица D, диагональные элементы которой равны степеням вершин. Степень вершины d_v равна сумме весов ребер w(u, v), инцидентных этой вершине. Ненормализованная матрица Лапласа L вычисляется по формуле: L=D-W ^[6].

Для сегментации изображений предлагается использовать разрезы на графах ^[6]. Алгоритм сегментации на основе спектрального разбиения графов имеет вид.

Шаг 1. Строится взвешенный граф на основе выделенных сегментов исходного изображения. Каждый регион на основе его отнесения к некоторому классу имеет меру различия x_i.

Шаг 2. Рассчитывается матрица W:

W(u, v)=exp(-(||x_i-x_j||²)/2σ²), если u, v – смежные вершины, иначе W(u,v)=0,

где σ – коэффициент, который регулирует степень взаимодействия между регионами.

Рассчитывается матрица D:

D_ii=∑ⁿ_j=1 W_i,j.

Шаг 3. Из выражения (D-W)y=λDy находятся собственные векторы с наименьшими собственными значениями.

Шаг 4. На основе вектора со вторым наименьшим собственным значением вычисляется разрез графа.

Шаг 5. Выполняется рекурсивное разбиение сегментированных областей.

В разработанном алгоритме значение коэффициента σ было установлено равным 50, так как мера различия между регионами находится в пределах от 10 до 50.

Результаты исследований

Было проведено сравнение разработанного алгоритма с алгоритмом нормализованных разрезов на графах, в котором в качестве вершин использовались пиксели изображения (табл. 2). Алгоритмы сравнивались по времени работы. Вычисления проводились в среде MATLAB на компьютере c процессором Pentium T2390 и оперативной памятью 2 Гбайта.

Таблица 2. Исследование разработанного алгоритма на время работы

Выявлено, что время работы предложенного алгоритма в несколько раз меньше алгоритма сегментации, в котором узлами графа являются пиксели изображения. При этом также учитывалось время предварительной обработки регионов.

Для исследования алгоритма на точность выделения зданий были использованы 50 спутниковых стереоснимков (рис. 4). Количественная оценка результатов осуществлялась с использованием следующих показателей: процент правильно обнаруженных зданий и процент зданий, которые ошибочно идентифицированы.

Процент правильно обнаруженных зданий (DP - Detection Percentage):

DP=(100· TP)/(TP+TN),

где TP (True Positives) – количество зданий, обнаруженных оператором и программой; TN (True Negatives) – количество зданий, которые обнаружены оператором и не обнаружены автоматически.

Процент зданий, которые ошибочно идентифицированы (BF – BranchingFactor):

BF=(100· FP)/(TP+FP),

где FP (False Positives) – количество зданий, которые обнаружены автоматически и не обнаружены оператором.

а)

б)

в)

Рисунок 4. Выделение областей зданий на основе разработанного алгоритма:

а) Сцена №1, б) Сцена № 2, в) Сцена № 3

Было проведено сравнение с известными алгоритмами обнаружения зданий (табл. 3). Вычислялись процент правильно обнаруженных зданий DP и процент зданий, которые ошибочно идентифицированы BF. Выявлено, что процент правильно обнаруженных зданий выше по сравнению с рассматриваемыми алгоритмами за счет использования комплексной информации о высоте, цвете, форме и площади проекций объектов. Показатели были рассчитаны с учетом данных, полученных с помощью интерактивного выделения зданий на изображениях.

Таблица 3. Исследование разработанного алгоритма на точность выделения зданий

Заключение

Предложен алгоритм сегментации спутниковых алгоритмов с использованием разрезов на графах и суперпикселей. Выявлено, что по скорости вычислений алгоритм превосходит в несколько раз алгоритм, в котором в качестве вершин графа используются точки изображений. Алгоритм позволяет на спутниковых снимках выделять до 89,7 % заданий, что превосходит известные подходы.

Работа выполнена при финансовой поддержке РФФИ (проект № 16-37-00236).