Textural signs in the problem of segmentation of aerial photographs based on luminance dependence matrices

Tymchuk Andrey Igorevich graduate student, Kuban State Technological University 350080 181, kv.103, Russia, Krasnodarskii Krai oblast', g. Krasnodar, ul. Sormovskaya, 181, kv. 103 tymchuk.2017@bk.ru Other publications by this author

Введение

На сегодняшний день существует огромное множество методов сегментации и их различных вариаций. Обусловлено это тем, что для задачи сегментации изображения не существует универсального решения, и используемый метод выбирается исходя из специфики задачи.

При текстурной сегментации аэрофотоснимков для описания текстуры используются текстурные признаки. Один из способов их вычисления – метод матриц яркостной зависимости, который был разработан и предложен Робертом М. Хараликом в 1973 году ^[1]. Преимущество данного метода заключается в простоте реализации и возможности установления пространственной связи между парой пикселей относительно расстояния и угла между ними.

Цель данного исследования заключается в определении текстурных признаков, оказывающих наибольшее влияние на общее качество сегментации изображения. Иными словами, требуется выделить те признаки, которые дадут наилучшие показатели по заданным критериям оценки качества сегментации. Для исследования было выбрано 15 текстурных признаков и 4 критерия оценки. Выбранные признаки – это стандартные признаки, вычисляемые на основе матриц яркостной зависимости. В качестве критериев оценки были выбраны эмпирические критерии, основанные на количестве и месторасположении неправильно классифицированных пикселей. Выбор критериев оценки основывается на работе ^[3], в которой авторы выполнили анализ и провели сравнение основных критериев оценки качества сегментации изображения. Стоит отметить, что все выбранные критерии вычисляются на основе сравнения результата с эталонной сегментацией. В данном исследовании не рассматривались автоматические (неконтролируемые) методики оценки, так как отсутствовала необходимость вычисления оценки непосредственно в процессе сегментации, требовалось оценить только конечный результат.

Для вычисления текстурных признаков и получения оценки была написана программа на языке программирования C++. Было выбрано 10 различных аэрофотоснимков сельскохозяйственных угодий и выполнена оценка качества сегментации на основании рассматриваемых текстурных признаков. По результатам оценки обозначены 5 признаков, которые показали лучшие результаты сегментации.

Текстурные признаки

Текстурный признак представляет собой низкоуровневый признак изображения, который можно использовать для описания содержимого изображения или его региона в дополнение или вместо стандартных признаков, основывающихся только на цветовой характеристике.

Для вычисления текстурных признаков можно использовать несколько методов. Один из известных – метод матриц яркостной зависимости. Исходя из названия, основой для вычисления текстурных признаков в данном методе служит соответствующая матрица. Обозначим её с помощью P. Матрица имеет размер K, который соответствует количеству уровней серого на рассматриваемом изображении. Каждый элемент матрицы вычисляется путём подсчёта количества соседних расположений пикселей с уровнями серого i и j. После этого, как правило, матрицу приводят к нормализованному виду – каждый элемент матрицы делится на сумму всех элементов. В случае нормализованной матрицы каждый элемент содержит значение вероятности того, что пиксель со значением i будет найден рядом с пикселем значения j. Также важно отметить, что соседство двух пикселей определяется на основе двух параметров: расстоянию между пикселями d и угловому направлению φ. Алгоритм вычисления матрицы яркостной зависимости подробно рассмотрен в статье ^[2].

В работе ^[1] было описано 14 текстурных признаков. В данном исследовании учтены все из них кроме последнего (MaximalCorrelationCoefficient) – он был опущен по причине сложности вычисления. Также учитывались 2 дополнительных признака – Cluster Shade и ClusterProminence. Они не описаны в ^[1], но часто упоминаются в работах, относящихся к тематике сегментации изображений.

Далее приведено описание рассматриваемых текстурных признаков:

1) Energy – отражает однородность распределения уровней серого на изображении. Альтернативное название признака – AngularSecondMoment. Когда текстура однородна, то есть в рассматриваемой области часто встречаются одни и те же пары соседних пикселей, значение признака будет большим. Признак вычисляется по формуле ^[1]:

2) Contrast – является мерой различий уровня серого между рассматриваемым пикселем и его соседом. Большие значения признака говорят о сильном различии между уровнями серого соседних пикселей. Признак вычисляется по формуле ^[1]:

3) Correlation – является мерой линейной зависимости уровня серого между пикселями в указанных положениях относительно друг друга, отражает постоянство рассматриваемой текстуры. Признак вычисляется по формуле ^[1]:

В этой формуле , и , являются среднеквадратическим отклонением и средним арифметическим для векторов и соответственно, которые представляют собой массивы поэлементных сумм строк и столбцов матрицы P.

4) Variance – отражает отличие элемента от среднего значения матрицы P. Альтернативное название признака – SumofSquares. Признак вычисляется по формуле ^[1]:

В этой формуле μ является средним арифметическим элементов матрицы P.

5) InverseDifferenceMoment – отражает однородность рассматриваемой текстуры. Высокие значения признака означают отсутствие локальных отличий от общего вида текстуры. Альтернативное название признака – Homogeneity. Признак вычисляется по формуле ^[1]:

6) SumAverage – отражает преобладание соседнего расположения пикселей, которые в совокупности имеют высокую яркость. Признак вычисляется по формуле ^[1]:

В этой формуле представляет собой вектор, каждый элемент которого является суммой элементов , для которых выполняется условие .

7) SumVariance – отражает отличие элемента от значения энтропии вектора . Признак вычисляется по формуле ^[1]:

8) SumEntropy – отражает неравномерность (хаотичность) вектора . Признак вычисляется по формуле ^[1]:

9) Entropy – отражает неравномерность (хаотичность) текстуры. Низкое значение признака соответствует неоднородной текстуре, а высокое значение – однородной. Признак вычисляется по формуле ^[1]:

10) DiffVariance – отражает отличие элемента от среднего значения вектора . Признак вычисляется по формуле ^[1]:

В этой формуле представляет собой вектор, каждый элемент которого является суммой элементов , для которых выполняется условие .

11) DiffEntropy– отражает неравномерность (хаотичность) вектора . Признак вычисляется по формуле ^[1]:

12) First Information Measure of Correlation – данный признак описан в работе ^[4]. Вычисляется по формуле ^[4]:

13) Second Information Measure of Correlation – данный признак описан в работе ^[4]. Вычисляется по формуле ^[4]:

В формулах (12) и (13) параметры HX и HY представляют собой значения энтропии векторов и соответственно. Формулы остальных параметров указаны далее:

14) Cluster Shade – является мерой асимметрии изображения. При высоком значении признака изображение является асимметричным. Признак вычисляется по формуле ^[5]:

15) ClusterProminence – также является мерой асимметрии изображения. Чем больше значение признака, тем менее симметрично изображение. Кроме того, при низких значениях признака максимальный элемент матрицы P близок к среднему значению матрицы. Признак вычисляется по формуле ^[5]:

Критерии оценки качества сегментации

Для оценки качества сегментации было выбрано 4 эмпирических критерия, подразумевающих, что оценивается не сам алгоритм, а результат его работы на некотором наборе тестовых изображений. Эмпирические методики, в свою очередь, подразделяются на контролируемые и неконтролируемые (автоматические). В данном исследовании не рассматривались неконтролируемые методики оценки, так как отсутствовала необходимость вычисления оценки непосредственно в процессе сегментации, требовалось оценить только конечный результат. Исходя из этого, выбранные критерии рассматривались относительно эталонной сегментации. Выбор критериев оценки основывается на работах ^[3] и ^[7], в которых авторы выполнили анализ и провели сравнение основных критериев оценки качества сегментации изображения.

Далее приведено описание выбранных критериев оценки:

1) Первый критерий – процентное отношение количества неправильно классифицированных пикселей класса к общему количеству пикселей этого класса на эталонном изображении. Значение критерия вычисляется по формуле ^[6]:

В данной формуле представляет собой количество пикселей, которые действительно принадлежат классу, а является количеством пикселей того же класса, которые были правильно классифицированы. Чем ниже значение критерия, тем выше качество сегментации.

2) Второй критерий – процентное отношение количества пикселей, ошибочно причисленных к классу, к общему числу пикселей других классов на эталонном изображении. Значение критерия вычисляется по формуле ^[6]:

В данной формуле представляет собой количество пикселей, отнесённых к классу при сегментации, а является количеством пикселей всех классов на изображении. Чем ниже значение критерия, тем выше качество сегментации.

3) Третий критерий учитывает расстояние между неправильно классифицированным пикселем и сегментом, к которому он бы ошибочно отнесён. Значение критерия вычисляется по формуле ^[6]:

В данной формуле N представляет собой количество ошибочно классифицированных пикселей, а является расстоянием между ошибочно классифицированным i-ым пикселем и ближайшим пикселем, в действительности относящимся к классу i-ого пикселя. Чем ниже значение критерия, тем выше качество сегментации.

4) Четвёртый критерий схож с третьим. Однако, чем выше значение критерия, тем выше качество сегментации. Критерий вычисляется по формуле ^[6]:

Результаты

Вычисление текстурных признаков выполнялось на тестовом наборе из 10 изображений (представлены на рисунке 1) для 32 уровней серого (согласно работе ^[2]) и при размере скользящего окна в 5 пикселей. Для каждого изображения тестового набора вручную было сформировано изображение с эталонной сегментацией (представлены на рисунке 2).

Для вычисления значений признаков и критериев оценки была написана программа на языке программирования C++. На основе значений каждого текстурного признака была выполнена сегментация тестовых изображений – каждый сегмент изображения (размер сегмента соответствует размеру скользящего окна) раскрашивался одним из 10 цветов в зависимости от значения текстурного признака. Примеры сегментации изображений представлены на рисунке 3.

Далее с помощью реализованной программы каждая полученная сегментация сопоставлялась с эталонной сегментацией путём вычисления значений критериев оценки. Из полученных значений была сформирована итоговая таблица.

Рисунок 1 – Тестовый набор изображений

Рисунок 2 – Эталонная сегментация для тестового набора изображений

Рисунок 3 – Сегментация пятого изображения тестового набора на основе пятнадцати текстурных признаков

Таблица 1 – Значения критериев оценки сегментации для рассматриваемых текстурных признаков

Из таблицы 1 видно, что на тестовой выборке лучшие результаты сегментирования показали текстурные признаки: Variance, SumAverage, SumVariance, Cluster Shade и ClusterProminence. В таблице они выделены жирным шрифтом. Кроме того, стоит отметить, что данные признаки имеют лучшие результаты сегментации по каждому из критериев.

Заключение

Сегментация, безусловно, является важным этапом при решении задачи анализа изображения, так как она напрямую влияет на конечный результат анализа. В данной статье рассматривался метод сегментации изображения с помощью текстурных признаков, вычисляемых на основе матриц яркостной зависимости. В рамках исследования было выбрано 15 текстурных признаков и 4 критерия оценки качества сегментации. Согласно выбранным критериям была установлена пятёрка текстурных признаков, которые показали лучшие результаты сегментации по сравнению с остальными. Из этого следует, что в дальнейших исследованиях, в особенности при реализации сегментации на основе нескольких признаков, вышеуказанная пятёрка признаков должна иметь больший вес по сравнению с остальными.