Translate this page:
Please select your language to translate the article


You can just close the window to don't translate
Library
Your profile

Back to contents

Cybernetics and programming
Reference:

Textural signs in the problem of segmentation of aerial photographs based on luminance dependence matrices

Tymchuk Andrey Igorevich

graduate student, Kuban State Technological University

350080 181, kv.103, Russia, Krasnodarskii Krai oblast', g. Krasnodar, ul. Sormovskaya, 181, kv. 103

tymchuk.2017@bk.ru
Other publications by this author
 

 

DOI:

10.25136/2644-5522.2018.6.28395

Received:

13-12-2018


Published:

20-12-2018


Abstract: Computer image analysis is an automatic image processing, in the process of which the definition and classification of objects located on the image takes place. One of the most important stages of this analysis is image segmentation, by means of which, based on a set of characteristics (color, texture, brightness, etc.), the initial image is divided into many non-intersecting areas. The importance of the stage lies in the significant impact of segmentation on the final result of the analysis.The object of the research is the method of texture segmentation of the image based on the construction and use of luminance dependence matrices. The subject of the research is the effect of textural features on the quality of image segmentation. Special attention is paid to the calculation of the textural attributes and segmentation evaluation criteria.The research methodology is based on the analysis of texture segmentation of images using empirical evaluation criteria and reference segmentation. The main conclusion of the study is the conclusion about the choice of a set of textural features that showed the best segmentation results. This conclusion was made on the basis of the analysis of the values of the selected criteria for assessing the quality of segmentation. The textural segmentation of images and the evaluation criteria were performed on the basis of the developed program in the C ++ programming language. The novelty of the study is in the analysis of textural characteristics regarding the quality of image segmentation, made on their basis.


Keywords:

image processing, texture, segment, texture segmentation, texture analysis, textural feature, texture characteristic, Gray Level Co-occurrence Matrix, image segmentation evaluation criteria, reference segmentation


Введение

На сегодняшний день существует огромное множество методов сегментации и их различных вариаций. Обусловлено это тем, что для задачи сегментации изображения не существует универсального решения, и используемый метод выбирается исходя из специфики задачи.

При текстурной сегментации аэрофотоснимков для описания текстуры используются текстурные признаки. Один из способов их вычисления – метод матриц яркостной зависимости, который был разработан и предложен Робертом М. Хараликом в 1973 году [1]. Преимущество данного метода заключается в простоте реализации и возможности установления пространственной связи между парой пикселей относительно расстояния и угла между ними.

Цель данного исследования заключается в определении текстурных признаков, оказывающих наибольшее влияние на общее качество сегментации изображения. Иными словами, требуется выделить те признаки, которые дадут наилучшие показатели по заданным критериям оценки качества сегментации. Для исследования было выбрано 15 текстурных признаков и 4 критерия оценки. Выбранные признаки – это стандартные признаки, вычисляемые на основе матриц яркостной зависимости. В качестве критериев оценки были выбраны эмпирические критерии, основанные на количестве и месторасположении неправильно классифицированных пикселей. Выбор критериев оценки основывается на работе [3], в которой авторы выполнили анализ и провели сравнение основных критериев оценки качества сегментации изображения. Стоит отметить, что все выбранные критерии вычисляются на основе сравнения результата с эталонной сегментацией. В данном исследовании не рассматривались автоматические (неконтролируемые) методики оценки, так как отсутствовала необходимость вычисления оценки непосредственно в процессе сегментации, требовалось оценить только конечный результат.

Для вычисления текстурных признаков и получения оценки была написана программа на языке программирования C++. Было выбрано 10 различных аэрофотоснимков сельскохозяйственных угодий и выполнена оценка качества сегментации на основании рассматриваемых текстурных признаков. По результатам оценки обозначены 5 признаков, которые показали лучшие результаты сегментации.

Текстурные признаки

Текстурный признак представляет собой низкоуровневый признак изображения, который можно использовать для описания содержимого изображения или его региона в дополнение или вместо стандартных признаков, основывающихся только на цветовой характеристике.

Для вычисления текстурных признаков можно использовать несколько методов. Один из известных – метод матриц яркостной зависимости. Исходя из названия, основой для вычисления текстурных признаков в данном методе служит соответствующая матрица. Обозначим её с помощью P. Матрица имеет размер K, который соответствует количеству уровней серого на рассматриваемом изображении. Каждый элемент матрицы вычисляется путём подсчёта количества соседних расположений пикселей с уровнями серого i и j. После этого, как правило, матрицу приводят к нормализованному виду – каждый элемент матрицы делится на сумму всех элементов. В случае нормализованной матрицы каждый элемент содержит значение вероятности того, что пиксель со значением i будет найден рядом с пикселем значения j. Также важно отметить, что соседство двух пикселей определяется на основе двух параметров: расстоянию между пикселями d и угловому направлению φ. Алгоритм вычисления матрицы яркостной зависимости подробно рассмотрен в статье [2].

В работе [1] было описано 14 текстурных признаков. В данном исследовании учтены все из них кроме последнего (MaximalCorrelationCoefficient) – он был опущен по причине сложности вычисления. Также учитывались 2 дополнительных признака – Cluster Shade и ClusterProminence. Они не описаны в [1], но часто упоминаются в работах, относящихся к тематике сегментации изображений.

Далее приведено описание рассматриваемых текстурных признаков:

1) Energy – отражает однородность распределения уровней серого на изображении. Альтернативное название признака – AngularSecondMoment. Когда текстура однородна, то есть в рассматриваемой области часто встречаются одни и те же пары соседних пикселей, значение признака будет большим. Признак вычисляется по формуле [1]:

2) Contrast – является мерой различий уровня серого между рассматриваемым пикселем и его соседом. Большие значения признака говорят о сильном различии между уровнями серого соседних пикселей. Признак вычисляется по формуле [1]:

3) Correlation – является мерой линейной зависимости уровня серого между пикселями в указанных положениях относительно друг друга, отражает постоянство рассматриваемой текстуры. Признак вычисляется по формуле [1]:

В этой формуле , и , являются среднеквадратическим отклонением и средним арифметическим для векторов и соответственно, которые представляют собой массивы поэлементных сумм строк и столбцов матрицы P.

4) Variance – отражает отличие элемента от среднего значения матрицы P. Альтернативное название признака – SumofSquares. Признак вычисляется по формуле [1]:

В этой формуле μ является средним арифметическим элементов матрицы P.

5) InverseDifferenceMoment – отражает однородность рассматриваемой текстуры. Высокие значения признака означают отсутствие локальных отличий от общего вида текстуры. Альтернативное название признака – Homogeneity. Признак вычисляется по формуле [1]:

6) SumAverage – отражает преобладание соседнего расположения пикселей, которые в совокупности имеют высокую яркость. Признак вычисляется по формуле [1]:

В этой формуле представляет собой вектор, каждый элемент которого является суммой элементов , для которых выполняется условие .

7) SumVariance – отражает отличие элемента от значения энтропии вектора . Признак вычисляется по формуле [1]:

8) SumEntropy – отражает неравномерность (хаотичность) вектора . Признак вычисляется по формуле [1]:

9) Entropy – отражает неравномерность (хаотичность) текстуры. Низкое значение признака соответствует неоднородной текстуре, а высокое значение – однородной. Признак вычисляется по формуле [1]:

10) DiffVariance – отражает отличие элемента от среднего значения вектора . Признак вычисляется по формуле [1]:

В этой формуле представляет собой вектор, каждый элемент которого является суммой элементов , для которых выполняется условие .

11) DiffEntropy– отражает неравномерность (хаотичность) вектора . Признак вычисляется по формуле [1]:

12) First Information Measure of Correlation – данный признак описан в работе [4]. Вычисляется по формуле [4]:

13) Second Information Measure of Correlation – данный признак описан в работе [4]. Вычисляется по формуле [4]:

В формулах (12) и (13) параметры HX и HY представляют собой значения энтропии векторов и соответственно. Формулы остальных параметров указаны далее:

14) Cluster Shade – является мерой асимметрии изображения. При высоком значении признака изображение является асимметричным. Признак вычисляется по формуле [5]:

15) ClusterProminence – также является мерой асимметрии изображения. Чем больше значение признака, тем менее симметрично изображение. Кроме того, при низких значениях признака максимальный элемент матрицы P близок к среднему значению матрицы. Признак вычисляется по формуле [5]:

Критерии оценки качества сегментации

Для оценки качества сегментации было выбрано 4 эмпирических критерия, подразумевающих, что оценивается не сам алгоритм, а результат его работы на некотором наборе тестовых изображений. Эмпирические методики, в свою очередь, подразделяются на контролируемые и неконтролируемые (автоматические). В данном исследовании не рассматривались неконтролируемые методики оценки, так как отсутствовала необходимость вычисления оценки непосредственно в процессе сегментации, требовалось оценить только конечный результат. Исходя из этого, выбранные критерии рассматривались относительно эталонной сегментации. Выбор критериев оценки основывается на работах [3] и [7], в которых авторы выполнили анализ и провели сравнение основных критериев оценки качества сегментации изображения.

Далее приведено описание выбранных критериев оценки:

1) Первый критерий – процентное отношение количества неправильно классифицированных пикселей класса к общему количеству пикселей этого класса на эталонном изображении. Значение критерия вычисляется по формуле [6]:

В данной формуле представляет собой количество пикселей, которые действительно принадлежат классу, а является количеством пикселей того же класса, которые были правильно классифицированы. Чем ниже значение критерия, тем выше качество сегментации.

2) Второй критерий – процентное отношение количества пикселей, ошибочно причисленных к классу, к общему числу пикселей других классов на эталонном изображении. Значение критерия вычисляется по формуле [6]:

В данной формуле представляет собой количество пикселей, отнесённых к классу при сегментации, а является количеством пикселей всех классов на изображении. Чем ниже значение критерия, тем выше качество сегментации.

3) Третий критерий учитывает расстояние между неправильно классифицированным пикселем и сегментом, к которому он бы ошибочно отнесён. Значение критерия вычисляется по формуле [6]:

В данной формуле N представляет собой количество ошибочно классифицированных пикселей, а является расстоянием между ошибочно классифицированным i-ым пикселем и ближайшим пикселем, в действительности относящимся к классу i-ого пикселя. Чем ниже значение критерия, тем выше качество сегментации.

4) Четвёртый критерий схож с третьим. Однако, чем выше значение критерия, тем выше качество сегментации. Критерий вычисляется по формуле [6]:

Результаты

Вычисление текстурных признаков выполнялось на тестовом наборе из 10 изображений (представлены на рисунке 1) для 32 уровней серого (согласно работе [2]) и при размере скользящего окна в 5 пикселей. Для каждого изображения тестового набора вручную было сформировано изображение с эталонной сегментацией (представлены на рисунке 2).

Для вычисления значений признаков и критериев оценки была написана программа на языке программирования C++. На основе значений каждого текстурного признака была выполнена сегментация тестовых изображений – каждый сегмент изображения (размер сегмента соответствует размеру скользящего окна) раскрашивался одним из 10 цветов в зависимости от значения текстурного признака. Примеры сегментации изображений представлены на рисунке 3.

Далее с помощью реализованной программы каждая полученная сегментация сопоставлялась с эталонной сегментацией путём вычисления значений критериев оценки. Из полученных значений была сформирована итоговая таблица.

Рисунок 1 – Тестовый набор изображений

Рисунок 2 – Эталонная сегментация для тестового набора изображений

Рисунок 3 – Сегментация пятого изображения тестового набора на основе пятнадцати текстурных признаков

K1

K2

K3

K4

F1

70,1

14,1

16,6

0,31

F2

70,4

20,7

14

0,27

F3

64,2

17,1

17,1

0,27

F4

50,8

4,9

8,2

0,38

F5

71,3

13,9

18,1

0,32

F6

50,9

4,5

8,8

0,38

F7

50,7

4,1

7,6

0,39

F8

68,6

13,2

15,6

0,33

F9

69,2

13,4

17,3

0,32

F10

71,5

13,6

18,1

0,32

F11

72,1

15,3

17,3

0,31

F12

72,8

17,7

18,1

0,29

F13

72,5

13

16,6

0,33

F14

52,9

6,2

10,4

0,35

F15

56,2

8,5

8,6

0,35

Таблица 1 – Значения критериев оценки сегментации для рассматриваемых текстурных признаков

Из таблицы 1 видно, что на тестовой выборке лучшие результаты сегментирования показали текстурные признаки: Variance, SumAverage, SumVariance, Cluster Shade и ClusterProminence. В таблице они выделены жирным шрифтом. Кроме того, стоит отметить, что данные признаки имеют лучшие результаты сегментации по каждому из критериев.

Заключение

Сегментация, безусловно, является важным этапом при решении задачи анализа изображения, так как она напрямую влияет на конечный результат анализа. В данной статье рассматривался метод сегментации изображения с помощью текстурных признаков, вычисляемых на основе матриц яркостной зависимости. В рамках исследования было выбрано 15 текстурных признаков и 4 критерия оценки качества сегментации. Согласно выбранным критериям была установлена пятёрка текстурных признаков, которые показали лучшие результаты сегментации по сравнению с остальными. Из этого следует, что в дальнейших исследованиях, в особенности при реализации сегментации на основе нескольких признаков, вышеуказанная пятёрка признаков должна иметь больший вес по сравнению с остальными.

References
1. Haralick R. M., Shanmugan K., Dinstein I. Textural Features for Image Classification // IEEE Trans. Systems, Man and Cybernetics. 1973, vol. 3, no. 6, pp. 610-621.
2. Tymchuk A. I. O vybore urovnei serogo v zadache teksturnoi segmentatsii izobrazhenii na osnove matrits yarkostnoi zavisimosti // Kibernetika i programmirovanie №3, 2018. – S. 1-9.
3. Zhang Y. J. A Survey On Evaluation Methods for Image Segmentation // Pattern Recognition, vol. 29, no. 8, 1996, pp. 1335-1346.
4. Linfoot E. H. An Informational Measure of Correlation // Information and Control, vol. 1, no. 1, pp. 85-89, 1957.
5. Yang X., Tridandapani S., Beitler J. J., Yu D. S., Yoshida E. J., Curran W. J., Liu T. Ultrasound GLCM texture analysis of radiation-induced parotid-gland injury in head-and-neck cancer radiotherapy: an in vivo study of late toxicity // Med Phys, vol. 39, no. 9, pp. 5732–5739, 2012.
6. Zakharov A. V., Kol'tsov P. P., Kotovich N. V., Kravchenko A. A., Kutsaev A. S., Osipov A. S. Kriterii otsenki kachestva segmentatsii izobrazhenii // TRUDY NIISI RAN, Tom 2, № 2, 2012. – S. 87-99.
7. Zhang Y. J. A review of recent evaluation methods for image segmentation // Proc. of Sixth International Symposium on Signal Processing and its Applications (ISSPA 2001), vol. 1, 2001, pp.148-151.