Translate this page:
Please select your language to translate the article


You can just close the window to don't translate
Library
Your profile

Back to contents

Cybernetics and programming
Reference:

Entropy estimation of the fragments of chest X-ray images

Rumyantsev Aleksei Aleksandrovich

Postgraduate student, the department of Computing Systems, Kazan National Research Technical University named after A. N. Tupolev

420037, Russia, respublika Tatarstan, g. Kazan', ul. Adoratskogo, 30, kv. 51

medicalscan@mail.ru
Bikmuratov Farkhad Mansurovich

Postgraduate student, the department of Computing Systems, Kazan National Research Technical University named after A .N. Tupolev

420111, Russia, respublika Tatarstan, g. Kazan', ul. Bol'shaya Krasnaya, 55, kab. 432

txf13@bk.ru
Pashin Nikolai Pavlovich

Postgraduate student, the department of Computing Systems, Kazan National Research Technical University named after A .N. Tupolev

420124, Russia, respublika Tatarstan, g. Kazan', ul. Bol'shaya Krasnaya, 55, kab. 432

txf13@yandex.ru

DOI:

10.25136/2644-5522.2021.1.31676

Received:

10-12-2019


Published:

01-10-2021


Abstract: The subject of this research is medical chest X-ray images. After fundamental pre-processing, the accumulated database of such images can be used for training deep convolutional neural networks that have become one of the most significant innovations in recent years. The trained network carries out preliminary binary classification of the incoming images and serve as an assistant to the radiotherapist. For this purpose, it is necessary to train the neural network to carefully minimize type I and type II errors. Possible approach towards improving the effectiveness of application of neural networks, by the criteria of reducing computational complexity and quality of image classification, is the auxiliary approaches: image pre-processing and preliminary calculation of entropy of the fragments. The article provides the algorithm for X-ray image pre-processing, its fragmentation, and calculation of the entropy of separate fragments. In the course of pre-processing, the region of lungs and spine is selected, which comprises approximately 30-40% of the entire image. Then the image is divided into the matrix of fragments, calculating the entropy of separate fragments in accordance with Shannon’s formula based pm the analysis of individual pixels. Determination of the rate of occurrence of each of the 255 colors allows calculating the total entropy. The use of entropy for detecting pathologies is based on the assumption that its values differ for separate fragments and overall picture of its distribution between the images with the norm and pathologies. The article analyzes the statistical values: standard deviation of error, dispersion. A fully connected neural network is used for determining the patterns in distribution of entropy and its statistical characteristics on various fragments of the chest X-ray image.


Keywords:

image entropy, fragments, deep convolutional neural network, machine learning, x-rays images, computational experiment, matrix of elements, image preprocessing, statistical analysis, binary classification


Введение

В настоящее время одним из основных источников диагностической информации в медицине являются рентгеновские изображения. Для осуществления быстрой и качественной автоматизированной обработки снимков, может быть использована обученная глубокая сверточная нейронная сеть, которая анализирует рентгеновские изображения и определяет вероятность наличия заболевания – патологии у пациента, осуществляя бинарную классификацию. Перспективность такого подхода была показана в работе [1]. Повышение эффективности применения рассматриваемого класса нейросетей, по критерию уменьшения вычислительной сложности, может быть достигнуто за счет применения вспомогательных подходов предобработки изображений и предварительного вычисления энтропии его фрагментов. Это востребовано по причине сложности задачи классификации изображений и высоких требований к уровню доверия нейросети. Альтернативой такому подходу может выступать идея использования параллельных СУБД в процессе обучения нейросети [2-7]. Информационная энтропия – мера неопределенности, определяемая Клодом Шенноном для дискретных событий как сумма с противоположным знаком всех относительных частот появления состояния, умноженных на их же двоичные логарифмы [8]. Поскольку рентгеновские изображения представляют собой набор некоторой закодированной информации, то для них также возможен расчет энтропии. Определяя частоту появления каждого из 255 цветов, вычисляется суммарная энтропия. Данный метод применим как к целым изображениями, так и фрагментам заданного размера.

Использование энтропии для обнаружения патологий основано на предположении о различиях энтропии отдельных фрагментов и общей картины ее распределения между снимками с нормой и патологиями. Статистический анализ распределения энтропии на выборках изображений позволяет оценить перспективность данного подхода, а применение нейронных сетей реализовать самостоятельный подход к классификации изображений или повысить эффективность других подходов при помощи локализации аномальных фрагментов.

Для решения задачи расчета, анализа и оценки энтропии реализован набор скриптов обработки снимков, была разработана нейросеть, проведено ее обучение. В статье представлены: описание процесса расчета энтропии и предобработки снимков, используемой базы изображений, статистический анализ и оценка энтропии фрагментов изображений, результаты вычислительных экспериментов по применению полносвязной нейронной сети для задачи бинарной классификации исходных рентгеновских снимков для выделения патологий, оценка эффективности данного подхода.

Выделение легких на изображениях

В рамках рассматриваемой задачи мы имеем дело с рентгеновскими черно-белыми изображениями легких в специальном формате медицинских снимков DICOM. База флюорографических снимков представляет собой статистический набор из 10000/10000 рентгеновских изображений с различной категорией принадлежности: норма, патология. Основную часть снимка занимают легкие и позвоночник, составляющие около 30-40% всего снимка. Поэтому важной задачей при работе с энтропией является предварительное отсечение лишних фрагментов изображения, не содержащих полезной информации. Более подробно существующие методы и используемый алгоритм фрагментного выделения легких описан в работе [9].

Рис. 1 – Примеры снимков: исходный, с выделенным позвоночником, итоговый обработанный

На выходе после обработки данным алгоритмом на основе вспомогательной нейросети формируется частично зафрагментированное черным цветом изображение, содержащее только практически полезную для выявления патологий информацию.

Алгоритм расчета и применения энтропии

Для решения задачи была разработана программная система на языке C# с использованием библиотеки FANN, представляющая собой модуль расчета энтропии по формуле Шеннона для заданного размера фрагментов изображения, модуль полносвязной нейронной сети, а также обучающий модуль на языке C++.

В рамках принятого подхода исходное изображение разделяется на фрагменты, формируя матрицы элементов 4x4, 8x8 и 16x16. Расчет элементов матрицы осуществляется проходом по всем пикселям изображения в ширину и высоту с приращением исходно нулевых элементов частоты распределения цветов для каждого соответству-ющего фрагмента в матрице энтропии. Затем массивы распределения цветов нормализуются и по формуле Шеннона вычисляется энтропия в каждом из фрагментов. В дальнейшем алгоритм при необходимости повторяется, если требуется более детальное изучение отдельных фрагментов. Альтернативой рассмотренного подхода может служить использование параллельных алгоритмов обработки данных.

Результаты расчета энтропии подаются на вход полносвязной нейросети с указанием категории, происходит обучение каскадным алгоритмом [10] и оценка эффективности на тестовой выборке из 1000/1000 снимков.

Статистический анализ энтропии

Для оценки перспективности применения энтропии в задаче медицинской диагностики необходимо произвести первичную оценку результатов расчета энтропии. С целью удобства интерпретации используется фрагментация 4x4 на выборке из 100 равномерно отобранных изображений, с детальным исследованием наиболее интересных фрагментов при 8x8. Диаграммы рядов энтропии для большинства фрагментов не выявили статистически значимой разницы между нормой и патологией (рис. 2).

Рис.2 – Энтропия центральных верхних фрагментов

Однако фрагменты, расположенные в нижней части легких слева и справа от позвоночника (центральные нижние фрагменты) показали заметную разницу в распределении энтропии (рис. 3) при сравнении с линиями (зеленая, голубая) минимальных пиковых значений снимков с нормой и рядом снимков с патологиями, имеющими меньшую энтропию.

Рис. 3– Энтропия центральных нижних фрагментов

Детальное исследование энтропии аномальных фрагментов показало более сложную картину для визуальной фрагментарной интерпретации с меньшими, но заметными отклонениями у центральных фрагментов вдоль позвоночника. Анализ статистических показателей (рис 4, 5) показал рост стандартного отклонения ошибки и дисперсии от верхних к нижним фрагментам, а также преобладающее превосходство данных показателей у снимков с патологией.

Рис. 4 – Статистические характеристики фрагментов (1000/1000 4x4)

Таким образом, можно сделать вывод, что определенные закономерности в распределении энтропии и ее статистических характеристик на различных фрагментах флюорографического снимка имеются и могут быть использованы для более комплексного анализа всей картины распределения на снимке.

Рис. 5 – Статистические характеристики центральных фрагментов (1000/1000 8x8)

Анализ нейронными сетями

Учет распределения энтропии между отдельными фрагментами изображения может позволить обнаруживать закономерности, полезные при выявлении патологий [11]. В рамках данной работы исследована эффективность полносвязной нейронной сети в задаче бинарной классификации исходных рентгеновских изображений [12,13]. Структура нейросети представляет собой входные элементы (16, 64, 256) для анализа матрицы фрагментов соответствующего размера, 1 выход и каскадно формируемую алгоритмом обучения внутреннюю структуру. Сеть каскадной корреляции Фальмана - многослойная конструкция с подбором структуры параллельно при обучении, добавлением одного скрытого нейрона на каждом шаге [14]. Обучающая база представляет собой 10000/10000 снимков, преобразованных в матрицы энтропии. Среднеквадратичная ошибка в ходе обучения составила 0.001.

Полученные результаты представлены в таблице 1. Средняя эффективность классификации по каждой категории возрастает с увеличением степени фрагментации изображения и достигает уровня 67.2%, что говорит о существовании определенных закономерностей в распределении энтропии на флюорографическом снимке. Структура нейросети с увеличением детализации уменьшается, что означает наличие более явных признаков при меньших фрагментах для классификации. Таким образом, распределение энтропии на рентгеновском изображении легких действительно содержит информацию, применимую при классификации в задаче медицинской диагностики и может использоваться как вспомогательный подход, например, в задаче локализации патологии, что является предметом дальнейших исследований.

Таблица 1. Эффективность применения нейросети

Степень фрагментации

Уровень корректной классификации

Количество эпох обучения

(прирост 300 нейронов за эпоху)

4x4

60.4%

220

8x8

64.4%

137

16x16

67.2%

118

Заключение

Проведенное статистическое и экспериментальное исследование энтропии изображения при различной детализации фрагментов показывает возможность применения данной характеристики для классификации патологий на рентгеновских снимках, открывает перспективы для оценки энтропии сверточными нейронными сетями, а также использования данного подхода в качестве средства локализации аномальных фрагментов изображения для детализации анализа в сочетании с другими методами бинарной классификации.

References
1. Rumyantsev A.A., Minyazev R.Sh., Dyganov S.A., Golovanov R.A., Perukhin M.Yu. Vestnik tekhnologicheskogo universiteta, 21, 8, 124-127 (2018).
2. Minyazev R.Sh., Dyganov S.A., Gumerov I.R., Perukhin M.Yu. Vestnik tekhnologicheskogo universiteta, 21, 9, 132-135 (2018).
3. Minyazev R.Sh., Khanov L.K., Khafizova A.Sh., Perukhin M.Yu. Vestnik tekhnologicheskogo universiteta, 20, 23, 65-67 (2017).
4. Pavlov D.A., Minyazev R.Sh. Poisk effektivnykh reshenii v protsesse sozdaniya i realizatsii nauchnykh razrabotok v rossiiskoi aviatsionnoi i raketno-kosmicheskoi promyshlennosti. Sbornik materialov mezhdunarodnoi nauchno-prakticheskoi konferentsii. 2014. S. 542-544.
5. Minyazev R.Sh. Nelineinyi mir, 10, 3, 173-179 (2012).
6. Minyazev R.Sh., Raikhlin V.A. Vestnik KGTU im. A.N. Tupoleva, №1, 149-158 (2011).
7. Raikhlin V.A., Minyazev R.Sh. Nelineinyi mir, 9, 8, 473-481 (2011).
8. Shennon K. Raboty po teorii informatsii i kibernetike.-M.: Izd-vo inostrannoi literatury, 1963.-830 s.
9. R.V. Zakharov. Mashinnoe obuchenie v meditsine. Avtomaticheskoe raspoznavanie legkikh na flyuorograficheskikh snimkakh. MatMekh SPbGU, 2016.
10. C. Manning and R. Socher. Kurs lektsii: natural language processing with deep learning”. http://web.stanford.edu/class/cs224n/. – Data obrashcheniya: 01.06.2019
11. Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian recognition. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp.770-778.
12. R. Sh. Minyazev et al. // Bulletin of the Russian Academy of Sciences: Physics, 2018, Vol. 82, No. 12. P. 1529.
13. R. Sh. Minyazev et al. // Bulletin of the Russian Academy of Sciences: Physics, 2019, Vol. 83, No. 12. P. 1655.
14. Osovskii S. Neironnye seti dlya obrabotki informatsii / Per. s pol'skogo I.D. Rudinskogo.-M.: Finansy i statistika, 2002.-344 s.