Translate this page:
Please select your language to translate the article


You can just close the window to don't translate
Library
Your profile

Back to contents

Cybernetics and programming
Reference:

Mathematical means and software for digital image processing when evaluating the linear resolution of aerial photographic systems

Chausov Evgenii Viktorovich

Senior Test Engineer, Chkalov State Flight Test Center

416507, Russia, Astrakhanskaya oblast', g. Akhtubinsk, ul. Akademika Kharitonova, 1, of. 12

gniiivm-z@ya.ru
Molchanov Andrey Sergeevich

PhD in Technical Science

Head of Department of the Chkalov State Flight Test Center

416507, Russia, Astrakhanskaya oblast', g. Akhtubinsk, ul. Bakhchivandzhi, 24, of. 7

gniiivm-m@ya.ru

DOI:

10.25136/2644-5522.2020.1.32974

Received:

22-05-2020


Published:

03-07-2020


Abstract: The authors consider the issues of evaluating digital aerial photographic systems based on the modulation transfer function. Special attention is paid to the issues of synthesis of mathematical and software for processing digital images when evaluating the linear resolution of aerial photographic systems. The basis of the mathematical support is the original method for evaluating the linear resolution on the ground using the modulation transfer function, taking into account the results of the flight experiment. The software is implemented in an automated complex for image processing of digital aerial photographic systems, which automatically calculates the modulation transfer function based on the results of the flight experiment. The research methodology combines methods of systems analysis, digital image processing, probability theory, mathematical modeling and software engineering. The main conclusion of the study, confirmed by the results of determining the experimental function of modulation transfer using an automated image processing complex based on images obtained during flight tests of a digital camera of the complex from the Orlan-10 unmanned aerial vehicle, is to confirm the operability of the developed automated complex for digital image processing, which makes it possible to use it to estimate the linear resolution on the ground during flight tests of aerial photographic systems of aerial reconnaissance and surveillance.


Keywords:

digital image processing, modulation transfer function, linear terrain resolution, bar image, digital aerial photography system, flight tests, unmanned aerial vehicle, image decryption, automated image processing, automation of aerial reconnaissance


Математическое и программное обеспечение обработки цифровых изображений при оценивании линейного разрешения аэрофотографических систем

Авторы рассматривают вопросы оценивания цифровых аэрофотографических систем на основе функции передачи модуляции. Особое внимание уделяется вопросам синтеза математического и программного обеспечения обработки цифровых изображений при оценивании линейного разрешения аэрофотографических систем. Основу математического обеспечения составляет оригинальная методика оценивания линейного разрешения на местности с помощью функции передачи модуляции с учетом результатов летного эксперимента. Программное обеспечение реализовано в автоматизированном комплексе обработки изображений цифровых аэрофотографических систем, осуществляющем автоматизированное вычисление функции передачи модуляции по результатам летного эксперимента.

Методология исследования объединяет методы системного анализа, обработки цифровых изображений, теории вероятностей, математического моделирования, программной инженерии.

Основным выводом проведенного исследования, полученными в результате определения экспериментальной функции передачи модуляции с помощью автоматизированного комплекса обработки изображений по изображениям, полученным при проведении лётных испытаний цифровой фотокамеры комплекса с беспилотного летательного аппарата «Орлан-10», является подтверждение работоспособности разработанного автоматизированного комплекса обработки цифровых изображений, что позволяет использовать его для оценивания линейного разрешения на местности при проведении летных испытаний аэрофотографических систем воздушной разведки и наблюдения.

Ключевые слова: функция передачи модуляции, линейное разрешение на местности, штриховая мира, цифровая аэрофотографическая система, летные испытания.

Летные испытания являются важным этапом в создании цифровых аэрофотографических систем (ЦАФС) оборонного назначения (ОН), поскольку именно по результатам летных испытаний дается оценка эффективности ЦАФС ОН, на основе которой могут быть выданы рекомендации о принятии системы в эксплуатацию и постановки ее на серийное производство. Основной характеристикой эффективности ЦАФС ВН, оцениваемой в ходе летных испытаний, является линейное разрешение на местности (ЛРМ). На сегодняшний день, в соответствии с действующими нормативно-техническими документами системы общих технических требований, оценка ЛРМ занимает не менее 80% объема программы летных испытаний ЦАФС, что составляет до 20 полетов (пусков) ЛА (БЛА) в зависимости от сложности системы и предъявляемым к ней требованиям. С одной стороны эта цифра подчеркивает важность показателя ЛРМ, но с другой стороны – низкую эффективность существующего методического обеспечения летных испытаний ЦАФС.

Поиск путей и конкретных предложений совершенствования методического обеспечения летных испытаний ЦАФС является актуальной задачей. Одним из основных направлений интенсификации испытаний и повышения качества получаемых результатов является использование методов математического моделирования. Математическую модель ЦАФС можно представить как аналитическое выражение функции передачи модуляции (ФПМ), которая отражает снижение изображающих (резкостных) свойств ЦАФС, вследствие потерь и искажений как в самой системе, так и вне ее, обусловленных влиянием различных факторов (факторы атмосферы, полета, дешифровщика и т.д.) [1]. Такая модель позволяет оценивать ЛРМ ЦАФС без выполнения части полетов, что может значительно повысить эффективность методического обеспечения летных испытаний ЦАФС. Однако большое количество допущений, используемых при построении математической модели, и многообразие подходов к описанию некоторых звеньев ФПМ не обеспечивают требуемую для целей летных испытаний надежность полученных оценок ЛРМ, что затрудняет использование аналитической ФПМ на практике без предпринятых мер по уточнению математической модели. Уточнение модели заключается в приведении аналитического выражения ФПМ к виду, обеспечивающего сходимость графика аналитической ФПМ и экспериментальной ФПМ, полученной в ходе летного эксперимента.

Таким образом, для оценивания ЛРМ ЦАФС на основе ФПМ предлагается использовать следующую методику:

1. Построение математической модели (аналитической ФПМ) ЦАФС по известным математическим зависимостям [1, 2].

2. Определение экспериментальной ФПМ по результатам летного эксперимента.

3. Калибровка математической модели ЦАФС или построение уточненной математической модели (апостериорной ФПМ) на основе сопоставления аналитической и экспериментальной ФПМ и дальнейшего введения калибровочных коэффициентов для обеспечения сходимости аналитической и экспериментальной ФПМ.

4. Оценивание ЛРМ с помощью уточненной модели ЦАФС в соответствии с известными показателями разрешения (Шадэ, пороговой модуляционной характеристики, эмпирическими показателями и др.) [1].

Методические вопросы реализации пунктов 1 и 4 предлагаемой методики достаточно широко освещены в известных работах отечественных и зарубежных авторов, однако вопросы определения экспериментальной ФПМ по результатам летного эксперимента и калибровки модели ЦАФС не достаточно полно рассмотрены на сегодняшний день и заслуживают отдельных исследований. Рамками настоящей статьи рассмотрены вопросы определения экспериментальной ФПМ ЦАФС по результатам летного эксперимента.

Известно [2], что с уменьшением размеров объектов фотографирования уменьшаются яркостные различия в их изображении, т.е. уменьшается их контраст в изображении. Характеристика относительного распределения освещенности Е в изображении объекта, определяемая выражением Киз = (Еmax – Еmin)/(Еmax + Еmin), называется контрастом изображения. Отношение контраста изображения Киз к контрасту объекта Коб для данной пространственной частоты ν называется коэффициентом передачи модуляции Т: Т = Киз / Коб.

Зависимость коэффициента передачи модуляции Т от пространственной частоты ν представляет собой ФПМ: WЦАФС = Т(ν).

Таким образом, если на местности расположить периодический тест-объект, состоящий из чередующихся темных и светлых полос, ширина которых постепенно уменьшается, а перепад яркости между темными и светлыми полосами остается постоянным и характеризуется величиной Коб, и выполнить с помощью ЦАФС аэрофотографирование такого тест-объекта, то инструментальный анализ полученных аэрофотоснимков позволит определить экспериментальную ФПМ ЦАФС.

В качестве периодических тест-объектов выступают штриховые миры, представляющие собой набор групп чёрных и белых штрихов с постоянной шириной (пространственной частотой) в пределах группы и нарастающей (убывающей) от группы к группе (рис. 1).

Рисунок 1. Штриховые миры видимого диапазона

Цифровой формат аэрофотоснимков, получаемых ЦАФС, позволяет автоматизировать процесс определения экспериментальной ФПМ на автоматизированном рабочем месте с предустановленным на нем специальным программным обеспечением. Поэтому для целей определения экспериментальной ФПМ был разработан специальный автоматизированный комплекс обработки цифровых изображений (АКОЦИ). Данный Автоматизированный комплекс функционирует на базе ЭВМ с операционной системой Windows. В диалоговом режиме на экране монитора через систему меню и подсказок оператор в автоматизированном режиме может загружать цифровые изображения, полученные с помощью исследуемой ЦАФС, выполнять измерения освещённости интересующих участков изображения, рассчитывать коэффициенты передачи модуляции, проводить статистическую обработку результатов и строить графики экспериментальной ФПМ исследуемой ЦАФС [3].

Структурно АКОЦИ состоит из трех модулей [4]:

- «Модуль анализа изображений»;

- «Модуль вычислений»;

- «Модуль построения ФПМ».

Определение экспериментальной ФПМ с помощью АКОЦИ осуществляется в соответствии со следующим алгоритмом:

1) ввод изображений штриховой миры в «Модуль анализа изображений».

2) в «Модуле анализа изображений» осуществляется дешифрирование изображений штриховой миры и измерения освещенностей тёмных и светлых штрихов миры.

Дешифрирование изображения миры заключается в визуальном определении разницы в уровне серого тона между каждым светлым штрихом и соседними с ним темными штрихами. До тех пор пока визуально воспринимается разница между светлыми и темными штрихами (участками штрихов), производятся измерения освещенностей штрихов (участков штрихов). Те группы миры, по штрихам которых произведены измерения, принимаются за распознанные группы. Субъективный характер результатов дешифрирования обуславливает необходимость проводить дешифрирование не одним оператором, а k операторами. Причем для обеспечения надежности результатов дешифрирования необходимо k3 [5-7].

Далее для каждого i-го изображения штриховой миры каждым k-ым дешифровщиком выполняются измерения освещенностей миры Еmax jik и Еmin jik для каждой j-ой распознанной группы, где Еmax jik и Еmin jik – измеренные k-м дешифровщиком значения освещенностей светлого и темного штриха соответственно j-ой распознанной группы i-го изображения миры. Измерения Еmax jik и Еmin jik осуществляется в значениях уровня серого тона 0 и 255 соответственно для тёмных и светлых штрихов.

3) выполняется ввод в «Модуль вычислений» измеренных значений Еmax jik и Еmin jik, значений ширины dj штрихов распознанных групп (пространственных частот) миры, а также фактического (паспортного) значения модуляционного контраста миры Ко. После запуска расчета получают значения коэффициентов передачи модуляции Тj для каждой j-й распознанной группы миры [8-11]. Алгоритм расчета АКОЦИ построен таким образом, что при расчете Тj используются значения Еmax j и Еminj, полученные как среднее арифметическое результатов измерений Еmax jik и Еmin j i k соответственно.

4) в «Модуле построения ФПМ» на основе значений пространственных частот миры, равных νj = 1/dj, и соответствующим им значениям коэффициентов передачи модуляции Тj выполняется построение графика ФПМ [12-17].

Рассмотрим пример определения экспериментальной ФПМ с помощью АКОЦИ по изображениям, полученным при проведении лётных испытаний цифровой фотокамеры комплекса с БЛА «Орлан-10». В качестве тест-объекта использовалась штриховая мира видимого диапазона, которая имеет 11 групп штрихов. Аэрофотосъемка осуществлялась с высоты Н = 500 м.

Исходными данными для определения экспериментальной ФПМ цифровой фотокамеры БЛА «Орлан-10» с помощью АКОЦИ являются:

1) ширина штрихов миры d: 0,066 м; 0,082 м; 0,102 м; 0,128 м; 0,16 м; 0,2 м; 0,25 м; 0,31 м; 0,39 м; 0,49 м; 0,61м;

2) фактический модуляционный контраст миры: Ко = 0,5. Контраст миры определен по формуле Ко = (Lс Lт)/(Lс + Lт), где Lт и Lс – результаты замеров яркостей тёмных и светлых штрихов миры в ходе выполнения аэрофотосъемки;

3) общее количество отобранных для анализа аэрофотоснимков, на которых изображена мира: n = 5 (фрагмент одного из аэроснимков представлен на рис. 2);

Рисунок 2. Фрагмент изображения с мирой

4) количество дешифровщиков, выполняющих дешифрирование изображений миры и автоматизированное измерение освещенностей штрихов распознанных групп с помощью программных инструментов АКОЦИ: m = 3;

В результате работы на первом этапе в «Модуле анализа изображений» получены результаты измерений освещенностей тёмных и светлых штрихов миры, приведенные в таблице 1.

Таблица 1

Значения освещенностей светлых Еmax j i k и тёмных Еmin j i k штрихов миры

j

(№ группы)

dj, м

Еmax j i k,Еmin j i k

i=1

i=2

i=3

i=4

i=5

k=1

k=2

k=3

k=1

k=2

k=3

k=1

k=2

k=3

k=1

k=2

k=3

k=1

k=2

k=3

1

0,61

Еmax j i k

250

248

252

251

249

250

245

251

246

253

251

246

254

248

254

Еmax j i k

100

99

98

102

96

101

104

104

98

102

103

97

98

101

97

2

0,49

Еmax j i k

248

248

246

248

250

246

249

246

250

247

248

249

250

247

248

Еmax j i k

101

100

99

101

99

102

98

100

101

99

101

99

99

101

100

3

0,39

Еmax j i k

247

246

247

247

248

247

245

246

249

248

247

249

246

247

246

Еmax j i k

104

106

104

104

103

106

105

101

105

104

103

106

101

104

104

4

0,31

Еmax j i k

246

248

247

244

246

247

244

246

246

247

245

248

244

245

247

Еmax j i k

115

115

116

117

115

118

116

112

113

115

117

112

118

113

113

5

0,25

Еmax j i k

249

245

250

246

247

249

248

246

247

249

248

245

252

249

250

Еmax j i k

128

126

128

129

131

130

126

128

126

128

127

129

130

126

128

6

0,2

Еmax j i k

242

244

244

241

239

245

243

242

239

242

243

241

240

242

243

Еmax j i k

144

146

144

147

145

149

143

144

142

144

143

145

142

145

144

7

0,16

Еmax j i k

247

247

248

248

245

246

247

250

245

247

251

245

244

248

247

Еmax j i k

172

170

172

175

173

169

171

173

172

173

171

170

175

172

172

8

0,128

Еmax j i k

236

234

235

236

233

236

235

240

239

235

237

236

238

234

236

Еmax j i k

200

202

200

195

198

200

197

204

202

196

201

205

202

198

200

9

0,102

Еmax j i k

220

224

221

216

219

221

221

217

220

221

219

219

220

222

220

Еmax j i k

204

204

201

203

202

207

204

205

204

206

204

207

200

204

205

10

0,082

Еmax j i k

223

223

222

225

228

219

224

218

222

225

224

221

223

224

224

Еmax j i k

211

211

212

211

213

210

210

211

213

212

210

211

211

210

209

11

0,066

Еmax j i k

218

218

216

217

219

219

218

217

220

214

216

219

217

220

222

Еmax j i k

217

218

217

219

219

213

215

217

216

219

217

218

214

219

217

После ввода в «Модуль вычислений» результатов измерений, полученных на первом этапе, и запуска вычислительного процесса получены значения коэффициентов передачи модуляции Тj, приведенные в таблице 2.

Таблица 2

Значения коэффициентов передачи модуляции

Т

0,857

0,842

0,815

0,726

0,642

0,508

0,358

0,165

0,075

0,055

0,005

ν, 1/м

1,64

2,04

2,56

3,23

4

5

6,25

7,81

9,80

12,19

15,15

На завершающем этапе в «Модуле построения ФПМ» после запуска функции построения графиков получен графический вид ФПМ, представленный на рис. 3.

Рисунок 3. График экспериментальной ФПМ цифровой фотокамеры БЛА «Орлан-10»

Форма графика экспериментальной ФПМ цифровой фотокамеры комплекса с БЛА «Орлан-10», полученной с помощью АКОЦИ (рис. 3) , практически совпадает с формой типовой фотографической ФПМ, приведенной в [1, 2], что подтверждает правильность алгоритма функционирования АКОЦИ.

Графический вид экспериментальной ФПМ, представленный на рис. 3, позволяет оценить ЛРМ цифровой фотокамеры БЛА «Орлан-10» в соответствии с известными показателями. При использовании одного из эмпирических показателей разрешения, которому соответствует значение ФПМ W0 = 0,1, величина предельной пространственной частоты составила νпр.= 8,5 м-1, что соответствует значению ЛРМ L = 0,118 м. Визуальная оценка ЛРМ, выполненная группой дешифровщиков по изображениям миры, составила L = (0,128 ±0,052) м. Сравнение оценок ЛРМ, полученных визуальным способом и по экспериментальной ФПМ, показывает удовлетворительную сходимость результатов, что подтверждает достоверность экспериментальной ФПМ, полученной с помощью АКОЦИ.

Полученные результаты иллюстрируют работоспособность разработанного автоматизированного комплекса обработки цифровых изображений, что позволяет его использовать для оценивания линейного разрешения на местности при проведении летных испытаний аэрофотографических систем воздушной разведки и наблюдения.

Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 20-013-00306.

References
1. Molchanov A.S. Teoriya postroeniya ikonicheskikh sistem vozdushnoi razvedki. Volgograd: Panorama, 2017. 224 s.
2. Rebrin Yu.K. Optiko-elektronnoe razvedyvatel'noe oborudovanie letatel'nykh apparatov. Kiev: KVVAIU, 1988. 450 s.
3. Chausov E.V., Molchanov A.S. Programmno-metodicheskii kompleks obrabotki izobrazhenii pri pro-vedenii letnykh ispytanii ikonicheskikh optiko-elektronnykh sistem // Geodeziya i kartografiya. 2020. T. 81, № 1. S. 26-33. DOI: 10.22389/0016-7126-2020-955-1-26-33.
4. Molchanov A.S., Nikolaev S.V., Zhuravel' V.I., Chausov E.V., Kozhukhin I.V. Programmno-metodicheskii kompleks otsenki tsifrovykh optiko-elektronnykh sistem s ispol'zovaniem funktsii peredachi modulyatsii. Svidetel'stvo o registratsii programmy dlya EVM RU 2019613652, 20.03.2019. Zayavka № 2019612392 ot 11.03.2019.
5. Molchanov A.S., Chausov E.V., Basnin V.G., Abramov D.V. Analiz protsessa deshifrirovaniya izobra-zhenii shtrikhovykh mir vidimogo diapazona pri provedenii ispytanii aerofotosistem distantsionnogo zon-dirovaniya Zemli. Itogi nauki v teorii i praktike // Evraziiskoe nauchnoe ob''edinenie. 2017. № 12 (34). S. 54-56.
6. Veselov Yu.G., Gulevich S.P., Erukov O.P., Sel'vesyuk N.I. Sovremennoe sostoyanie i perspektivy razvitiya optiko-elektronnykh sistem vozdushnoi razvedki // Vestnik akademii voennykh nauk. 2011. № 3 (36). S. 124-128.
7. Larkin E.V., Bogomolov A.V., Gorbachev D.V., Privalov A.N. Issledovanie kriteriev sootvetstviya potoka sobytii puassonovskomu potoku // Vestnik komp'yuternykh i informatsionnykh tekhnologii. 2019. № 1. S. 3-11.
8. Perezyabov O.A., Il'inskii A.V., Mal'tseva N.K. Otsenka funktsii peredachi modulyatsii optiko-elektronnoi sistemy // Voprosy radioelektroniki. Seriya: Tekhnika televideniya. 2017. № 2. S. 48-56.
9. Makarenko V.G., Bogomolov A.V., Rudakov S.V., Podorozhnyak A.A. Tekhnologiya postroeniya inertsi-al'no-sputnikovoi navigatsionnoi sistemy upravleniya transportnymi sredstvami s neirosetevoi optimizatsiei sostava vektora izmerenii // Mekhatronika, avtomatizatsiya, upravlenie. 2007. № 1. S. 39-44.
10. Molchanov A.S. Metod otsenki lineinogo razresheniya na piksel' tsifrovykh aerofotosistem pri razlichnom uglovom polozhenii shtrikhovoi miry otnositel'no priemnika opticheskogo izlucheniya // Izvestiya Tul'skogo gosudarstvennogo universiteta. Tekhnicheskie nauki. 2019. № 10. S. 338-349.
11. Larkin E.V., Bogomolov A.V., Antonov M.A. Buferizatsiya dannykh v sistemakh upravleniya robotami // Izvestiya Tul'skogo gosudarstvennogo universiteta. Tekhnicheskie nauki. 2017. № 9-1. S. 117-127.
12. Lavrenov V.A., Samoilikov V.K. Vliyanie optiko-elektronnogo preobrazovatelya na sistemu fokusirovki optiko-elektronnoi kamery distantsionnogo zondirovaniya Zemli // Oboronnyi kompleks-nauchno-tekhnicheskomu progressu Rossii. 2015. № 2 (126). S. 68-70.
13. Rastegaev I.G., Molchanov A.S., Emel'yanov A.M. Analiz proizvoditel'nosti kanalov svyazi ra-diolinii upravleniya i kontrolya bespilotnymi letatel'nymi apparatami // Izvestiya Tul'skogo gosudarstvennogo universiteta. Tekhnicheskie nauki. 2019. № 10. S. 92-103.
14. Perezyabov O.A. Otsenka metodicheskoi pogreshnosti izmereniya funktsii peredachi modulyatsii si-stemy mashinnogo zreniya po mul'tisinusnomu test-ob''ekt // Voprosy radioelektroniki. Seriya: Tekhnika televideniya. 2018. № 3. S. 60-65.
15. Molchanov A.S., Chausov E.V. Metodika sinteza funktsii peredachi modulyatsii tsifrovykh optiko-elektronnykh sistem distantsionnogo zondirovaniya zemli po rezul'tatam letnykh ispytanii // Nauchnye vedomosti Belgorodskogo gosudarstvennogo universiteta. Seriya: Ekonomika. Informatika. 2019. T. 46. № 1. S. 138-147.
16. Larkin E.V., Bogomolov A.V., Gorbachev D.V., Antonov M.A. O priblizhenii potoka sobytii k puassonovskomu v tsifrovykh sistemakh upravleniya robotami // Izvestiya Tul'skogo gosudarstvennogo universiteta. Tekhnicheskie nauki. 2017. № 9-1. S. 3-13.
17. Chausov E.V., Molchanov A.S. Matematicheskaya model' atmosfery kak zvena protsessa formirovaniya izobrazhenii ikonicheskikh optiko-elektronnykh sistem vozdushnoi razvedki // Izvestiya Tul'skogo gosudarstvennogo universiteta. Tekhnicheskie nauki. 2019. № 2. S. 203-209.
18. Molchanov A.S., Chausov E.V. Metodika otsenivaniya lineinogo razresheniya aviatsionnykh tsifrovykh optiko-elektronnykh sistem v protsesse letnykh ispytanii // Izvestiya Tul'skogo gosudarstvennogo universiteta. Tekhnicheskie nauki. 2019. № 2. S. 140-150.
19. Kukushkin Yu.A., Bogomolov A.V., Ushakov I.B. Matematicheskoe obespechenie otsenivaniya sostoya-niya material'nykh sistem // Informatsionnye tekhnologii. 2004. № 7 (prilozhenie). 32 s.
20. Pugachev A.A., Ivanova G.A. Metod modelirovaniya funktsii peredachi modulyatsii matrichnykh fotopriemnykh SBIS // Problemy razrabotki perspektivnykh mikro-i nanoelektronnykh sistem (MES). 2014. № 1. S. 65-70