Development of the method of visualization for production facilities with application of augmented reality technologies

Reshetnikova Elena Sergeevna PhD in Technical Science Docent, the department of Engineering and Operation of Metallurgical Equipment, Nosov Magnitogorsk State Technical University  455000, Russia, Chelyabinskaya oblast', g. Magnitogorsk, pr. Lenina, 38, aud. 298 elenresh74@gmail.com Other publications by this author     Usataya Tatyana Vladimirovna PhD in Pedagogy Docent, the department of Engineering and Operation of Machines and Equipment, Magnitogorsk State Technical University 455000, Russia, Chelyabinskaya Obl. oblast', g. Magnitogorsk, pr. Lenina, 38 usatayatv@gmail.com

Kurzaeva Lubov Viktorovna PhD in Pedagogy Docent, the department of Business Informatics and Information Technologies, Magnitogorsk State Technical University 455000, Russia, Chelyabinskaya oblast', g. Magnitogorsk, ul. Pr. Lenina, 38 lkurzaeva@mail.ru

Введение. Технологии виртуальной (VR – Virtual Reality[a]) и дополненной (AR – Augmented Reality[b]) реальности находят широкое применение в современном мире. За последние годы произошли существенные изменения в плане совершенствования устройств, программного обеспечения и контента. VR/AR-технологии из области развлечений и игр постепенно переходят в различные сферы промышленности^[1]. Заинтересованность крупных компаний и промышленных предприятий в продуктах на основе технологий виртуальной и дополненной реальности и применение таких решений в производственных процессах, начиная с двухтысячных годов, активно растет ^[2-6]. Аналитики, изучающие использование иммерсивных технологий – технологий, обеспечивающих полный эффект погружения в среду, рассматривая нефтегазовую, металлургическую и энергетическую промышленность, отмечают повышение спроса на применение VR/AR-технологий для создания обучающих программ и виртуальных лабораторий ^[7-9]. Однако эксперты не прогнозируют стремительный переход промышленного сектора к массовому внедрению технологий виртуальной и дополненной реальности в связи с отсутствием на данный момент на рынке готовых решений ^[10]. В то же время по мере роста доверия к VR/AR ожидается замещение традиционных подходов к процессу проектирования и эксплуатации изделий ^[10-12].

Согласно результатам исследований, в которых приняли участие более 100 крупнейших российских компаний нефтегазовой, металлургической, транспортной и других важнейших отраслей экономики, за цифровыми технологиями будущее ^{[13, 14]}. Исследователями определены восемь наиболее популярных цифровых технологий: анализ больших данных и предиктивная аналитика, роботизация, интернет вещей, чат-боты, искусственный интеллект, оптическое распознавание, блокчейн, VR/AR-технологии ^[13]. Технологии виртуальной и дополненной реальности уже сегодня используются российскими компаниями в среднем по исследуемым индустриям в объеме 21%, причем объем использования в металлургии составляет 33%. В планы компаний, которые приняли участие в опросе, входит развитие и внедрение на своих предприятиях передовых цифровых решений. По мнению экспертов, цифровые технологии станут ключевыми технологиями четверной промышленной революции, а технологии дополненной и виртуальной реальности могут лечь в основу новой вычислительной платформы ^[14].

Опыт внедрения VR/AR-технологии в европейских и американских корпорациях доказал свою эффективность ^[15]:

- применение специального приложения и умных очков Google Glass в аэрокосмическом концерне Boeing позволило ускорить процесс соединения кабелей между компонентами бортовых систем самолетов: пошаговые инструкции по сборке и точные шаблоны сотрудники получают без отрыва от непосредственной работы. В результате время на прокладку проводов сократилось на 25%, при этом уменьшилось и количество ошибок;

- благодаря применению очков дополненной реальности Epson Moverio BT-200, оснащенных фронтальной камерой, во время сборки истребителя F-35 в американской корпорации Lockheed Martin инженер имеет возможность видеть 3D-модели деталей, которые нужно установить и реальные объекты с инструкцией по сборке. Согласно отчетам, скорость работы инженеров увеличилась на 30%, точность сборки возросла до 96%;

- технологии дополненной реальности, применяемые в автомобильном концерне Fiat Chrysler Automobiles, позволили повысить производительность на 38% и качество на 80%: специальная AR-программа помогала специалистам в сборке зубчатых передач и цепей.

В России крупные промышленные предприятия только присматриваются к технологиям виртуальной и дополненной реальности и оценивают их с точки зрения затрат и эффективности, однако первые результаты использования уже получены ^{[15, 16]}:

- AR-проект, созданный компанией из Санкт-Петербурга ArPoint для «Норильского никеля», позволил при наведении планшета на панно с изображением технологии обработки и очистки серной кислоты наглядно продемонстрировать сложный технологический процесс от начала до конца;

- приложение AR/VR разработчика интерактивных решений eks.works г. Екатеринбург для американской гидроисследовательской компании Ocean Infinity наглядно демонстрирует заказчикам оборудование для подводного сканирования.

Возможности применения VR/AR-технологий в машиностроении. В машиностроении применение технологий виртуальной и дополненной реальности оправдано для решения инженерных и конструкторских задач на различных этапах проектирования и эксплуатации ^{[17, 18]}:

- на начальном этапе работы над проектом VR-технологии позволяют наглядно продемонстрировать дизайн изделия и его компоновку;

- на этапе конструкторской проработки при помощи VR/AR разработчики могут тщательно проверить и оценить результат работы, своевременно внести корректировки в проект;

- на этапе технологической подготовки производства технологии VR/AR эффективны в качестве дополнения к конструкторской и технологической документации для монтажа и проведения сборочных операций;

- на этапе эксплуатации AR-технологии позволяют совмещать виртуальные и реальные объекты с инструкцией по монтажу и сборке.

Рис. 1. Применение VR/AR-технологий в машиностроении в рамках жизненного цикла продукции

Кроме того, VR/AR-технологии можно эффективно использовать для демонстрации проектов во время выставок, переговоров и презентаций новых продуктов, применять в процессе обучения производственного персонала.

Создание AR-приложения для наглядной демонстрации устройства редуктора. В настоящее время потребителю предлагается несколько средств разработки VR/AR - приложений. Наиболее популярными считаются Unity, Unreal Engine и Simlab. В данные приложения осуществляется импорт 3D моделей практически из всех популярных систем автоматизированного проектирования - Autodesk Inventor, Autodesk Autocad, Компас 3D, SolidWorks.

Авторами разработано AR-приложение для демонстрации сборки и изучения устройства двухступенчатого редуктора, применяемого для поднятия заслонки термической печи в металлургическом производстве. Редуктор выбран для наглядности, как широко применяемый механизм, входящий в состав приводов различных производственных объектов.

Алгоритм создания AR-приложения состоит из нескольких этапов.

На первом этапе составлен сценарий использования AR-приложения в соответствии с задачами:

- определена последовательность наглядной демонстрации сборки редуктора и отдельных деталей в трехмерном виде;

- сборочный чертеж (рис. 2) выбран в качестве метки для наведения камеры устройства (смартфона или планшета) с будущим приложением.

Рис. 2 Сборочный чертеж редуктора

На втором этапе по рабочим чертежам созданы 3D модели деталей редуктора и 3D сборка устройства в САПР Компас 3D. Модели сохранены в формате .stl и после интеграции в Autodesk 3dsMax подготовлены к дальнейшей работе.

Третий этап связан непосредственно с разработкой приложения. Представленное AR-приложение создано в популярной среде разработки мультимедийных приложений Unity[c]. Выбор данного средства разработки обусловлен относительной простотой его использования и интеграцией с Vuforia[d].

Сборочный чертеж редуктора (рис. 2) в цифровом графическом формате (возможны форматы .jpg .png, со специальным разрешением для дополненной реальности) обработан на портале Vuforia, который является средством обработки изображений путем установления реперных точек, т.е. тех точек, по которым будет идентифицироваться изображение.

Выгруженная с портала Vuforia база меток импортирована в среду Unity, скриптами (программный код) прописана логика реализации сценария для демонстрации сборки устройства и отдельных деталей. На рисунке 3 представлена иерархия объектов сцены и вид сцены в среде Unity.

Рис.3 Иерархия объектов приложения

В каждый Image Target добавлен UI-объект Canvas с кнопками (рис. 4).

Рис.4 UI-объекты приложения

Функционал кнопок определяется скриптом (рис.5)

Рис.5 Скрипт viz

Пример использования скрипта события OnClick() кнопок «Восстановить» и «Корпус», представлены на рисунках 6 и 7.

Рис.6 Применение метода viztru () на кнопке «Восстановить»

Рис.7 Применение метода vizctr() на кнопке «Корпус»

Далее приложение загружено на мобильный телефон и протестировано. При наведении камеры смартфона на распечатанный сборочный чертеж можно увидеть трехмерную модель редуктора в целом, скрыть детали и подробно изучить устройство и принцип работы (рис. 8).

Рис. 8 Демонстрация работы AR-приложения

Преимущества использования данного приложения заключаются в том, что продемонстрировать устройство можно без включения компьютера с установленной CAD - системой, в которой создан проект. Рассмотреть сборку полностью снаружи и внутри, скрывая различные детали, можно со всех сторон путем наведения камеры на соответствующее поле чертежа и поворота смартфона. Подобная демонстрация проекта будет понятна и заказчикам, и работникам предприятия, не владеющими САПР. В связи с тем, что данный редуктор входит в состав привода термической печи и работает в условиях повышенной опасности, созданное AR-приложение может быть использовано в качестве тренажера для обучения персонала, обслуживающего данный производственный объект и позволит повысить безопасность проведения ремонтных работ.

Технологии виртуальной и дополненной реальности постепенно внедряются в образовательный процесс в высших и средних учебных заведениях и показывают свою эффективность ^[19-24]. Разработанное AR-приложение применяется в процессе обучения студентов по направлению Машиностроение в ФГБОУ ВО Магнитогорский государственный технический университет им. Г.И. Носова. Авторами ведется работа по созданию комплекса приложений для визуализации основного механического оборудования металлургического производства.

Заключение. Применение современных CAD/CAM/CAE - систем для проектирования различных производственных объектов, процессов изготовления и проведения инженерных расчётов на большинстве промышленных предприятий стало привычным инструментом конструктора и технолога. Применение технологий трехмерного моделирования в САПР является стандартом подачи демонстрационных материалов проектов в любой отрасли промышленности.

Однако в ближайшем будущем этого будет недостаточно. Стремительное развитие цифровых технологий и положительный опыт их использования зарубежными и российскими компаниями привели к высокому росту спроса на применение VR/AR-технологий предприятиями в России ^[25]. Ведущие предприятия нашей страны уже приступили к реализации или планируют внедрение VR/AR-технологий в качестве проведения виртуальных тренировок по монтажу, ремонту и обслуживанию оборудования, по моделированию поведения при ликвидации аварий и виртуальному осмотру производственных площадок. Экономический эффект от внедрения VR/AR-решений уже сегодня достигает 10-15 % ^[26], что подчеркивает актуальность применения и расширения возможностей VR/AR-технологий в процессе проектирования и эксплуатации оборудования промышленных предприятий.

[a] Виртуальная реальность (Virtual Reality, VR) – это специальная трехмерная среда, созданная средствами трехмерного моделирования, либо панорамной съемкой, которая окружает человека и отвечает на его действия через специальные иммерсивные устройства - шлемы, очки, костюмы. Такие устройства виртуальной реальности распознают жесты, отслеживают положения конечностей человека и тела, содержат средства обратной связи. При этом реальный мир человек не видит и не воспринимает.

[b] Дополненная реальность (Augmented Reality, AR) - это сочетание реальных объектов окружающего мира и различных дополнений - текстов, графиков, трехмерных моделей, видео в режиме реального времени с помощью какого-либо устройства, например смартфона, планшета или очков дополненной реальности. Разница между виртуальной и дополненной реальностью заключается в присутствие реального мира.

[c] Unity — межплатформенная среда разработки приложений для дополненной, виртуальной реальности, компьютерных игр. Unity позволяет создавать приложения, работающие с различными операционными системами, включающими персональные компьютеры, игровые консоли, мобильные устройства, шлемы и очки виртуальной реальности.

[d] Vuforia — это платформа дополненной реальности и инструментарий разработчика программного обеспечения дополненной реальности для мобильных устройств, разработанные компании Qualcomm.