Educational proving ground for elaboration of technologies of exact time distribution

Современные крупномасштабные мультисервисные сети передачи данных (МСПД) немыслимы без таких подсистем, как подсистема безопасности, службы мониторинга и диагностики неисправностей, а также, в ряде случаев, таких как подсистема динамической ремаршрутизации. Важно обратить внимание на то, что ни одна из названных подсистем не может функционировать без наличия в МСПД службы точного времени.

В современных МСПД служба точного времени базируется, как правило, на протоколе Network Time Protocol (NTP) ^[1]. Кроме того, в последние годы начинается внедрение технологий, основанных на протоколах Precision Time Protocol (PTP) ^[2] и Sync Ethernet ^[3]. Однако эти технологии в Российской Федерации являются пока скорее экспериментальными. Поэтому рассмотрим более подробно ситуацию с NTP.

Основными игроками на рынке разработки и производства специализированных NTP-серверов являются американские компании Symmetricom и Spectracom, а также отчасти Trimble и Communication Systems Solutions, немецкий рынок NTP-решений представлен компанией Meinberg. Безусловный лидер на этом рынке – Symmetricom (в настоящее время, в результате слияния, данная компания входит в состав такого гиганта американской радиоэлектронной промышленности, как Microsemi). Следует отметить, что стоимость специализированных серверов времени названных копаний достаточно высока и сопоставима между собой при близких технических характеристиках, однако их использование часто оказывается целесообразным ^[4]. Учитывая значительный масштаб большинства региональных МСПД, приходится использовать не один источник точного времени, а несколько, распределенных по узлам МСПД. В этих условиях чрезвычайно важной становиться задача снижения совокупной стоимости владения подсистемой дистрибуции точного времени, как составной части совокупной стоимости владения МСПД ^{[4, 5, 6]}.

При решении задач снижения совокупной стоимости владения подсистемой дистрибуции точного времени используется целый ряд подходов. Это и имитационное моделирование подсистемы дистрибуции времени МСПД ^[7] с целью оптимизации ее структуры, и стендовые испытания с виртуализацией компонентов МСПД ^[8], а также всестороннее исследование рынка оборудования ^[9]. Тем не менее, все эти подходы не обеспечивают 100%-ного решения поставленной задачи. Необходимы натурные испытания. Важно оценить параметры надежности реальных элементов системы дистрибуции точного времени, исследовать взаимное влияние этих элементов, а также влияние окружающей среды, включая градостроительный аспект, на все компоненты системы.

Все вышесказанное обосновывает необходимость и целесообразность создания учебно-испытательного полигона отработки технологий дистрибуции точного времени. Сформулируем требования, которые должны быть учтены при создании такого полигона.

1. Непрерывный режим работы полигона. Некоторые эксперименты, например, оценка долговременной нестабильности эталонных генераторов частоты, требуют значительных временных затрат – год и более непрерывной работы. С другой стороны, непрерывный характер востребованности имеет и основная сервисная функция, моделируемая на полигоне.

2. Многоцелевое назначение полигона и многопользовательский режим его эксплуатации. Состав и конфигурация оборудования полигона должны обеспечивать возможность параллельного проведения различных экспериментов, согласованных по режимам эксплуатации оборудования в соответствии с поставленными целями.

3. Продуктовое дублирование и разнообразие оборудования полигона. В состав стендов полигона должно входить оборудование синхронизации времени различных производителей для исследования возможностей и ограничений их интеграции. В то же время в составе стендов должны присутствовать дублирующиеся модели оборудования для оценки технологий резервирования с целью повышения показателей доступности и готовности.

4. Компоненты полигона должны быть территориально распределены с учетом разнообразия градостроительной обстановки. Масштаб современных МСПД – это масштаб региона, страны и в ряде случаев еще шире. Таким образов полигон должен содержать участки ответственности различных операторов связи. Разные стенды полигона должны быть смонтированы в условиях различных типов застройки и использовать антенны различных марок и мест установки.

5. Присутствие возможностей централизованного управления всеми стендами полигона и удаленного мониторинга их состояния.

6. Утилитарный характер функционирования полигона. Стоимость комплекта оборудования полигона, формируемого даже в условиях экономии финансирования, оказывается весьма значительной. Заметными оказываются и эксплуатационные издержки. В связи с этим важно, чтобы функционирование полигона представляло интерес не только для научно-исследовательской деятельности и учебного процесса по линии профильной лаборатории, но и имело заметную ценность, как для всей IT-инфраструктуры университета, так и для ряда учебных и исследовательских университетских лабораторий, утилизирующих сервисы эталонов времени и частоты.

7. Масштабируемость полигона. Роль эталонов времени и частоты в научных исследованиях постоянно расширяется, повышаются требования к точности эталонов. На подходе новые технологии синхронизации времени в сетях передачи данных – Sync Ethernet и PTP. В связи с этим архитектура вычислительной сети испытательного полигона должна обеспечивать легкое масштабирование, как по производительности, так и по функциональности.

8. Долгосрочный и перспективный характер проекта. Уже, исходя из выше обозначенных требований 2, 6, 7, становится очевидным, что данный проект следует рассматривать как инфраструктурный и, следовательно, развивающийся вместе с IT-инфраструктурой университета, а возможно и опережая ее.

В соответствии с заявленными требованиями был разработан и реализован проект системы из двух территориально удаленных стендов для отработки технологий дистрибуции точного времени. Структурные схемы стендов приведены на рисунках 1 и 2.

Рис. 1. Структурная схема стенда, расположенного в офисе №1

Особенностью первого стенда является использование серверов времени разных производителей. При этом сервер Symmetricom Truetime NTS-90 имеет возможность использовать для приема сигналов GPS одну из трех различных антенн (одна расположена внутри помещения, две другие – наружной дислокации с круговым обзором неба не хуже 165^О по горизонту). Сервер времени Communication Systems Solutions Time Machines TM1000A использует антенну, расположенную внутри помещения у южного окна. Отметим, что строение, в котором размещен стенд, представляет собой деревянное сооружение с толщиной стен 55 … 60 см. Крыша у данного строения металлическая. Дополнительно данный стенд содержит оборудование мониторинга среды (температура, влажность, атмосферное давление) внутри и снаружи помещения. Данный стенд позволяет сравнивать точность синхронизации времени в серверах разных производителей, изучать влияние параметров и точек размещения антенн на синхронизацию, а также исследовать влияние среды (в первую очередь температуры) на внутреннее состояние оборудования синхронизации времени, например, на стабильность работы встроенных в серверы часов. Еще одной особенностью данного стенда является наличие подсистемы разграничения доступа к серверу времени Symmetricom Truetime NTS-90 по управлению. Данный сервер имеет выделенный порт управления, который в данном техническом решении защищен межсетевым экраном, построенным на базе маршрутизатора Cisco 831. Это решение позволяет отрабатывать различные политики безопасности управления сервером времени.

Рис. 2. Структурная схема стенда, расположенного в офисе №2

Второй стенд для синхронизации времени использует пару одинаковых серверов времени. При этом антенны серверов также одинаковы и дислоцированы в одном месте (у окна) внутри помещения со стенами каменной кладки толщиной 80 см (не вполне благоприятные условия приема сигналов GPS). Стенд позволяет отрабатывать технологии резервирования серверов времени с использованием однотипного оборудования и наблюдать их работу в усложненных условиях приема сигналов GPS.

На рисунке 3 приведена архитектура типичной клиентской (по отношению к полигону) подсистемы, утилизирующей сервис точного времени. Это может быть, например, домашняя сеть, в которой есть NTP-сервер стратума 3, функционирующий на ноутбуке, и часы, отображающие точное время и построенные на базе, например, гаджетов Apple (см. рисунок 3).

Рис. 3. Архитектура домашней системы точного времени

Особенностью технического решения, представленного на рисунке 3, является независимость работы сервера времени от доступности сети Internet. На компьютере, на котором функционирует NTP, дополнительно запущен скрипт, который при разрыве связи с Internet (проверяется с использованием протокола ICMP) запускает свободно распространяемую программу GPSTime португальской обсерватории COAA ^[10], которая синхронизирует часы компьютера по сигналам GPS. Данное техническое решение может также рассматриваться как дополнительный стенд полигона.

Представление об архитектуре полигона в целом может дать один из вариантов настройки оборудования, см. рисунок 4. На данном рисунке стрелками изображены ссылки одних серверов времени на другие, которые для первых играют роль источников времени. Вариант, изображенный на рисунке интересен тем, что является оптимальным по критерию «Value at Risk», вычисленному для случайной величины совокупной стоимости владения подсистемой синхронизации времени, при жестких требованиях к готовности и доступности сервиса времени в МСПД и при фиксированном составе оборудования. Для расчетов использовались методика, предложенная в работах ^{[7, 11]}, а также пакет прикладных программ «МультиМИР» ^{[12, 13]}.

Рис. 4. Вариант логической организации подсистемы синхронизации времени в МСПД

Модель базового интервала времени эксплуатации оборудования испытательного полигона (базового периода) в нотации сетей Петри со случайной маркировкой ^[14] представлена на рисунке 5. Здесь под базовым интервалом понимается минимальный промежуток времени, в течение которого может произойти значимый отказ какой-либо единицы оборудования и последующее ее восстановление. При этом все вероятности отказов приводятся к заданной продолжительности базового интервала.

Рис. 5. Модель одного интервала времени эксплуатации оборудования испытательного полигона в нотации сетей Петри со случайной маркировкой

На рисунке использованы следующие обозначения:

p₀ – позиция, единичная маркировка которой означает завершение предыдущего и готовность к началу нового базового периода;

t₀ – переход, срабатывание которого означает начало нового базового периода;

p_0i – позиция, единичная маркировка которой означает готовность i-го устройства в начале базового периода;

p_0i1 и p_0i0 – временные позиции со стохастической маркировкой, описывающие элементарное вероятностное пространство с двумя исходами (устройство соответственно выполняет свою функцию или нет) для i-го устройства,

t_0i1 и t_0i0 – переходы, срабатывание которых соответственно означает либо выполнение устройством своей функции, либо его отказ, при этом переход t_0i0 охарактеризован издержками на восстановление i-го устройства;

p_2xi-1 – позиция, единичная маркировка которой означает, что i-ое устройство в течение базового периода работало без отказов;

p_2xi – позиция, единичная маркировка которой означает что i-ое устройство в течение базового периода отказало;

i = 1, 2, … , 8 (четыре первичных и четыре вторичных сервера времени);

q₁ – позиция, единичная маркировка которой означает, что в течение базового периода для клиентов данной локальной сети был доступен эталон времени стратума 2, расположенный в пределах этой данной локальной сети;

q₂ – позиция, единичная маркировка которой означает, что в течение базового периода для клиентов данной локальной сети был доступен эталон времени стратума 2, расположенный за пределами этой данной локальной сети;

q₃ – позиция, единичная маркировка которой означает, что в течение базового периода для клиентов данной локальной сети эталоны времени стратума 2 были не доступны;

t₁, t₂ и t₃ – переходы, срабатывающие при единичной маркировке позиций q₁, q₂ и q₃, соответственно, и охарактеризованные клиентскими издержками, связанными с соответствующими состояниями подсистемы синхронизации времени в целом;

q₀ – позиция, единичная маркировка которой означает окончание очередного базового периода;

N₀ – подсеть сети Петри, которая реализует декодирование совокупности состояний ключевых устройств в состояние подсистемы синхронизации времени в целом.

Структуру сети Петри N₀ определяет архитектура полигона.

Вопросам удаленного мониторинга состояния серверов времени в рамках создания данного полигона посвящена работа ^[15]. Следует отметить, что только сервер Symmetricom Truetime NTS-90, из использованных в данном проекте, имеет развитые средства внутренней диагностики, сервера CSS TIME MACHINES TM1000A являются «легкими» дешевыми решениями и содержат минимум средств внутренней диагностики.

Удаленный мониторинг состояния среды внутри и вне помещения осуществляется штатным программным обеспечением Small Meteo v2 ^[16].

В целом, в результате проведенной работы, был разработан гибкий инструмент, который может стать базой для научно-исследовательской работы не только в области дистрибуции точного времени, но и для ряда других лабораторий университета, утилизирующих сервисы эталонов времени и частоты. Учебный процесс при этом может получить реальную систему, способную демонстрировать множество фактов и технических решений, связанных с синхронизацией времени в МСПД.

Дальнейшие пути развития учебно-испытательного полигона мы связываем с созданием специализированного стенда, использующего оборудование синхронизации времени отечественного производства ^[9]. Выделение денежных средств на эту работу мы считаем важным вкладом в реализацию программы импортозамещения в целях обеспечения устойчивого развития, как отдельно взятой страны (Российской Федерации), так и мира в целом ^[17]. Новые технические решения должны быть всесторонне апробированы, в частности должны быть оценены их надежность и достижимая точность синхронизации при их использовании.