Translate this page:
Please select your language to translate the article


You can just close the window to don't translate
Library
Your profile

Back to contents

Software systems and computational methods
Reference:

Methods of creating a distributed computer-computing system for software information and communication switch

Shchemelinin Dmitry

ORCID: 0000-0003-3032-130X

Doctor of Technical Science

Peter the Great St. Petersburg Polytechnic University

195251, Russia, g. Saint Petersburg, ul. Politekhnicheskaya, 29

dshchmel@gmail.com
Other publications by this author
 

 

DOI:

10.7256/2454-0714.2019.1.28782

Received:

26-01-2019


Published:

06-06-2019


Abstract: The subject of the research is the new principles of building globally distributed computer and computing systems for creating a software infocommunication switch providing telephony services, sending facsimile, short and multimedia messages services, via packet data transmission channels, and also storing user files. The object of scientific research is the globally distributed computing system of RingCentral (USA), which began to be created from the beginning of the company's founding in 1999 and is technologically constantly evolving at the present time. The author reveals in detail the main criteria for testing the hardware environment of the implemented computer infrastructure during the transition to the distributed computing model. The creation of a globally distributed computing system architecture for an information and communication software switch was a decisive factor in the development of computer systems in the provision of universal information and communication services. The exchange of the obtained scientific knowledge at specialized conferences and seminars showed that the constructed model of information and communication services is the most modern from the technological point of view of the proposed architecture.


Keywords:

distributed IT systems, high availability, data store, outage prevention, resilience, network architecture, disaster recovery, maintenance, performance testing, backup


Введение

Глобально распределенный вычислительный комплекс (ГРВК) RingCentral начал создаваться с начала основания компании в 1999 году и технологически постоянно усовершенствуется по настоящее время [1]. В таблице 1 представлены сравнительные характеристики развития ГРВК за последние 20 лет, с учетом выделения пяти основных этапов внедрения новых методов с последующим становлением глобальных изменений ГРВК RingCentral, которая обеспечивает предоставление инфокоммуникационных услуг по всему миру через глобальную сеть Интернет.

Таблица 1 - Сравнительные характеристики развития ГРВК RingCentral по годам:

Годы

Этап развития

Количество элементов ГРВК

Число сотрудников обслуживающих ГРВК

Количество триггеров в системе мониторинга

1999

1

3

2

0

2003

1

6

5

20

2005

1

21

7

45

2008

2

45

8

60

2010

2

250

16

250

2011

3

856

32

1200

2012

3

1860

65

12670

2013

3

3580

98

55000

2014

4

5690

134

210000

2015

4

8580

175

340000

2016

4

10260

223

650000

2017

5

15870

299

970000

2018

5

20590

350

1350000

На первом этапе, с начала создания компании, все серверное оборудование было размещено в единственном доступном на то время для RingCentral центре обмена данными (ЦОД) [2] в г. Сан Хозе, штат Калифорния, США и представляло собой VoIP (англ. Voice over internet protocol) окружение [3], состоящее из сетевого маршрутизатора, подключенного к сети Internet и двух медиа-шлюзов, работающих по протоколу SIP (англ. Session Initiation Protocol) [4]. Компания делала первые шаги по созданию программного коммутатора и до начала 2008 года, выполняла, как правило, основную исследовательскую работу в области создания программного обеспечения (ПО) для перспективных информационных услуг в дополнение к существующим функциям доступным абонентам, постепенно наращивая аппаратные ресурсы для возрастающих нужд компьютерно-вычислительной среды (КВС).

Важнейшей частью второго этапа развития КВС RingCentral стало определение основы компьютерно-вычислительной модели для программного коммутатора и метода реализации компьютерной инфраструктуры в ЦОД на основе серверного оборудования и собственного прикладного программного обеспечения (ППО) [5] для элементов пользовательских программных приложений. Также были сформированы задачи к инструментам технологического обслуживания и непрерывного мониторинга КВС.

На третьем этапе, с целью удовлетворения растущих потребностей со стороны клиентов компании и для повышения доступности ИС, к началу 2011 года, была сформулирована задача по разработке и строительству дополнительной КВС в г. Сакраменто, штат Калифорния, США, которая стала выполнять роль горячего резерва куда переключался пользовательский трафик, в случае возникновения ситуации, когда основной ЦОД в г. Сан Хозе выйдет из строя. Данная задача позволила выполнить анализ пропускной способности виртуальных IP линий передачи данных, включая анализ аппаратных средств и ППО.

Четвертый и пятый этапы, привели КВС компании RingCentral к архитектуре ГРВК, с увеличением количества предоставляемых инфокоммуникационных услуг для непрерывно растущей базы пользователей. Так, помимо сервиса виртуальной учрежденческо-производственной автоматической телефонной станции (УПАТС) [6], клиенты компании получили возможность использования смартфонов для осуществления телефонных звонков и обмена короткими и мультимедийными сообщениями, а также появились отдельные КВС для организации услуг видео конференций через сеть Интернет, построения колл-центров и средств взаимодействия офисного персонала.

Цель и объект исследования

Целью данной работы является создание методики географического распределения КВС для построения инфокоммуникационного программного коммутатора с применением новой методики тестирования предложенной архитектуры ГРВК, для решения задач по снижению финансовых затрат на покупку избыточных аппаратных средств и коренного пересмотра подходов к обслуживанию информационной системы (ИС). В частности, таких аспектов как, учет и инвентаризации имеющихся компьютерных ресурсов, внедрение средств непрерывного мониторинга, создание системы регистрации заявок на техническое обслуживание и изменений в КВС.

Объектом исследования была выбрана КВС компании RingCentral (США), что позволило создать необходимые поредпосылки для дальнейшего развития распределенной обработки пользовательских запросов в системах UCaaS (англ. Unified Communication as a Service) [7], для чего был предложен вариант архитектуры ГРВК для реализации инфокоммуникационного программного коммутатора на географически распределенных компьютерно-вычислительных ресурсах.

Методика эксперимента

Для интеграции географически разнесенных баз данных и оптимизации работы КВС в промежутки переключения с основного ЦОД в резервный было проведено экспериментальное исследование с целью выбора сетевой архитектуры и конфигурации аппаратных элементов ИС, проверка их функционирования с точки зрения надежности и определение максимальной скорости выполнения резервного копирования между географически разделенными кластерами обработки и хранения данных (рисунок 1).

ussmfmss

Рисунок 1: Схема экспериментального исследования сетевой архитектуры

Нагрузочное тестирование выполнялось в тестовой зоне КВС. С целью изменения времени ответа системы было проведено пять различных испытаний с вариациями количества пользовательских учетных записей (таблица 2).

Таблица 2 – Результаты нагрузочного тестирования распределенной КВС:

№ п/п

Время ответа,

(мс)

RAM,

Загрузка %

CPU, загрузка (%)

Количество испытуемых учетных записей (шт.)

1

115.7071875

46

53

10000

2

159.9999

49

80

20000

3

122.7582125

48

65

30000

4

118.67213

45

55

50000

5

112.8949

45

51

80000

В процессе проведения нагрузочного тестирования через балансировщик сетевой нагрузки было сгенерировано 80 HTTP [8] запросов в секунду на кластер обработки и хранения данных. Интенсивность нагрузки на один элемент кластера составила 40 HTTP запросов в секунду, а время отклика системы варьировалось от 112мс до 160мс. Полученные результаты исследования были представлены на графике (рисунок 2).

perfsmfmss

Рисунок 2: График результатов нагрузочного тестирования

Проведенный анализ результатов собранных данных во время нагрузочного тестирования показал, что:

1. Увеличение количества сгенерированных пользовательских учетных записей в базе данных не привело к увеличению времени отклика системы хранения данных;

2. Минимальное время простоя процессора составляло 20%;

3. Использование памяти не превышало 50%;

4. Среднее время отклика составляло 131,81 миллисекунды;

5. Во время теста стабильности не было сбоев серверов;

6. Текущее ППО не приводило к определенным сложностям при географическом разнесении систем управления и обработки данных.

На основании выполненного анализа была реализована окончательная распределенная архитектура взаимодействия кластеров обработки и хранения данных в КВС (рисунок 3).

ussmfmss2

Рисунок 3: Схема созданной распределенной сетевой архитектуры

Заключение

В рамках проекта создания распределенной КВС была финализирована спецификация аппаратных средств и вычислительной модели программного коммутатора, ограниченного на тот момент следующими сервисами доступными пользователям:

1. Виртуальная УПАТС, с набором стандартных услуг офисной автоматической телефонной станции, включая сервисы переадресации входящего телефонного вызова на любые номера телефонной сети общего пользования (ТФоП) и записи голосовых сообщений в централизованное хранилище данных. Запись голосовых сообщений происходит в медиа файл формата *.mp3 [9] и далее записанный файл отправляется как вложение к электронному письму на адрес электронной почты указанного абонентом при подписке на услугу;

2. Отправка факсимильных сообщений по методике «email2fax», когда факсимильное сообщение формируется из электронного письма с вложенным файлом в формате *.doc [10] или *.pdf [11] отправленного пользователем на почтовый сервер RingCentral и далее транскодированого в формат передачи данных через факсимильное передающее устройство, работающее с ТФоП. Причем телефонный номер принимающей стороны записывался в поле адресата электронного письма в формате почтового электронного адреса +xyyyzzzzzzz@rcfax.com, где левая часть состоит из цифр телефонного номера в виде стандартного плана телефонной нумерации [12], а правая часть адреса указывает доменное имя того почтового сервера, на котором расположен электронный почтовый ящик в ИС [13];

3. Прием факсимильных сообщений по методике «fax2email», когда факсимильное сообщение, поступившее из ТФоП на телефонный номер абонента виртуальной УПАТС, записывалось в файл в формате .pdf, и далее записанный файл отправляется как вложение к электронному письму на адрес электронной почты указанного абонентом при подписке на услугу;

4. Синхронизация записей в телефонных книгах HP и SP с записями контактной информации в службе Microsoft Outlook [14];

5. Пользовательский веб-портал доступный через Internet для:

· Управления настройками учетной записи включая биллинг информацией, относящейся к платежным системам и банковским картам;

· Осуществления настроек оконечного телефонного оборудования, автоответчика и управление правилами переадресации звонков на другие телефонные номера ТФоП;

· Обеспечения доступа и выгрузки на пользовательские ЭВМ пользовательских данных таких как, детализации телефонных звонков, файлы факсимильных и голосовых сообщений;

· Доступа к дистрибутивам последних версий программных телефонов для установки на пользовательские ЭВМ.

Распределение КВС между двумя географически разнесенными ЦОД с применением режима «активный-резервный» позволило минимизировать время простоя ИС в случае возникновения внештатных ситуаций в работоспособности активного ЦОД. Технический персонал получил возможность переключать сервисы в резервный ЦОД в течении 30-90 минут, путем изменения DNS записи (англ. Domain Name System) [15] и перенаправление сетевого трафика в резервный ЦОД.

Стоит обдельно отменить, что переход к глобально распределенной ИС обеспечил необходимые предпосылки к внедрению виртуализации серверного оборудования и выполнения условий для создания ИС на облачных технологиях, что обеспечивает сокращение затрат на построение ГРВК.

References
1. RingCentral Inc. [Elektronnyi resurs]// Official web site. URL: http://www.ringcentral.com/ (Data obrashcheniya: 25.01.2019)
2. Data-tsentr. [Elektronnyi resurs]// Material iz Vikipedii – svobodnoi entsiklopedii. URL: https://ru.wikipedia.org/wiki/%D0%94%D0%B0%D1%82%D0%B0-%D1%86%D0%B5%D0%BD%D1%82%D1%80 (Data obrashcheniya: 25.01.2019)
3. VoIP. [Elektronnyi resurs]// Material iz Vikipedii – svobodnoi entsiklopedii. URL: https://ru.wikipedia.org/wiki/IP-%D1%82%D0%B5%D0%BB%D0%B5%D1%84%D0%BE%D0%BD%D0%B8%D1%8F (Data obrashcheniya: 25.01.2019)
4. SIP. [Elektronnyi resurs]// Material iz Vikipedii – svobodnoi entsiklopedii. URL: https://en.wikipedia.org/wiki/Session_Initiation_Protocol (Data obrashcheniya: 25.01.2019)
5. Middleware.[Elektronnyi resurs]// Material iz Vikipedii – svobodnoi entsiklopedii URL: https://en.wikipedia.org/wiki/Middleware (Data obrashcheniya: 25.01.2019)
6. Ofisnaya ATS.[Elektronnyi resurs]// Material iz Vikipedii – svobodnoi entsiklopedii URL: https://ru.wikipedia.org/wiki/%D0%9E%D1%84%D0%B8%D1%81%D0%BD%D0%B0%D1%8F_%D0%90%D0%A2%D0%A1 (Data obrashcheniya: 25.01.2019)
7. Unified communications as a service. [Elektronnyi resurs]// Material iz Vikipedii – svobodnoi entsiklopedii URL: https://en.wikipedia.org/wiki/Unified_communications_as_a_service (Data obrashcheniya: 25.01.2019)
8. Hypertext Transfer Protocol.[Elektronnyi resurs]// Material iz Vikipedii – svobodnoi entsiklopedii URL: https://en.wikipedia.org/wiki/Hypertext_Transfer_Protocol (Data obrashcheniya: 25.01.2019)
9. MP3.[Elektronnyi resurs]// Material iz Vikipedii – svobodnoi entsiklopedii URL: https://ru.wikipedia.org/wiki/MP3 (Data obrashcheniya: 25.01.2019)
10. Doc (computing).[Elektronnyi resurs]// Material iz Vikipedii – svobodnoi entsiklopedii URL: https://en.wikipedia.org/wiki/Doc_(computing) (Data obrashcheniya: 25.01.2019)
11. PDF.[Elektronnyi resurs]// Material iz Vikipedii – svobodnoi entsiklopedii URL: https://en.wikipedia.org/wiki/PDF (Data obrashcheniya: 25.01.2019)
12. Telefonnyi plan numeratsii.[Elektronnyi resurs]// Material iz Vikipedii – svobodnoi entsiklopedii URL: https://ru.wikipedia.org/wiki/%D0%A2%D0%B5%D0%BB%D0%B5%D1%84%D0%BE%D0%BD%D0%BD%D1%8B%D0%B9_%D0%BF%D0%BB%D0%B0%D0%BD_%D0%BD%D1%83%D0%BC%D0%B5%D1%80%D0%B0%D1%86%D0%B8%D0%B8 (Data obrashcheniya: 25.01.2019)
13. Domennoe imya.[Elektronnyi resurs]// Material iz Vikipedii – svobodnoi entsiklopedii URL: https://ru.wikipedia.org/wiki/%D0%94%D0%BE%D0%BC%D0%B5%D0%BD%D0%BD%D0%BE%D0%B5_%D0%B8%D0%BC%D1%8F (Data obrashcheniya: 25.01.2019)
14. Microsoft Outlook.[Elektronnyi resurs]// Material iz Vikipedii – svobodnoi entsiklopedii URL: https://en.wikipedia.org/wiki/Microsoft_Outlook (Data obrashcheniya: 25.01.2019)
15. DNS.[Elektronnyi resurs]// Material iz Vikipedii – svobodnoi entsiklopedii URL: https://ru.wikipedia.org/wiki/DNS (Data obrashcheniya: 25.01.2019)