На пути к полной автоматизации: CI/CD в сфере цифровых телеком-услуг

Всеволод Давыдов, директор по разработке и внедрению систем поддержки операций (OSS) компании Ericsson в регионе Восточная Европа и Центральная АзияВсеволод Давыдов, директор по разработке и внедрению систем поддержки операций (OSS) компании Ericsson в регионе Восточная Европа и Центральная Азия Проникновение CI/CD в телеком

Не секрет, что технологии гибкой и непрерывной интеграции, разработки и внедрения программных продуктов (CI/CD, Continuous Integration & Continuous Delivery) де-факто становятся стандартом в мире информационных технологий при разработке программного обеспечения (ПО), его внедрении и дальнейшей поддержке на предприятиях и у провайдеров различных цифровых услуг. Появление самих технологий и подходов CI/CD было вызваны необходимостью быстро и эффективно реагировать на новые бизнес-задачи, которые в современных реалиях могут появляться на ежемесячной, еженедельной и в некоторых случаях даже на ежедневной основе. Эта необходимость и послужила триггером для пересмотра существующего, классического, и формирования нового взгляда на процесс разработки ПО, его доставки, развертывания и дальнейшего сопровождения на системах заказчиков. В результате для реализации нового подхода был создан ряд программных средств и процессов, призванных максимально упростить, автоматизировать и ускорить все этапы управления жизненным циклом ПО (CI/CD SW pipeline), начиная от момента разработки архитектуры и кода ПО, и заканчивая его внедрением в коммерческие системы.

Общие методологии CI/CD, изначально появившиеся в мире IT-услуг, все глубже проникают в мир цифровых телеком-технологий. Потребность в новых подходах в телекоме подогревается стремительным развитием новых технологий (LTE/VoWiFi/VoLTE /5G/IoT) и их усложнением, включая перенос сетевых функций операторов связи в облачные среды с использованием технологий виртуализации и контейнеризации. В результате мы имеем сложную экосистему, включающую физическую и облачную инфраструктуры оператора, с огромным количеством разнородных узлов и сервисных функций, интегрированных между собой и требующих разработки, внедрения, дальнейшего сопровождения и развития. И эта экосистема не является статичной. Она постоянно развивается и эволюционирует согласно новым вызовам и потребностям конечных пользователей, потребителей цифровых услуг, то есть нас с вами.

Таким образом, становится очевидным, что классический подход, основанный на регулярных и нечастых (обычно один раз в год) обновлениях ПО различных узлов сети и внедрениях новых сетевых функций оператора связи, больше не отвечают требованиям времени. И здесь на помощь приходит CI/CD – подход, позволяющий максимально упростить, автоматизировать и как результат существенно ускорить процесс управления жизненным циклом ПО. И тем самым значительно облегчить жизнь как операторов связи, так и поставщиков ПО и сетевых функций.

Подход Ericsson

Будучи мировым лидером в производстве телекоммуникационного оборудования, сетевых функций и цифровых услуг, компания Ericsson активно участвует в развитии новых технологий, включая разработку и освоение новых подходов к построению своих решений. Ericsson начал с применения методологии CI/CD при разработке и управлении циклом жизни своих продуктов. После чего этот процесс был адаптирован для внедрения, последующей поддержки и обновлений решений Ericsson для заказчиков — операторов. И надо сказать, что эти изменения были очень своевременными – с ростом сложности сетей и развитием новых стандартов связи, вплоть до 5G, управлять всем этим хозяйством "по старинке" становится не просто сложно, а очень накладно и физически труднореализуемо.

Так что же такого сделали в Ericsson? Специалисты компании разработали модель под названием Ericsson End-to-End SW Delivery Pipeline — СI/CD решение, с помощью которого реализуется сквозной (end-to-end) и непрерывный процесс управления жизненным циклом ПО сети оператора связи. Этот подход в значительной степени уже реализован и продолжает развиваться для сетевых функций опорной (СS/PS/5G Core) и мультимедийной (IMS) сетей, а также узлов OSS и BSS. Следующий этап – сеть доступа, радиосеть. Цель этого подхода — максимальная автоматизация, ускорение и упрощение внедрения, развертывания и дальнейшей поддержки ПО на сети оператора. В результате внедрения такой модели достигается:

• Значительное сокращение сроков внедрения новых сетевых функций и их обновлений – благодаря ускорению цикла разработки и автоматизации выпуска и модернизации ПО;
• Оптимизация усилий и затрат как со стороны Ericsson, так и со стороны операторов — за счет автоматизации процессов разработки, тестирования и внедрения ПО;
• Улучшение качества услуг и сокращение числа вероятных ошибок благодаря возможности чаще обновлять ПО и делать это с меньшим количеством изменений, что существенно упрощает процесс, ускоряет и упрощает тестирование новых версий.

Ericsson CI/CD модель, E2E SW Delivery Pipeline, архитектурно состоит из трех основных функциональных блоков (этапов), связанны между собой шифрованными каналами связи (Рис. 1).

Рис 1. Ericsson E2E SW Delivery Pipeline

Первый этап под названием "Разработка" (Ericsson R&D) состоит из набора средств и процессов создания дизайна, архитектуры и разработки ПО (включая подготовку сценариев, описаний и скриптов для развертывания ПО). На выходе данного блока формируется пакет ПО, стандартный для всех операторов-заказчиков Ericsson. Готовое ПО размещается в облачном хранилище (SW Gateway).

Второй этап под названием "Расширение и адаптация" (Integration & Localization) не является обязательным. Он включает в себя набор DevOps средств и процессов и предназначен для возможных адаптаций и расширений как ПО, так и сценариев развертывания/модернизации под специфические требования оператора (Сценарий 1, Рис. 1).

Вся инфраструктура и набор средств, относящиеся к первым двум этапам, располагаются на площадках компании Ericsson.

Основа третьего этапа — унифицированная платформа CDD (Continuous Delivery and Deployment), которая размещается на площадке оператора. Эта платформа выполняет комплекс автоматизированных задач, связанных с внедрением целевых версии ПО на сетевых узлах оператора. К таким задачам относятся загрузка пакетов и образов ПО из SW Gateway, предварительные проверки, непосредственное развертывание и обновление ПО на целевых узлах оператора, широкий набор тестов для подтверждения успешности обновлений ПО, автоматическое тестирование функционала сетевых узлов и др.

CDD поддерживает работу с сетевыми узлами на классических аппаратных платформах (PNF, physical network functions), а также на виртуальных (узлы VNF, virtualized network functions) и контейнеризированных (узлы CNF, containerized network functions) платформах. Архитектура CDD построена по модульному принципу и поддерживает включение дополнительных модулей и точек интеграции для расширения списка решаемых задач.

Целевым сценарием является бесшовная и максимально автоматизированная реализация (zero touch) процесса на всех этапах управления жизненным циклом ПО сетевых функций. Модернизация ПО должна происходить без участия (или с минимальным вовлечением) человеческих ресурсов и на регулярной основе. Уже сейчас компанией Ericsson успешно реализованы и активно используются сценарии, в рамках которых выполняется автоматическая загрузка целевых сборок ПО из хранилища SW Gateway и происходит автоматическое и регулярное обновление выбранных сетевых функций (Сценарий 2, Рис. 1).

Совместный CI/CD пилот Ericsson и МТС в России: модернизация системы управления сетью

Описанная модель CI/CD активно развивается и внедряется Ericsson для заказчиков по всему миру. Примером внедрения описанного подхода является недавний совместный проект Ericsson и МТС в России, в рамках которого был успешно завершен пилот по выполнению автоматизированной модернизации (обновления) ПО системы управления сетью Ericsson Network Manager (ENM). ENM – это современная система управления сетью радиодоступа (RAN), а также опорной (PS/CS/5G CORE) и мультимедийной (IMS) сетями оператора. Этот проект был реализован с использованием значительного объема компонентов описанной выше модели Ericsson E2E SW Delivery Pipeline.

В рамках пилота успешно пройдена первая фаза на пути достижения полной автоматизации обновлений ПО системы управления ENM. Значительная часть шагов, ранее выполнявшихся вручную, теперь выполняется в полностью автоматическом режиме в виде цепочек процесса, контролируемого через интуитивную графическую среду CI/CD платформы.

Автоматическое выполнение процедур предварительных проверок, обновления самого ПО и валидации полученного результата позволяет минимизировать человеческий фактор и избежать ошибок, связанных с последовательным выполнением большого объема отдельных шагов и задач.

В рамках этого процесса также ведется интеллектуальный контроль успешности выполнения всех этапов, при этом каждый последующий этап автоматически запускается при успешном завершении предыдущего.

В результате с помощью реализации такого подхода удалось достичь поставленных целей – подтвердить зрелость и применимость Ericsson модели CI/CD для обновления ПО систем управления ENM. Высокий уровень автоматизации и контроля позволили успешно выполнить последовательное обновление двух систем управления ENM с высоким уровнем качества работ и в согласованные сроки.

Ericsson и МТС намерены продолжить совместно развивать подход по достижению полной автоматизации обновлений ПО на сети оператора. Планируются следующие шаги по развитию данного подхода:

• Развитие CI/CD процедур для достижения полной автоматизации всех шагов процесса обновления ПО ENM (zero touch);
• Выполнение автоматических приемочных испытаний в процессе обновления ПО;
• Сокращение длительности полного процесса обновления ПО систем ENM;
• Централизованное и одновременное выполнение обновлений ПО нескольких систем ENM, например в разных географических сегментах сети.

Используя огромную инсталлированную базу по всему миру, на опыте подобных пилотных проектов для различных сетевых узлов (CS/PS/5G CORE, IMS, OSS/BSS) Ericsson уже доказал успешность и актуальность применения подхода CI/CD в сфере телекоммуникационных цифровых услуг. Подобные проекты планируются к реализации в ближайшее время как в России, так и в Восточной Европе и Центральной Азии.
Компании Ericsson намерена продолжать активную работу по автоматизации и упрощению процесса управления жизненным циклом ПО на всех стадиях, включая его разработку, внедрение, поддержку и регулярную модернизацию. Не исключено, что текущие устоявшиеся подходы по внедрению и модернизации ПО на сетевых функциях телеком-операторов будут уже в недалеком будущем казаться нам крайне неэффективными и устаревшими.