Режим реального времени: уникальная платформа Александра Лемзина изменила подход к работе с большим потоком данных

Неординарный IT-специалист рассказал, как компании могут заработать на сокращении сроков разработок

Потоковая обработка данных является ключевым направлением в современных цифровых технологиях. Она позволяет в режиме реального времени эффективно анализировать огромные объемы информации, поступающие также в режиме реального времени. Особенно это важно в сферах телекоммуникаций, финансов, торговли, логистики и других, где скорость качественной обработки потоковых данных имеет в том числе финансовую ценность.

Ведущий инженер компании Nexign Александр Лемзин разработал ряд инновационных продуктов, которые позволяют эффективно анализировать и обрабатывать огромные массивы данных. Среди них платформа Complex Event Processing, библиотека-стартер, программа противодействия телефонному мошенничеству. О продуктах, которые помогают крупным российским компаниям повышать финансовые результаты, — в интервью с выдающимся IT-специалистом, лауреатом престижной премии "Digital leaders Awards-2021" Александром Лемзиным.

Александр, одним из Ваших инновационных проектов стала библиотека для нормализации потоков данных, которая существенно сокращает время, необходимое для разработки, и экономит ресурсы компаний. Объясните, за счет чего это происходит?

Благодаря моей разработке все события, поступающие из различных источников, могут быть приведены к единому формату на основе предоставленной схемы данных. Уникальность моей разработки в том, что время разработки новых приложений и сервисов при использовании моего модуля сокращается на 87 %, а также она значительно экономит человеческий ресурс и бюджет компании за счет легкой масштабируемости и упрощенной конфигурации. Ранее же все преобразования выполнялись вручную и требовали четкой структуры данных.

Ваш IT-продукт выделяется на фоне других программных решений благодаря уникальным метрикам, которые недоступны в открытом программном обеспечении и коммерческих версиях. Каковы его возможности?

Я разработал и интегрировал уникальный модуль, предназначенный для подключения к различным источникам данных и передачи их в кластер Kafka, а также для работы в кластерах K8S. Модуль обладает возможностью масштабирования и легкой настройки, что позволяет пользователю подключаться к разным источникам данных, таких как данные о транзакциях, IoT, данные с вышек сотовой связи и других, даже не имея специальных знаний. Другие существующие на рынке продукты не обладают необходимым функционалом или не удовлетворяют высоким требованиям производительности. А мой сочетает в себе все необходимые характеристики: высокую производительность, надежность и возможность использования компаниями собственных уникальных метрик, а также простую конфигурацию. Библиотека может быть применена в самых разных отраслях экономики, где используются цифровые продукты: финансах, логистике, образовании и т.д.

Каждый ваш проект отличается от аналогов быстродействием, отказоустойчивостью, простой и гибкой конфигурацией под потребности бизнеса. Например, еще одна Ваша работа — библиотека-стартер — используется для быстрого и удобного описания бизнес-логики без переноса инфраструктурного кода. Как это устроено?

Благодаря интегрированным уровням безопасности, библиотека-стартер представляет собой нестандартный инструмент для аутентификации и защиты данных в протоколах на основе соединений. Кроме того, она обеспечивает уровень безопасности паролей РАМ для защиты критически важных ресурсов от несанкционированного доступа. Также следует отметить, что инструмент обработки данных обладает кроссплатформенностью.

Данная разработка учитывает как онлайн, так и оффлайн механики и способна генерировать сложные события, а также обрабатывать состояния всех объектов. Ее использование в области маркетинга позволяет проводить успешные кампании без больших трудозатрат. Более того, она позволяет оптимизировать ресурсы, включая человеческие и финансовые. По результатам реальных испытаний в Nexign, время, затрачиваемое на выход продукта или компании на рынок, сокращается в разы, с шести месяцев до одного.

Насколько мне известно, на данный момент библиотека успешно применяется в компаниях "Мегафон", YOTA и Nexign. Каковы результаты ее внедрения и дальнейшие перспективы?

Результаты говорят сами за себя: тратится значительно меньше времени на разработку программных продуктов и уменьшается число ошибок за счет переиспользования кода более чем на 90%. Фактически, использование этой библиотеки позволяет предприятиям сократить время разработки услуги с шести месяцев до двух-трех недель.

В перспективе возможна интеграция проекта и в другие секторы экономики. Например, банки могут использовать данную библиотеку для отслеживания действий клиентов, формирования их профилей и предложения на основе этих данных. Это значительно упрощает работу аналитического отдела, т.к. предоставляет инструмент по обработке большого объема данных и снижает число ошибок, а также помогает бизнесу формировать кампании фактически в режиме реального времени, что приводит к увеличению прибыли и лояльности клиентов.

Работу компаний с большими объемами данных облегчает также использование разработанной вами платформы Complex Event Processing, состоящей из множества модулей. Расскажите, в чем преимущества ее микросервисной архитектуры?

Complex Event Processing — это платформа для аналитики и распределенного вычисления больших объемов данных, происходящих в режиме реального времени. Идея заключается в том, что компания с использованием независимых источников данных, таких как движение транзакций, clickstream, данные с вышек сотовой связи, IoT и так далее, может осуществлять не только их валидацию и передачу, но и проводить сложный анализ. Для этого используется платформа СЕР, которая позволяет построить деревоподобную структуру принятия решений, применять машинное обучение и выполнять различные вычисления, такие как агрегация данных из разных источников, обогащение и применение политик и правил. Все это настраивается на графическом интерфейсе CEPmonitor, который позволяет управлять платформой СЕР.

Платформа СЕР построена на микросервисной архитектуре и состоит из множества модулей. Это позволяет обеспечивать слабую связанность между компонентами и легко расширять функционал каждого модуля без влияния на остальные части платформы. Такой подход открывает потенциально безграничные возможности для расширения функциональности платформы.

Внедрение Вашей разработки в известной российской IT-компании Nexign привело к росту ее доходов в прошлом году. В чем еще Ваш проект доказал свою эффективность?

Как только компания стала работать с данной платформой, количество потенциальных ошибок снизилось сразу на 73 % за счет машинного анализа структуры данных. Благодаря легкой масштабируемости и упрощенной конфигурации более чем на 80 % сокращается срок любой разработки. Проект доказал свою эффективность и получил положительные отзывы от лидеров рынка, таких, как ПАО "Мегафон", YOTA и других. В "Мегафоне" даже признали, что предоставляемые платформой СЕР возможности попросту отсутствуют у конкурентов. Мою разработку используют инженеры-программисты и в других сферах, например, банковской.

Эта разработка получила высокую оценку экспертов — Вы стали лауреатом премии "Digital leaders Awards-2021" в категории "Решения big data и искусственного интеллекта в маркетинге". Однако у Вас есть не менее впечатляющее решение, результатом которого стала безопасность клиентов одного из мобильных операторов. Благодаря ей доля фродовых продаж сократилась на треть. Как программа борется с мошенниками?

Моя программа противодействия мошенничеству с использованием сим-карт представляет собой механизм с трехэтапной системой проверки, состоящий из множества компонентов. Система отслеживает историю перемещений абонента, сравнивает его текущее местоположения с прошлым, определяет, находится он онлайн или оффлайн и т.д. Таким образом компания может с высокой степенью точности вычислить, что звонок исходит от мошенников. Мою программу уже внедрили "Мегафон" и YOTA. Первые результаты показали, что фродовые продажи снижаются на 31 %. Как следствие, компании экономят на комиссии дилерам и увеличивают выручку продаж в целевых регионах примерно на 10 %. Поэтому данные предприятия оценили мою разработку как перспективную.

Ваши разработки уже доказали свою эффективность на практике. Над чем Вы работаете сейчас?

Я продолжаю совершенствовать платформу СЕР, чтобы в будущем сделать ее мировым лидером по обработке и анализу данных в режиме реального времени для корпоративного маркетинга в различных сферах деятельности: телеком, банкинг, ритейл и других.