"Газпром нефть" создала платформу управления данными

"Умное озеро данных" включает компоненты обработки, хранения и анализа данных Data Lake и хранилище данных, лабораторию продвинутой аналитики Data Science, работающие в тесной интеграции с компонентами Data Governance.

Внедрение аналитической платформы является частью стратегии цифровой трансформации дирекции региональных продаж, где около 50% всех аналитических проектов и инициатив уже реализуются в контуре "умного озера данных", а в 2020 г. их доля достигнет не менее 75%.

Как рассказали ComNews в "Газпром нефти", инвестиции в проект составили около 300 млн руб. Разработка велась преимущественно силами сотрудников дирекции региональных продаж "Газпром нефти". Как рассказали в компании, инвестиции потрачены в основном на покупку оборудования и приобретение лицензий ПО, а также на оплату инженерных работ.

Ключевые для "умного озера данных" компоненты Data Governance реализованы на платформе Informatica. Партнером по поставке и поддержке внедрения продуктов Informatica выступила компания DIS Group, официальный представитель Informatica в России и СНГ.

Как пояснили ComNews в "Газпром нефти", "Умное озеро данных ДРП" - это название комплексной системы управления данными, а не просто разновидность Data Lake. "Мы использовали такое название, чтобы кратко выделить ключевые особенности решения. "Умное озеро данных ДРП" включает в себя подсистемы Data Governance на платформе Informatica - каталог данных, управление качеством данных, бизнес-глоссарий, пользовательский портал обзора данных, - компоненты интеграции данных, а также интегрированные с ними компоненты обработки больших данных (на основе Arenadata Hadoop), аналитическое хранилище данных (Microsoft SQL Server 2017), BI (Qlik), аналитическую лабораторию с набором инструментов Data Science", - пояснили ComNews в пресс-службе компании.

Как рассказывают в "Газпром нефти", обычно в компаниях ИТ-подразделения внедряют системы обработки данных (озера и хранилища данных), и иногда бизнес-подразделения реализуют изолированные проекты в области Data Governance. "В 2016 г. исследовательская компания Gartner опубликовала продвинутую архитектуру платформы Big Data, в которой компоненты для обработки различных данных работают совместно с компонентами управления данными. На сегодняшний день не существует готовых промышленных решений, реализующих в полной мере эту архитектуру, к ней приближаются Microsoft и Amazon в своих публичных облаках. Опубликованных проектов создания комплексных платформ управления данными внутри частных компаний нет даже в международной практике. Команда в ДРП реализовала такое комплексное решение - называемое для краткости "умное озеро данных", - обеспечив совместную работу компонент и участников команды разработки, на базе актуальных практических бизнес-кейсов", - объяснили уникальность разработки в компании.

Комплексное решение создает гибкую инфраструктуру для любых задач анализа и системного улучшения качества данных, что позволяют бизнесу быстро разрабатывать и внедрять клиентские решения и повышать операционную эффективность сбытового бизнеса. За счет централизации обработки и хранения данных снижаются затраты на инфраструктуру и подготовку данных для проектов компании. Сотрудники получают мгновенный доступ через единый пользовательский портал к описаниям любых объектов и наборов данных. Компания может предугадывать предпочтения клиентов и персонализировать предложения.

Первые задачи "умного озера" включили в себя обработку транзакций сети АЗС "Газпром нефть", расчет сегментов для клиентской аналитики, анализ обратной связи от клиентов. Кроме этого, в платформу интегрированы данные значительного числа внешних источников, в частности Санкт-Петербургской товарно-сырьевой биржи, сайтов Центробанков России и СНГ, географические и метеорологические ресурсы, метрики и отзывы Google, App Store, "Яндекса", открытые данные социальных сетей, различные данные партнеров и сведения о конкурентах, данные мобильных приложений.

"Мы создали комплексную инфраструктуру работы с данными, реализовав сложную современную архитектуру Big Data. Для выполнения проекта создан Центр аналитических решений, включающий подразделения по инжинирингу данных и Центр компетенций по Data Science, создана с нуля сильная команда внутри, и вся разработка проведена без привлечения внешних подрядчиков. Мы уже видим эффект от внедрения "умного озера данных" в сокращении затрат на поиск и поставку качественных данных для цифровых инициатив и проектов. Ожидаем, что благодаря активному использованию инструментов Data Governance в течение трех лет повысим качество данных на 60%, что значительно снизит операционные риски и затраты бизнеса", - отметил директор по региональным продажам "Газпром нефти" Александр Крылов.

В рамках проекта создана универсальная централизованная среда для Big Data и продвинутой аналитики, в рамках которой данные становятся общедоступными для менеджеров на всех этапах обработки и функционируют инструменты, позволяющие системно улучшать качество данных. В планах у "Газпром нефти" - постепенно интегрировать в эту среду все связанные с интеграцией данных и аналитикой проекты и инициативы сегмента сбыта моторных топлив.

Как отмечает директор по развитию web-технологий компании Artezio (входит в группу "Ланит") Сергей Матусевич, внедрение подобных платформ управления данными - это важный шаг на пути к техническому перевооружению российских компаний. "Газпром нефть" - безусловно, новатор в этой области, - фиксирует он. - Только за 2019 г. компания реализовала ряд крупных информационных проектов. Но нужно понимать, что у других российских компаний может не быть достаточных ресурсов, чтобы повторить подобные проекты. Основная проблема состоит в том, что подобные платформы не могут пока стать универсальными. Это снизило бы стоимость интеграции и позволило бы повысить эффективность работы многих российских компаний. Однако пока в каждом конкретном случае речь идет о персонализированной разработке, даже в рамках одной индустрии или даже группы компаний".

Как указывает эксперт направления Big Data ИТ-компании "Крок" Егор Осипов, особенность и уникальность системы "Газпром нефти" заключаются не только в том, что это масштабный Data Lake на уровне всего предприятия, интегрирующий большое количество различных источников, но и в том, что это одно из первых в России полномасштабных внедрений системы на базе инструментов Data Governance. "Внедрение таких систем позволяет управлять данными компании как активом: контролировать качество данных, повышать осведомленность бизнеса о наличии данных, а главное - выстроить прозрачный процесс коммуникации между бизнесом и ИТ при работе с данными", - перечисляет он.

Директор департамента "Нефть и Газ" компании "Техносерв" Андрей Глушук замечает, что "Газпром нефть" является лидером в отечественной индустрии по цифровизации и внедрению современных технологий. "Сейчас это решение можно назвать уникальным. Применение аналитической платформы Data Lake и ее популяризация будут способствовать повышению операционной деятельности компаний не только нефтегазовой отрасли, но и других сфер", - полагает он.