Как мы разработали аналитическое хранилище данных (DWH) для производственной компании

В современных промышленных предприятиях, особенно в таких капиталоемких отраслях, как газодобыча и переработка, ключевым фактором успеха становится качество управленческих решений. Чтобы обеспечить точность, своевременность и обоснованность таких решений, необходима надежная система сбора, хранения и анализа данных. Именно такую задачу решала команда бизнес-аналитиков и архитекторов данных в компании Conteq в рамках проекта по созданию аналитического хранилища данных (DWH) для одной из крупнейших производственных компаний.

Проект был инициирован Заказчиком в рамках стратегической задачи — улучшения управляемости бизнеса и повышения финансовой эффективности. Для этого требовалось ежедневно получать актуальные данные из множества разнородных источников, накапливать их, сводить, преобразовывать в аналитически значимую форму и предоставлять конечным пользователям в виде панелей и отчетов в BI-системе Visiology.

Реализация проекта предусматривала создание аналитического хранилища данных, выстроенного по классической многоуровневой архитектуре. Такая структура обеспечивает масштабируемость, прозрачность и управляемость процессов обработки данных.

Целевое аналитическое хранилище было реализовано с использованием четырёх ключевых слоёв: Staging Layer (STG), Data Warehouse (DWH), Detail Data Store (DDS) и Data Marts (витрины данных). Каждый из этих слоев выполняет свою роль в обработке, трансформации и подаче данных.

Staging Layer (STG)

STG — это слой предварительной загрузки, на который поступают данные из первичных источников в максимально приближенном к исходному виде. На данном этапе не происходит преобразования данных: они хранятся в «сыром» формате. Основной задачей этого слоя является обеспечение быстрой и надежной загрузки, сохранение целостности и временное хранение данных до их дальнейшей обработки.

STG особенно важен при работе с системами, которые предоставляют данные с различными задержками или нестабильной структурой. В случае необходимости можно повторно обработать данные без запроса к источнику.

Data Warehouse (DWH)

Следующим этапом является DWH — операционное хранилище данных. На этом слое данные из различных источников проходят первичную обработку: дубликаты устраняются, данные очищаются, выравниваются по структуре и бизнес-правилам. Результатом становится унифицированное, интегрированное представление данных (hash/хеш), пригодное для поддержки оперативной отчетности и процессов.

DWH служит своего рода «буфером» между сырыми данными и аналитической моделью, позволяя получать уточненные и согласованные данные без существенной задержки и использовать их для поддержки операционных решений.

В DWH закладываются принципы историзации данных, что позволяет регистрировать изменения данных с течением времени — это особенно актуально для анализа трендов, отклонений и оценки эффективности процессов во времени. Слой DWH хранит в себе всю историческую информацию не только по фактам (числовым показателям), но и по измерениям (таблицам, которые описывают контекст фактов). Чтобы обеспечить надёжное хранение этой информации, мы применили вторую нормальную форму (2NF) при проектировании структуры. Это помогает устранить избыточность данных и предотвращает ошибки при их обновлении, добавлении или удалении, что особенно критично при работе с историческими данными.

Detail Data Store (DDS)

DDS — это аналитическое хранилище в полном смысле этого слова. На этом уровне происходит агрегация данных, построение специальных схем и консолидация данных, которые теперь хранятся в структурированном виде, готовом для выполнения сложных запросов и аналитических сценариев.

Кроме того, в DDS реализуются механизмы построения тематических моделей, ориентированных на предметные области: добыча, транспортировка, логистика, финансы и др.

На этом этапе все таблицы фактов и измерений приводятся к единому формату: назначаются общие BI-ключи, данные очищаются и стандартизируются. Затем происходит объединение информации из разных источников в единую таблицу.

Data Marts (витрины данных)

Последний уровень архитектуры — Data Marts, или витрины данных. Это подмножества информации, ориентированные на конкретных пользователей или бизнес-функции. Витрины могут быть агрегированными представлениями данных из DDS или специально подготовленными наборами данных, обеспечивающими быстрый отклик и удобство анализа.

Витрины предоставляются через BI-систему Visiology и служат основой для создания аналитических панелей, дашбордов и отчетов. Они позволяют пользователям из разных подразделений — от производственных служб до топ-менеджмента — получать необходимую информацию без глубоких знаний в области данных и ИТ. Витрины данных могут быть построены как снимки хранилища данных или как отдельные, независимые структуры. В данном случае важно было сделать единую витрину для основного и дополнительного вида деятельности заказчика. Данные можно просматривать как вместе, так и использовать фильтры для их распределения.

Во время реализации проекта Заказчик переходил с одной версии 1С на другую и параллельно рассматривал внедрение ещё одной (третьей) системы. Требовалась интеграции данных из разнородных источников, где одни и те же сущности могли называться по-разному или иметь разные идентификаторы.

Чтобы обеспечить единообразие этих данных, в рамках проекта была реализована система Master Data Management (MDM) — управления эталонными данными.

С помощью MDM внутри базы данных была создана специальная система мэппинга данных (data mapping) — процесса, позволяющего сопоставлять элементы из разных источников с целевой моделью данных, используемой в BI-системе. Это позволило устранить дублирование, повысить точность отчётов и обеспечить консистентность информации при анализе.

Так, на слое DWH мы загрузили справочники из двух систем и отдельно создали таблицу с мэппингом данных, где есть все уникальные ключи из разных систем, а на слое DDS и витрине мы использовали только один общий BI-ключ (уникальный идентификатор, который используется для связи данных из одной системы с другими аналитическими инструментами). Таким образом, в данных не было путаницы и не приходилось проделывать лишнюю работу по сверке одной и той же информации несколько раз.

Целевой сценарий использования при добавлении нового источника данных выглядит следующим образом:

1. Загружаем сырые данные на слой STG;
2. На слое DWH выполняем мэппинг объектов;
3. Последующие слои не потребуют дополнительной разработки.

Приведем пример:

Допустим, в компании появилась новая CRM-система, в которой торговые представители фиксируют данные о ценах на полке. Чтобы включить эту информацию в аналитическую базу и корректно сопоставить с фактическими продажами из 1С, необходимо объединить данные из двух источников. Однако в разных системах одни и те же товары могут иметь разные названия и идентификаторы.

Для решения этой задачи мы сначала загружаем измерения товаров из новой CRM на слой STG, далее на слое DWH проводим мэппинг между товарными позициями двух систем. После этого мы сможем проводить анализ добавленного показателя (например, «Цена на полке») с уже имеющимися (например «Продажи 1С»), при этом структура измерения не меняется — используется BI-ключ.

Слой DWH позволяет сохранять всю историю изменений (историчность) в измерениях. Это особенно важно, если для анализа требуется учитывать изменения атрибутов — например, изменение сегмента торговой точки. Такая архитектура упрощает анализ причин изменения ключевых показателей.

Кроме того, на слое DWH для каждого изменения объекта сохраняется история с датой начала и окончания действия версии. Это позволяет формировать как:

• Актуальные витрины с последними данными (если, например, нас не интересует, как менялось название товара),
• Так и исторические витрины, если требуется ретроспективный анализ.

Пример использования исторических измерений:

При анализе среднего объёма продаж по сегментам торговой точки важно использовать данные, актуальные на момент совершения продаж. Если бы мы использовали только текущие данные измерений (без истории), это бы исказило фактическую картину: показатели по сегментам были бы рассчитаны неправильно. Благодаря историческим справочникам на слое DWH мы сохраняем корректность аналитики.

Инкрементальная загрузка большого объема данных

Перед разработчиком стояла задача настроить инкрементальную загрузку данных больших объемов с помощью уникального представления данных (хеш), которое мы используем в архитектуре DWH, помогает справиться с большими объёмами данных и устранить проблемы, связанные с длительным процессингом.

BI-система Visiology, интегрированная с DWH, предоставляет актуальные данные по ключевым показателям компании на ежедневной основе, формируя единую точку правды для всех участников процесса.

При разработке архитектуры хранилища были учтены следующие ключевые задачи:

• Интеграция данных из разнородных источников, включая корпоративные ERP-системы, базы данных и Excel-отчеты.
• Постоянное хранение данных с возможностью детализации до первичных событий или агрегации по нужным бизнес-группировкам.
• Приведение данных к единому справочному пространству и базовым предметным объектам.
• Поддержка временного хранения промежуточных этапов преобразований, позволяющая сохранять цепочку трансформации при каждой загрузке.
• Настройка ежедневной актуализации данных с автоматическим контролем качества и логированием.

Дополнительно была разработана промежуточная инфраструктура, обеспечивающая:

• интеграцию BI-системы Visiology в инфраструктуру Заказчика;
• разработку и настройку аналитических моделей и панелей;
• доработку смежных информационных систем, необходимых для полноценной работы аналитики.

Таким образом, проект стал не просто технической реализацией хранилища, а полноценной основой для цифровой трансформации управления предприятия.

«При проектировании DWH важно учитывать не только бизнес-сущности объектов данных, но и дополнительные параметры, влияющие на качество аналитики. К ним относятся объемы данных, частота и способ их загрузки, наличие и глубина историзации, а также требования к уровню детализации и хранению информации.

Предложенная командой Conteq архитектура позволяет ответить на любой бизнес-вопрос на основе данных. Благодаря продуманной структуре базы данных обеспечивается не только актуальность и полнота данных, но и возможность отслеживать, как именно они менялись со временем".

— Александр Щудро, архитектор в компании Conteq