Справочник данных для ИИ — это метаданные, данные о корпоративных данных. Справочник содержит единое описание терминов, правил расчета, источников данных, показателей и связей между ними. Без него ИИ может неверно интерпретировать информацию и восполнять пробелы предположениями — отсюда галлюцинации. Чем сложнее корпоративные данные, тем важнее такой справочник.
Почему корпоративные ИИ-боты галлюцинируют на внутренних данных
Галлюцинация, то есть придумывание несуществующих данных, — это крайняя стадия неверной интерпретации данных в силу отсутствия понимания контекста.
ИИ-помощник видит цифру, например, в колонке «Рентабельность», но не понимает, что она означает. Это рентабельность работ или продаж, с НДС или без и так далее. ИИ ассистент может даже не знать роль того пользователя, с которым он общается — это финансовый аналитик, руководитель проекта или инженер. А это все часть контекста. Система могла бы задать множество уточняющих вопросов, но пользователь ждет ответа, который в итоге генерируется исходя из ограниченных данных, неполной картины мира.
Для человека, который знает внутреннюю логику компании, контекст может быть очевиден. Для И И — нет.
Такая ситуация создает несколько рисков:
При этом подключение ИИ к корпоративной базе данных само по себе проблему не решает. Даже если модель получает актуальные данные, ей нужно понимать, что именно означает каждый показатель и по каким правилам его следует использовать, из какого источника получены данные для расчета.
На помощь приходит справочник данных.
ИИ-помощник видит цифру, например, в колонке «Рентабельность», но не понимает, что она означает. Это рентабельность работ или продаж, с НДС или без и так далее. ИИ ассистент может даже не знать роль того пользователя, с которым он общается — это финансовый аналитик, руководитель проекта или инженер. А это все часть контекста. Система могла бы задать множество уточняющих вопросов, но пользователь ждет ответа, который в итоге генерируется исходя из ограниченных данных, неполной картины мира.
Для человека, который знает внутреннюю логику компании, контекст может быть очевиден. Для И И — нет.
Такая ситуация создает несколько рисков:
- модель выбирает неверный показатель из нескольких похожих,
- использует данные из неправильного источника,
- неправильно интерпретирует сокращения и внутренние термины,
- смешивает показатели с разной методологией расчета,
- формирует логичный по форме, но неверный ответ.
При этом подключение ИИ к корпоративной базе данных само по себе проблему не решает. Даже если модель получает актуальные данные, ей нужно понимать, что именно означает каждый показатель и по каким правилам его следует использовать, из какого источника получены данные для расчета.
На помощь приходит справочник данных.
Что такое справочник данных для ИИ
Справочник данных, или data glossary, — это структурированное описание ключевых данных компании: терминов, показателей, их значений, источников и правил использования.
По сути, это единый словарь, который связывает техническую структуру данных с бизнес-смыслом. Если сотрудник спрашивает: «Как изменилась рентабельность в августе?», ИИ должен понимать, какую именно маржинальность имеет в виду компания, какие статьи входят в расчет и откуда брать исходные значения.
Будет нелишним сказать, что подобная документация пригодится не только ИИ. Человеку такой справочник тоже поможет разобраться в корпоративных данных. Для И И он становится дополнительным контекстом, который позволяет связать вопрос пользователя с правильным показателем, источником и способом расчета.
По сути, это единый словарь, который связывает техническую структуру данных с бизнес-смыслом. Если сотрудник спрашивает: «Как изменилась рентабельность в августе?», ИИ должен понимать, какую именно маржинальность имеет в виду компания, какие статьи входят в расчет и откуда брать исходные значения.
Будет нелишним сказать, что подобная документация пригодится не только ИИ. Человеку такой справочник тоже поможет разобраться в корпоративных данных. Для И И он становится дополнительным контекстом, который позволяет связать вопрос пользователя с правильным показателем, источником и способом расчета.
Что входит в справочник
Справочник — это структуры, которые описывают что есть «рентабельность» и другие понятия в контексте деятельности компании.
Справочник — это не единый документ, это несколько слоев метаинформации, включая глоссарии, описания показателей, описание связей между данными, между источником данных и конечным показателем (lineage, mapping).
Набор слоев может отличаться в зависимости от проекта, но в общем виде можно выделить несколько групп информации:
В результате формируется не просто техническая документация, а единый источник бизнес-смысла для аналитики и ИИ.
Справочник — это не единый документ, это несколько слоев метаинформации, включая глоссарии, описания показателей, описание связей между данными, между источником данных и конечным показателем (lineage, mapping).
Набор слоев может отличаться в зависимости от проекта, но в общем виде можно выделить несколько групп информации:
- Бизнес-термины: определения понятий (клиент, заказ, договор, выручка и т. д.).
- Метрики и показатели (KPI): фиксация точных значений в глоссарии метрик (например, неактивный период для спящего клиента в месяцах).
- Формулы и правила расчета: математическое выражение, используемые поля, период расчета, фильтры и исключения.
- Источники данных: указание приоритетного источника и конкретных объектов данных для каждого показателя.
- Связи между объектами: указание на контекст, который необходимо учитывать или игнорировать для определенных показателей, что особенно важно при интеграции нескольких систем.
В результате формируется не просто техническая документация, а единый источник бизнес-смысла для аналитики и ИИ.
Как связаны метаданные, бизнес-логика показателей и точность ответов ИИ
Наличие нескольких слоев метаданных требует объяснить ИИ, как они связаны между собой и как связаны данные внутри них.
Описание связей — это еще и фиксация логики сбора показателей. Без связей между слоями ИИ-модель может увидеть в базе десятки таблиц и сотни полей, но не понять, какие из них действительно отвечает на вопрос пользователя.
С точки зрения практики, когда вы описали связь, вы сделали возможным получение обратной связи. Ведь после вопроса про текущую производительность в реальном бизнесе скорее всего будет задан вопрос о том, как нам увеличить производительность, не увеличивая затраты на оборудование. ИИ, вооруженный знанием вашей логики, предложит показатель, изменение которого приведет к повышению рентабельности. А уж потом задача человека проверить предположение ИИ и изменить процесс, который приведет к изменению этого показателя.
Подробнее о метаданных — в нашем блоге.
- Первый слой — технические метаданные, описание того, где находятся данные и как они устроены: название системы, таблицы и поля, типы данных, связи между объектами, период обновления.
- Второй — бизнесовые метаданные, которые объясняют, что эти данные означают для компании. Например, поле «customer_id» — это уникальный идентификатор клиента в корпоративной CRM.
- Третий — бизнес-логика, которая определяет, как из отдельных данных получить показатель. Например, как рассчитывается «средний чек» и как обрабатываются возвраты.
Описание связей — это еще и фиксация логики сбора показателей. Без связей между слоями ИИ-модель может увидеть в базе десятки таблиц и сотни полей, но не понять, какие из них действительно отвечает на вопрос пользователя.
С точки зрения практики, когда вы описали связь, вы сделали возможным получение обратной связи. Ведь после вопроса про текущую производительность в реальном бизнесе скорее всего будет задан вопрос о том, как нам увеличить производительность, не увеличивая затраты на оборудование. ИИ, вооруженный знанием вашей логики, предложит показатель, изменение которого приведет к повышению рентабельности. А уж потом задача человека проверить предположение ИИ и изменить процесс, который приведет к изменению этого показателя.
Подробнее о метаданных — в нашем блоге.
Как Conteq готовит справочники данных в рамках BI-проекта
Мы в рамках проектов отдаем клиенту не только проинтегрированные данные, но и описание всей модели. Мы приходим к заказчику, обследуем существующие системы и описываем процессы. Потом строится модель данных, консолидированная, очищенная, сопоставленная с едиными справочниками, помогающими трактовать цифры в показателях и в источниках.
Подготовка справочника данных обычно не является самостоятельным этапом и не начинается с отдельного документа. Он создается в процессе работы с данными. Сюда входят:
После этого справочник можно использовать как часть информационного слоя для корпоративного ИИ, вместе с корпоративным хранилищем, BI-системой, RAG на корпоративных данных или другими механизмами доступа модели к внутренней информации.
Как видно, подготовка справочника данных — это не отдельная формальность перед запуском корпоративного ИИ. Это часть подготовки данных и бизнес-семантики, без которой даже самая современная модель может неправильно интерпретировать информацию и даже приводить к галлюцинации ИИ на данных компании.
Узнать больше о том, как данные становятся AI-ready вы можете, посмотрев запись вебинара.
Хотите провести ИИ-трансформацию в вашей компании — напишите нам, эксперты BI Conteq помогут! Оставить заявку
Подготовка справочника данных обычно не является самостоятельным этапом и не начинается с отдельного документа. Он создается в процессе работы с данными. Сюда входят:
- обследование и анализ источников (ERP, CRM, бухгалтерские системы, Excel, базы данных и другие), выявление дублей и противоречий,
- сбор бизнес-требований (единая логика показателей, какие из них реально используются для принятия решений и что они означают),
- согласование единой семантики (фиксируется семантический слой),
- связка бизнес-терминов с техническими объектами (бизнес-глоссарий связывается с реальной архитектурой данных),
- проверка на BI-сценариях (дашборды и отчеты помогают выявить ошибки ещё до передачи контекста ИИ).
После этого справочник можно использовать как часть информационного слоя для корпоративного ИИ, вместе с корпоративным хранилищем, BI-системой, RAG на корпоративных данных или другими механизмами доступа модели к внутренней информации.
Как видно, подготовка справочника данных — это не отдельная формальность перед запуском корпоративного ИИ. Это часть подготовки данных и бизнес-семантики, без которой даже самая современная модель может неправильно интерпретировать информацию и даже приводить к галлюцинации ИИ на данных компании.
Узнать больше о том, как данные становятся AI-ready вы можете, посмотрев запись вебинара.
Хотите провести ИИ-трансформацию в вашей компании — напишите нам, эксперты BI Conteq помогут! Оставить заявку
