Справочники данных для ИИ: как снизить галлюцинации ИИ-ботов на данных компании

Справочник данных для ИИ — это метаданные, данные о корпоративных данных. Справочник содержит единое описание терминов, правил расчета, источников данных, показателей и связей между ними. Без него ИИ может неверно интерпретировать информацию и восполнять пробелы предположениями — отсюда галлюцинации. Чем сложнее корпоративные данные, тем важнее такой справочник.

Галлюцинация, то есть придумывание несуществующих данных, — это крайняя стадия неверной интерпретации данных в силу отсутствия понимания контекста.

ИИ-помощник видит цифру, например, в колонке «Рентабельность», но не понимает, что она означает. Это рентабельность работ или продаж, с НДС или без и так далее. ИИ ассистент может даже не знать роль того пользователя, с которым он общается — это финансовый аналитик, руководитель проекта или инженер. А это все часть контекста. Система могла бы задать множество уточняющих вопросов, но пользователь ждет ответа, который в итоге генерируется исходя из ограниченных данных, неполной картины мира.

Для человека, который знает внутреннюю логику компании, контекст может быть очевиден. Для И И — нет.

Такая ситуация создает несколько рисков:

• модель выбирает неверный показатель из нескольких похожих,
• использует данные из неправильного источника,
• неправильно интерпретирует сокращения и внутренние термины,
• смешивает показатели с разной методологией расчета,
• формирует логичный по форме, но неверный ответ.

При этом подключение ИИ к корпоративной базе данных само по себе проблему не решает. Даже если модель получает актуальные данные, ей нужно понимать, что именно означает каждый показатель и по каким правилам его следует использовать, из какого источника получены данные для расчета.

На помощь приходит справочник данных.

Справочник данных, или data glossary, — это структурированное описание ключевых данных компании: терминов, показателей, их значений, источников и правил использования.

По сути, это единый словарь, который связывает техническую структуру данных с бизнес-смыслом. Если сотрудник спрашивает: «Как изменилась рентабельность в августе?», ИИ должен понимать, какую именно маржинальность имеет в виду компания, какие статьи входят в расчет и откуда брать исходные значения.

Будет нелишним сказать, что подобная документация пригодится не только ИИ. Человеку такой справочник тоже поможет разобраться в корпоративных данных. Для И И он становится дополнительным контекстом, который позволяет связать вопрос пользователя с правильным показателем, источником и способом расчета.

Справочник — это структуры, которые описывают что есть «рентабельность» и другие понятия в контексте деятельности компании.

Справочник — это не единый документ, это несколько слоев метаинформации, включая глоссарии, описания показателей, описание связей между данными, между источником данных и конечным показателем (lineage, mapping).

Набор слоев может отличаться в зависимости от проекта, но в общем виде можно выделить несколько групп информации:

• Бизнес-термины: определения понятий (клиент, заказ, договор, выручка и т. д.).
• Метрики и показатели (KPI): фиксация точных значений в глоссарии метрик (например, неактивный период для спящего клиента в месяцах).
• Формулы и правила расчета: математическое выражение, используемые поля, период расчета, фильтры и исключения.
• Источники данных: указание приоритетного источника и конкретных объектов данных для каждого показателя.
• Связи между объектами: указание на контекст, который необходимо учитывать или игнорировать для определенных показателей, что особенно важно при интеграции нескольких систем.

В результате формируется не просто техническая документация, а единый источник бизнес-смысла для аналитики и ИИ.

Наличие нескольких слоев метаданных требует объяснить ИИ, как они связаны между собой и как связаны данные внутри них.

• Первый слой — технические метаданные, описание того, где находятся данные и как они устроены: название системы, таблицы и поля, типы данных, связи между объектами, период обновления.
• Второй — бизнесовые метаданные, которые объясняют, что эти данные означают для компании. Например, поле «customer_id» — это уникальный идентификатор клиента в корпоративной CRM.
• Третий — бизнес-логика, которая определяет, как из отдельных данных получить показатель. Например, как рассчитывается «средний чек» и как обрабатываются возвраты.

Описание связей — это еще и фиксация логики сбора показателей. Без связей между слоями ИИ-модель может увидеть в базе десятки таблиц и сотни полей, но не понять, какие из них действительно отвечает на вопрос пользователя.

С точки зрения практики, когда вы описали связь, вы сделали возможным получение обратной связи. Ведь после вопроса про текущую производительность в реальном бизнесе скорее всего будет задан вопрос о том, как нам увеличить производительность, не увеличивая затраты на оборудование. ИИ, вооруженный знанием вашей логики, предложит показатель, изменение которого приведет к повышению рентабельности. А уж потом задача человека проверить предположение ИИ и изменить процесс, который приведет к изменению этого показателя.

Подробнее о метаданных — в нашем блоге.

Мы в рамках проектов отдаем клиенту не только проинтегрированные данные, но и описание всей модели. Мы приходим к заказчику, обследуем существующие системы и описываем процессы. Потом строится модель данных, консолидированная, очищенная, сопоставленная с едиными справочниками, помогающими трактовать цифры в показателях и в источниках.

Подготовка справочника данных обычно не является самостоятельным этапом и не начинается с отдельного документа. Он создается в процессе работы с данными. Сюда входят:

• обследование и анализ источников (ERP, CRM, бухгалтерские системы, Excel, базы данных и другие), выявление дублей и противоречий,
• сбор бизнес-требований (единая логика показателей, какие из них реально используются для принятия решений и что они означают),
• согласование единой семантики (фиксируется семантический слой),
• связка бизнес-терминов с техническими объектами (бизнес-глоссарий связывается с реальной архитектурой данных),
• проверка на BI-сценариях (дашборды и отчеты помогают выявить ошибки ещё до передачи контекста ИИ).

После этого справочник можно использовать как часть информационного слоя для корпоративного ИИ, вместе с корпоративным хранилищем, BI-системой, RAG на корпоративных данных или другими механизмами доступа модели к внутренней информации.

Как видно, подготовка справочника данных — это не отдельная формальность перед запуском корпоративного ИИ. Это часть подготовки данных и бизнес-семантики, без которой даже самая современная модель может неправильно интерпретировать информацию и даже приводить к галлюцинации ИИ на данных компании.

Узнать больше о том, как данные становятся AI-ready вы можете, посмотрев запись вебинара.

Хотите провести ИИ-трансформацию в вашей компании — напишите нам, эксперты BI Conteq помогут! Оставить заявку