Качество данных: почему ИИ врёт на вашем справочнике
- ИИ не выдумывает — он аккуратно пересказывает беспорядок в ваших справочниках.
- Порядок в данных наводят ДО пилота: после — это уже разбор полётов, а не подготовка.
- Работа скучная и на 80% ручная. Волшебной кнопки нет, и обещать её было бы враньём.
Качество данных — это про то, одинаково ли в ваших системах записано одно и то же: один ли поставщик числится одной строкой, а не тремя, называется ли одна и та же труба всегда одинаково, совпадают ли единицы измерения. На языке специалистов это НСИ (нормативно-справочная информация), а порядок в ней наводят подходом MDM — управлением мастер-данными. Звучит скучно, и в этом вся беда: тему стабильно пропускают, а потом удивляются, почему умный ИИ уверенно выдаёт чушь. Ответ простой: он не врёт — он честно пересказывает то, что лежит у вас в базе. Эту работу надо делать ДО внедрения, а не после провала пилота.
«Вам показали демо: спрашиваешь по-русски — получаешь ответ по своим данным. Вы завели это к себе, спросили «сколько у нас трубы 25-й на складах» — и получили цифру, которая не сходится ни с чем. Потому что труба записана как «Труба ВГП 25», «труба вгп-25», «Тр. водогазопр. 25 ГОСТ 3262-75» и просто «труба 25 (Петров)». Потому что ООО «Ромашка» живёт в базе тремя карточками с тремя разными ИНН, из которых один с опечаткой. Потому что где-то штуки, а где-то метры. Дальше происходит худшее: система отвечает уверенно. Не «я не знаю» — а красивой неправильной цифрой, по которой кто-то принимает решение.»
Как это работает
-
1
Смотрим, из чего вы собираетесь кормить ИИ
Справочники номенклатуры и контрагентов, остатки, договоры, документы. Не «вся база», а именно те данные, на которых будет работать задуманный проект. Мусор в справочнике, который никто не трогает, никого не волнует.
-
2
Замеряем беспорядок в цифрах
Сколько дублей в номенклатуре и контрагентах, у скольких карточек пустые ключевые поля, сколько ИНН не проходят проверку, сколько позиций без единиц измерения, где одна сущность названа по-разному в разных системах. До замера все разговоры о качестве данных — это «вроде норм» против «вроде бардак».
-
3
Договариваемся, как правильно
Самый недооценённый шаг, и он не технический. Кто-то должен решить: труба записывается вот так, единица измерения вот эта, поставщик — один на ИНН. Пока нет договорённости и человека, который её держит, любая чистка отменится сама собой через полгода.
-
4
Чистим: машиной то, что можно, руками то, что нельзя
Модель хорошо находит кандидатов на склейку: «эти сорок строк, похоже, одно и то же». Но решение о склейке — за человеком, потому что цена ошибки высокая: склеили не то — поехали остатки и документы. Здесь ИИ ускоряет самое муторное, а не принимает решения.
-
5
Закрываем кран
Разовая чистка бесполезна: через год бардак вернётся, потому что заводить карточки будут те же люди и так же. Нужны правила ввода: проверка на дубль при создании, обязательные поля, подсказки, единая точка заведения. Иначе вы просто оплатите уборку в комнате, где продолжают мусорить.
-
6
И только теперь — ИИ
Когда данные приведены в порядок, тот самый проект, который «не взлетел», часто взлетает без единой правки в модели. Иногда выясняется, что после наведения порядка половина задачи решилась обычными отчётами, и ИИ уже не нужен. Это нормальный исход, и мы так и скажем.
Когда это оправдано — а когда нет
Частые вопросы
Сколько это стоит?+
Зависит от задачи: сколько справочников, насколько они запущены и что именно вы собираетесь на них строить. Считаем на бесплатном разборе — прайса нет. Замер беспорядка сам по себе делается быстро, и уже он обычно многое объясняет.
Разве современный ИИ не разбирается в грязных данных сам?+
Отчасти — он неплохо угадывает, что «труба вгп-25» и «Труба ВГП 25» одно и то же. Проблема в другом: он угадывает молча и уверенно. Там, где он ошибся, вы этого не увидите — увидите красивый ответ с неправильной цифрой. Именно поэтому качество данных нельзя переложить на модель: она не сообщает, где именно догадалась.
Мы можем сделать это сами?+
Часто да, и это честный ответ. Замер, договорённость о правилах и чистка — работа усидчивая, а не гениальная. Мы полезны, когда справочников много, системы не бьются друг с другом или внутри уже год не могут договориться, как правильно. Если у вас один человек ведёт номенклатуру — делайте сами.
Это надолго?+
Дольше, чем хочется. Замер — быстро. Чистка зависит от объёма и от того, как быстро бизнес отвечает на вопрос «а как правильно». Мы не режем это одним куском: берём справочник, на котором стоит ваш ближайший ИИ-проект, доводим его до рабочего состояния и только потом идём дальше.
Данные придётся отдавать наружу?+
Не обязаны. В справочниках контрагентов есть персональные данные, в номенклатуре и договорах — коммерческая тайна, поэтому схему подбираем под ваши требования: при необходимости обработка идёт полностью в вашем контуре, с учётом 152-ФЗ. Обсуждаем это до начала, а не после.
Почему об этом никто не говорит?+
Потому что это не продаётся. Красиво продаётся демо с нейросетью, а не разбор дублей в номенклатуре. Мы пишем про это отдельной страницей именно потому, что об эту скучную вещь разбивается большинство ИИ-проектов, — и лучше вы узнаете это здесь, чем на своём пилоте.
Подойдёт ли это вашему бизнесу?
Оставьте контакт — в бесплатном разборе честно скажем, окупится ли это именно у вас.
Заявка принята
Свяжемся в течение 24–48 часов и пришлём разбор на одну страницу.
Смежные темы
ИИ-аудит: почему пилот не взлетел
Деньги потрачены, пилот не взлетел, причину никто не назвал.
Безопасность и законКонтроль галлюцинаций ИИ
Модель уверенно выдумывает — а решение принимают по её ответу.
Бэк-офис и финансыРаспознавание первички в 1С
Закрытие месяца упирается в скорость чужих пальцев.