Как проверить, что ваш ИИ не врёт: контроль галлюцинаций
- Нейросеть выдумывает фактуру ровно тем же уверенным тоном, что и говорит правду.
- Лечится не «моделью получше», а ссылкой на источник и замером на списке ваших вопросов.
- Там, где цена ошибки высокая, ИИ готовит черновик — решение всё равно подписывает человек.
Галлюцинация ИИ — это уверенно сформулированный, но выдуманный ответ: несуществующий пункт договора, придуманная цифра остатка, ссылка на регламент, которого нет. Модель не «врёт» умышленно — она достраивает правдоподобный текст, когда не знает точного ответа, и делает это тем же тоном, что и правду. Поэтому единственная защита — не доверие, а проверка: ссылка на исходный документ под каждым ответом и регулярный замер на ваших же вопросах. Ниже — как это устроено на практике.
«Помощник по документам ответил менеджеру, что по договору с поставщиком отсрочка 45 дней. Менеджер поверил — тон был уверенный. Отсрочки такой в договоре не было. Теперь вопрос не «кто виноват», а страшнее: сколько таких ответов уже разошлось по компании и как вы вообще узнаете о следующем.»
Как это работает
-
1
Собираем список ваших настоящих вопросов
30–50 вопросов, которые сотрудники реально задают, с правильными ответами, подтверждёнными человеком. Это ваш эталон — без него слово «качество» ничего не значит, потому что мерить не с чем.
-
2
Заставляем модель отвечать только по вашим документам
Помощник ищет ответ в ваших регламентах, договорах и выгрузках и отвечает по найденному, а не по «памяти». Нет документа — нет ответа. Это убирает основную массу выдумок.
-
3
Требуем ссылку под каждым ответом
К ответу прикладывается конкретный документ и абзац. Сотрудник за десять секунд проверяет первоисточник — и это же главный признак: если система не может показать, откуда взяла, ответу верить нельзя.
-
4
Учим говорить «не знаю»
Модель настраивается отказываться, когда данных не хватает, и передавать вопрос человеку. Честное «не знаю» дешевле уверенной выдумки — это тот случай, где меньше ответов означает больше пользы.
-
5
Замеряем регулярно, а не один раз на запуске
Эталонный список прогоняется по расписанию: доля правильных ответов, доля отказов, доля выдумок. Качество падает само по себе — от новых документов, обновления модели, новых формулировок. Падение видно на графике до того, как о нём расскажет злой клиент.
-
6
Разделяем задачи по цене ошибки
Черновик письма — пусть ошибается, поправят. Ответ про сроки по договору или сумму в акте — только с проверкой человеком. Правило простое: чем дороже ошибка, тем меньше у ИИ права на последнее слово.
Когда это оправдано — а когда нет
Частые вопросы
Сколько стоит настроить проверку качества?+
Зависит от задачи — считаем на бесплатном разборе. Объём определяется числом процессов и ценой ошибки в них; иногда достаточно эталонного списка вопросов и получаса в неделю вашего сотрудника. Прайс-таблиц у нас нет.
Можно ли добиться, чтобы ИИ вообще не врал?+
Нет. Свести выдумки почти к нулю на узком круге задач — можно: ответы строго по вашим документам, ссылка на источник, отказ при нехватке данных. Полной гарантии не даёт никто, и любой, кто её обещает, продаёт вам риск.
А если взять модель поумнее — проблема уйдёт?+
Уменьшится, но не исчезнет. Сильная модель ошибается реже и убедительнее — то есть её вранье труднее заметить. Проверка нужна независимо от модели.
Как понять, что качество упало?+
По регулярному прогону эталонных вопросов: доля правильных ответов, доля отказов, доля выдумок. Это цифры, которые показываются на одном экране и которые можно предъявить собственнику или заказчику.
Кто должен проверять — мы или подрядчик?+
Эталонные ответы даёте вы: только ваш человек знает, как правильно. Мы строим проверку, показываем цифры и настраиваем систему так, чтобы ошибки было видно, а не приходилось искать.
Подойдёт ли это вашему бизнесу?
Оставьте контакт — в бесплатном разборе честно скажем, окупится ли это именно у вас.
Заявка принята
Свяжемся в течение 24–48 часов и пришлём разбор на одну страницу.
Источники
Смежные темы
ИИ-аудит: почему пилот не взлетел
Потратили бюджет на пилот, а в работу он так и не пошёл.
Безопасность и законЛокальная LLM в закрытом контуре
Хотите пользоваться ИИ, не отдавая данные наружу.
Безопасность и закон152-ФЗ и нейросети
Боитесь, что данные клиентов в ChatGPT — уже нарушение.