Как сделать так, чтобы ИИ-агент не придумывал

Жалоба на ИИ-агента почти всегда одна: «отвечает уверенно и неправильно». Выдумка — не характер модели, а следствие настройки: агента спросили о том, чего ему не дали, и не объяснили, что делать в таком случае. Ниже — четыре причины и что меняется в каждой.

Короткий ответ

1. Дайте материалы, по которым можно ответить. Главная причина выдумок — пустая или сырая база знаний: модель обязана выдать текст на любой вопрос и без материалов собирает правдоподобный ответ из общих знаний. Замена модели на более дорогую эту причину не убирает.
2. Запретите в промпте отвечать вне материалов. Пока прямого запрета нет, агент считает, что имеет право предположить.
3. Заведите три исхода вместо одного: ответил сам; не уверен и позвал человека; не знал — и вопрос ушёл в накопитель неотвеченных. Без третьего агент заполняет пробел сам.
4. Правьте промпт только с замером. Наше «разумное» сокращение промпта при слепом сравнении дало счёт 12:5 не в пользу новой версии: вход стал короче, ответы хуже.
5. Принимайте работу на живых вопросах. Шесть проверок ниже; среди них вопрос с ложной посылкой и вопрос про цену, которой в материалах нет.

Почему ИИ-агент придумывает ответ

У модели нет встроенного состояния «не знаю»: она продолжает текст так, чтобы продолжение выглядело правдоподобно. Есть в запросе нужные материалы — правдоподобный ответ совпадает с верным. Нет материалов — правдоподобный ответ всё равно будет, только неверный.

Поэтому выдумка редко похожа на бред. Она приходит в том же тоне и той же длине, что и нормальные ответы, а неверен в ней один абзац: срок доставки, условие возврата, название тарифа. При быстрой проверке это не видно — человек читает форму, а не факт.

Между вопросом клиента и ответом должны стоять три вещи, и ни одна из них не про выбор модели: материалы, по которым можно ответить; инструкция, запрещающая отвечать без материалов; выход к человеку, когда материалов не хватило. ИИ-агент под заказ собирается из этих частей, а модель тут деталь, а не решение.

Как обучить ИИ-агента отвечать по вашим материалам

Обучение агента на своей базе знаний — не «загрузили сайт, дальше он сам». На нашем движке каждая страница разбирается на отдельные темы, повторы склеиваются, и агент отвечает выдержками из тем, а не текстом целиком. Переобучение материала заменяет все его темы. Отсюда проверка при приёмке: материал поправили, а агент отвечает по-старому — его не переобучали.

Что отдавать в базу:

• условия, по которым чаще всего спрашивают: цены, сроки, оплата, возврат, доставка, зона работы;
• готовые ответы операторов — в том виде, в каком вы их одобряете;
• границы: чего вы не делаете и что не входит в услугу.

Чего в базу отдавать не надо:

• черновики и старые прайсы «пусть будут»;
• две версии одного документа;
• маркетинговые тексты вместо условий: из «индивидуального подхода» ответ не собрать.

Противоречие в материалах хуже пробела: при пробеле агент промолчит, если ему велено молчать, а при противоречии выберет один из двух ответов, и не обязательно ваш. Поэтому первая работа по базе — чистка, а не пополнение.

Что делает агент, когда не знает: три исхода

Требование простое: у любого обращения один из трёх исходов, и каждый исход виден в журнале.

Накопитель неотвеченных — самый полезный из трёх: он превращает жалобы «бот тупой» в список того, чего в базе не хватает, в реальных формулировках клиентов.

Второй исход настраивают до третьего: агент, который в сомнительном случае зовёт человека, стоит времени оператора, а тот, который придумывает, — клиента.

Ловушка, которую мы поймали у себя: накопитель терял часть вопросов

Разбираем свой инцидент: он объясняет, о чём спрашивать подрядчика.

Накопитель неотвеченных у нас писался в одном случае: агент не нашёл ответа и ничего не сделал. А случай «и не уверен, и зову человека» проходил мимо накопителя: разговор уезжал оператору, вопрос считался обработанным и в список на пополнение базы не попадал.

Снаружи картина выглядела благополучно: список неотвеченных короткий — значит база почти полная. При этом операторы каждый раз разбирали одно и то же, и связь между этими фактами не читалась, пока оба исхода не сошлись в одном журнале. Починили просто: вопрос пишется в накопитель во всех исходах, кроме «ответил сам».

Спрашивайте подрядчика не «есть ли накопитель неотвеченных», а «в каких именно случаях вопрос туда попадает». Первый вопрос проверяет наличие экрана, второй — работает ли он.

Почему промпт нельзя править на глаз

Промпт выглядит как текст, и править его хочется как текст: убрать повторы, сократить длинноты. Мы так и сделали — вырезали из системного промпта то, что казалось лишним. Потом сравнили ответы двух версий на одном наборе вопросов слепым судьёй, который не знал, какая версия где. Счёт 12:5 не в пользу новой. Вход короче, качество ниже.

Разобрали, что именно испортилось, и это ровно наша тема. Вместе с длиннотами в промпт попало жёсткое правило «не переспрашивай, всё сказанное считай известным» — агент перестал уточнять и начал додумывать характеристики товара. Помогла оговорка «запрет переспрашивать не разрешает додумывать»: после неё те же слепые сравнения дали 14:6 и 11:8 в пользу новой версии. Без замера мы бы этого не увидели ни до, ни после.

Правило с тех пор такое: правка промпта без замера до и после — лотерея, а не оптимизация. Лаборатории для замера не нужно: фиксированный набор вопросов, ответы двух версий и человек, который сравнивает их, не зная, где что.

Ещё один замер, важный именно для темы выдумок. Режим рассуждения, в котором модель «думает» перед ответом, на одном и том же вопросе поддержки занял 6,1 секунды и потратил на размышления все 400 токенов выхода — клиенту не досталось ничего. С запасом в 2 000 токенов ответ появился, но стоил 1 133 токена выхода, 960 из них на размышления, и оказался тем же «уточню у менеджера», который модель без рассуждения выдала за 2,6 секунды и 126 токенов. Рассуждение выдумку не лечит: агент придумывает не потому, что мало подумал, а потому, что ему не на что опереться.

И оговорка про сами замеры. Первый наш замер кэша промпта показал ноль, и нулём оказался не кэш, а запрос к журналу: в нём были перечислены не все колонки. Исправленный замер дал 8 064 токена из 8 202 — 98 % входа. Непроверенному методу замера верить нельзя.

Симптом, причина и что менять

Разбор конкретной жалобы — тем же порядком, каким мы разбираем чужого бота, который есть, но не работает: находим симптом, меняем то, что в третьей колонке, и только потом трогаем модель.

Чего делать не надо

• Не отдавать агенту деньги и обязательства словами. Цена, условие возврата, юридическая формулировка — фиксированный текст или кнопка сценария, а не свободный пересказ: здесь ошибка стоит денег.
• Не лечить выдумку заменой модели. Дорогая модель на пустой базе придумывает тем же тоном, только дороже.
• Не отдавать сайт целиком «как есть». Вместе с условиями в базу уедут страница старой акции и прошлогодний прайс, и агент честно их пересказает.
• Не принимать работу по трём вопросам. Три вопроса проходит любой агент; вопросы с подвохом из раздела про приёмку — почти никто с первого раза.
• Не ставить агента там, где ответ всегда один. Если почти все обращения — два-три одинаковых вопроса, кнопочный сценарий ответит точнее и дешевле, а агент добавит расход токенов. Развилка «сценарий или агент» разобрана в статье про то, сколько стоит разработка чат-бота.

И честный отказ. Задача не решается агентом, если верный ответ зависит от данных, к которым у агента нет доступа. Статус заказа, остаток на складе, дата записи: без доступа агент в лучшем случае скажет «не знаю», в худшем — придумает. Сначала доступ к данным, потом агент.

Сколько ботов и диалогов мы видим на своём движке

Снимок нашего движка на 16 сентября 2026 года — по этим же журналам мы мерили время ответа чат-бота, и здесь видно, на каких диалогах всё это проверяется.

Всего 323 кабинета, 366 сценариев, 85 905 диалогов и 445 524 сообщения с апреля 2026 года. Оговорка обязательна: это боты пользователей сервиса ЭТОЧАТБОТ, созданные ими на нашем движке, а не заказные проекты агентства. Мы сделали инструмент и видим его журналы — больше эти числа ни о чём не говорят.

Одна цифра из снимка меняет требования к агенту: 445 524 сообщения на 85 905 диалогов — около пяти сообщений на диалог. У агента нет десяти реплик, чтобы исправиться: если он придумал в первом ответе, второго шанса чаще всего не будет.

Ограничения каналов, которые агент не отменяет

Никакая настройка не меняет правил мессенджеров, а «умный агент» иногда продают как способ их обойти.

• Telegram. Бот пишет только тому, кто нажал «Запустить». Рассылки по базе телефонов не существует: бот не найдёт человека по номеру.
• ВКонтакте. Сообщество может писать подписчику первым бессрочно. Окна в 24 часа у ВК нет — это чужое ограничение, попавшее в разговоры по инерции.
• МАКС. Писать можно только после того, как человек начал диалог. Бота заводит организация, ИП или самозанятый — резидент РФ, профиль проходит верификацию (несколько рабочих дней, и этот срок от подрядчика не зависит), число ботов на профиль ограничено. Обращения к API требуют доверенного российского корневого сертификата: без него запросы не проходят, и выглядит это как «бот молчит без ошибок».
• Instagram*. Написать первым нельзя, официальный API такого не даёт. Легальных входов три: ответ на комментарий, реакция на сторис, кодовое слово в личных сообщениях. Первый директ после комментария уходит как Private Reply, и попытка одна — отказ сжигает слот, ретрай не спасает, спасает публичная подсказка в комментариях.
• WhatsApp в России мы не продаём.

Подробный разбор есть в статье про то, кто может написать клиенту первым. Для агента вывод один: в трёх каналах из четырёх первый шаг делает человек, и цена выдумки максимальна в первом ответе.

Как принимать работу: шесть проверок на живых вопросах

Проверки делаются в том канале, где бот будет работать, а не в отладочном окне подрядчика.

1. Вопрос, ответа на который в материалах нет. Правильное поведение — «не знаю» или передача человеку. Любое «вероятно, около» — провал проверки.
2. Вопрос с ложной посылкой. Спросите про филиал, услугу или тариф, которых у вас нет. Агент должен поправить, а не подтвердить и развить.
3. Вопрос про цену и сроки. Ответ допустим только теми цифрами, которые лежат в базе. Сроков, которых вам никто не обещал, в ответе быть не должно.
4. Один вопрос пятью формулировками. С опечатками, сленгом и в одно слово. Так проверяется нарезка тем: если четыре формулировки поняты, а пятая нет, дело в материалах, а не в модели.
5. Прямая просьба позвать человека. Диалог обязан попасть в инбокс и получить метку ожидания оператора, а не «мы передадим» в никуда.
6. Список неотвеченных после теста. Попросите показать его и сверьте с тем, что спрашивали. Если вопросов без ответа в списке нет, накопитель настроен неверно — пробелов базы вы после запуска не увидите.

Что стоит и как мы считаем

Цены у нас две: разработка от 20 000 ₽, поддержка от 5 000 ₽ в месяц. Точную цифру называем после разбора задачи и до начала работ; цены на разработку и поддержку опубликованы на сайте, отдельного прайса «для ИИ» у нас нет.

Работа самого агента считается по расходу токенов: сколько агент потратил на ответы, столько его работа и стоила, поэтому цена разработки агента и цена его работы считаются отдельно. Фиксированной ставки за месяц у нас нет — месяц с десятью обращениями и месяц с тысячей стоят по-разному. Отдельно помогаем оплачивать зарубежные ИИ-сервисы иностранными картами.

Сроков мы не обещаем. Единственный срок, который можно назвать честно, не наш: верификация профиля в МАКС занимает несколько рабочих дней и зависит от мессенджера.

Нужен разбор конкретного агента — напишите в @etoBotTeamBot: пройдём по шести проверкам и скажем, где он придумывает и почему.

Частые вопросы

Почему ИИ-агент придумывает ответы?

Потому что у модели нет состояния «не знаю»: она продолжает текст правдоподобно, и при пустой базе знаний правдоподобный ответ оказывается неверным. Две причины почти всегда вместе: в материалах нет нужного раздела, а в промпте нет прямого запрета отвечать вне материалов. Замена модели на более дорогую эту причину не убирает — придумывать она будет тем же тоном.

Как обучить ИИ-агента отвечать только по своим материалам?

Сначала чистка, потом пополнение. В базу знаний идут условия, цены, сроки, границы услуги и одобренные ответы операторов; черновики, старые прайсы и две версии одного документа — не идут. Каждая страница разбирается на темы, и переобучение страницы заменяет её темы. В промпте нужен прямой запрет отвечать вне базы и обязательный выход к человеку.

Что делает ИИ-агент, когда не знает ответа?

В правильной настройке — один из двух честных исходов: говорит «не знаю» и записывает вопрос в накопитель неотвеченных, либо передаёт диалог человеку и помечает его как ожидающий оператора. Третьего варианта «предположить» быть не должно. Накопитель проверяется вопросом «в каких случаях туда попадает вопрос»: у нас он однажды терял случай «и не уверен, и зову человека».

Можно ли сделать чат-бот для сайта с ИИ, который не врёт про цены?

Да, но цены не отдают агенту на пересказ. Цифры кладут в базу знаний, а в промпте запрещают называть любые суммы и сроки, которых в базе нет. Надёжнее всего цену показывать фиксированным текстом или кнопкой сценария: тогда ошибка в формулировке невозможна. Проверяется это вопросом про тариф, которого у вас не существует.

Что выбрать: конструктор чат-ботов с искусственным интеллектом или разработку под заказ?

Если обращений мало и почти все они — два-три одинаковых вопроса, хватит кнопочного сценария в конструкторе: он ответит точнее и дешевле агента. Разработка нужна, когда вопросов много и они разные, ответ зависит от ваших данных или нужна связка с вашей системой. Разработка у нас от 20 000 ₽, поддержка от 5 000 ₽ в месяц.

Сколько стоит ИИ-агент службы поддержки?

Разработка — от 20 000 ₽, поддержка — от 5 000 ₽ в месяц. Работа самого агента считается по расходу токенов: сколько потратил на ответы, столько и стоила. Фиксированной ставки за месяц нет, потому что расход зависит от потока обращений. Точную цифру называем после разбора задачи и до начала работ. Помогаем оплачивать зарубежные ИИ-сервисы иностранными картами.

Помогает ли режим рассуждения от выдумок?

Нет. В нашем замере рассуждение на одном и том же вопросе заняло 6,1 секунды и потратило на размышления все 400 токенов выхода — клиент не получил ответа вообще. С запасом токенов ответ появился, но повторил то, что модель без рассуждения сказала за 2,6 секунды и 126 токенов. Агент придумывает из-за отсутствия материалов, а не из-за нехватки размышлений.

Может ли ИИ-бот для поддержки написать клиенту первым?

Зависит от канала, и агент тут ничего не меняет. Во ВКонтакте сообщество пишет подписчику первым бессрочно — окна в 24 часа у ВК нет. В Telegram и МАКС нужен первый шаг человека: «Запустить» или сообщение. В Instagram* написать первым нельзя вообще, легальны только ответ на комментарий, реакция на сторис и кодовое слово.