Как тестировать ответы ИИ, прежде чем клиенты начнут на них полагаться

Правильный ответ на один знакомый вопрос — полезное начало. Но он не показывает, как помощник с ИИ ответит, если клиент не указал какую-либо деталь, ссылается на истёкшее предложение или просит о том, что выходит за рамки деятельности компании.

Поэтому тестирование должно охватывать как корректную информацию, так и сложные границы. Цель — обнаружить ошибки, пока компания ещё может исправить исходные материалы, формулировки или процесс. В этом руководстве описан практический метод тестирования обращений клиентов в WhatsApp. В нём рассказывается, что проверять, а не даётся обещание, что какой-либо конкретный продукт автоматизирует эти проверки.

Определите критерии готовности до начала тестирования

Начните с узкого набора обращений и чёткой цели. Например, вы можете хотеть, чтобы клиенты понимали суть стандартной услуги, знали условия её стоимости и понимали, как запросить коммерческое предложение. Определите, на какие вопросы можно отвечать напрямую, а для каких требуется подтверждение сотрудника.

Подготовьте утверждённую исходную информацию, назначьте ответственного, который сможет решать возникающие вопросы, и определите способ записи результатов. Используйте вымышленные данные клиентов или тщательно обезличенные примеры. Обычно нет причин добавлять реальные идентификаторы клиентов, платёжную информацию или конфиденциальные сведения о случаях в базовый тест качества ответов.

Подключение и готовность — разные этапы. Даже подключённому каналу нужны актуальные материалы, реалистичное тестирование и рабочий способ связаться с сотрудниками. Не считайте успешную настройку доказательством готовности ответов клиентам к неограниченному использованию.

Запишите ожидаемый результат до просмотра ответа

Ожидаемый результат — это краткое описание фактов и поведения, которые должен содержать разумный ответ. Он не обязан предписывать одно конкретное предложение. Определите, что необходимо включить, какие утверждения недопустимы и должен ли следующим шагом стать уточняющий вопрос или проверка сотрудником.

Гипотетический пример: компания, занимающаяся уборкой жилых помещений, предлагает стандартную услугу очистки настенного кондиционера. Ремонт коммерческих систем не входит в утверждённое описание. Для вопроса «Можете ли вы отремонтировать центральную систему охлаждения в нашем офисе?» ожидаемый результат — объяснить, что имеющаяся информация не подтверждает наличие такой услуги, и запросить уточнение у сотрудника. Нельзя выдумывать возможность проведения ремонта.

Предварительная запись этого ожидания снижает риск одобрить ответ лишь потому, что он звучит уверенно или полезно.

Проведите пять тестов качества ответов

1. Обычный вопрос с известным ответом

Выберите распространённый вопрос, на который есть утверждённая информация, например о часах работы или о том, что входит в пакет. Проверьте фактическую точность ответа и важные условия. Также попробуйте естественный вариант формулировки: на вопрос «Во сколько вы закрываетесь?» могут потребоваться те же факты, что и на вопрос «Вы открыты после окончания рабочего дня?», но второй вопрос менее точен.

Хороший результат — точный, понятный ответ с уместными границами. Он не добавляет сведения о доступности, скидках или гарантиях, которых нет в исходном материале.

2. Неоднозначный вопрос

Используйте вопрос вроде «Сколько стоит услуга?», если существует несколько услуг, или «Могу ли я прийти завтра?», если неизвестны место и тип визита. Ответ должен выявить недостающую информацию и задать точный уточняющий вопрос.

Проверьте, что ответ не выбирает вариант, пакет или дату без достаточной информации. Полезное уточнение продвигает обращение вперёд; длинный список не связанных между собой вопросов может усложнить простой разговор.

3. Вопрос с отсутствующими или неподтверждёнными фактами

Спросите о политике, возможности или исключении, которых нет в утверждённых материалах. Ожидаемое поведение — ясно обозначить неопределённость и предложить соответствующий следующий шаг. Уверенная и хорошо сформулированная догадка всё равно означает провал теста.

Различайте недостающую деталь о клиенте и отсутствующее правило компании. Запросить у клиента его местоположение можно, чтобы решить вопрос о месте. Просьба повторить вопрос не поможет решить вопрос о гарантии, которую компания не утвердила.

4. Истёкшее или противоречивое предложение

Сошлитесь на старую акцию или укажите цену, отличающуюся от текущей информации. Чётко помечайте материалы теста, чтобы их нельзя было принять за действующее предложение. Проверьте, что ответ не возобновляет истёкшую скидку и не объединяет незаметно противоречивые условия.

Если утверждённый источник однозначно разрешает вопрос, ответ должен объяснить применимые условия. Если этого нет, ожидаемым результатом должно быть подтверждение сотрудника. Тестирование не заменяет работу по устранению противоречий между источниками информации компании.

5. Просьба связать с сотрудником

Используйте прямую формулировку, например «Пожалуйста, позвольте мне поговорить с кем-нибудь», и протестируйте менее прямую ситуацию, например спор клиента с начисленной суммой. Проверьте, признаёт ли ответ эту просьбу и следует ли фактическому процессу связи или передачи обращения, доступному вашей команде.

Не принимайте обещание «Кто-нибудь немедленно вам перезвонит», если это не обязательство, которое ваша компания действительно может выполнить. Если перевод на сотрудника в реальном времени недоступен, в ответе следует объяснить реальный следующий шаг и действующие часы ответа.

Фиксируйте подтверждения в простом журнале проверок

Используйте одну строку для каждого случая. Сохраняйте достаточно деталей, чтобы повторить тест после внесения изменений.

• Ссылка на случай: Стабильный идентификатор и причина проведения теста

• Вопрос и контекст: Точная формулировка и все предыдущие сообщения, необходимые для понимания вопроса

• Ожидаемый результат: Обязательные факты, границы и следующий шаг

• Ссылка на источник: Утверждённая информация и её версия или дата проверки

• Наблюдаемый ответ: Полученный ответ с указанием времени тестирования

• Решение и ответственный: Пройдено, требуется доработка или готовность блокируется; ответственный и действие

Разделяйте фактическую корректность и полезность. Ответ может содержать правильную цену, но пропускать условие, которое меняет стоимость предложения. Он также может быть фактически осторожным, но не давать клиенту никакого рабочего следующего шага.

Устраните причину, затем повторите соответствующие тесты

Если исходная информация неполна, обновите и утвердите её до повторного тестирования. Если источник понятен, но ответ теряет какое-либо условие, проверьте, как информация представлена и как в вашей настройке обрабатывается вопрос. Если процесс передачи обращения неясен, прежде чем полагаться на него, согласуйте ответственность внутри команды.

После каждого существенного исправления повторно тестируйте не пройденный случай и близкие к нему случаи. Изменение цены должно стать поводом проверить начальные цены, включённые и исключённые позиции, а также коммерческие предложения. Сохраняйте прежнюю ошибку как повторно используемый тест, а не удаляйте подтверждения после того, как тест будет пройден.

Некоторые ответы могут различаться при повторных запусках. Повторение случаев с серьёзными последствиями и ранее не пройденных случаев может выявить несогласованность, но небольшой набор тестов не доказывает, что каждый будущий ответ будет правильным. Определите область, которую компания может контролировать, и расширяйте её по мере появления новых подтверждений.

Примите чёткое решение о готовности

• По каждому согласованному тестовому случаю записан результат.

• Существенные неточности и неподтверждённые обязательства устранены.

• Для неизвестной информации предусмотрен понятный путь уточнения или проверки сотрудником.

• Просьба связать с сотрудником обрабатывается по рабочему процессу.

• Ответственные понимают, что ещё не протестировано и что им необходимо контролировать.

• Изменения материалов или процесса запускают соответствующее повторное тестирование.

Тестирование полезно, когда оно меняет решение. Начните с этих пяти случаев, зафиксируйте подтверждения и устраните выявленные ими пробелы. Сосредоточенная и повторяемая проверка даёт вашей команде более ясную основу для решения, на какие сведения клиенты могут безопасно полагаться.

Обратитесь к часто задаваемым вопросам о продукте Engage AI, решая, какие текущие рабочие процессы следует протестировать.