Як ми тестуємо голосового агента перед запуском: 7 перевірок з реальних проєктів

Коротко

• Більшість проблем голосового ШІ (AI) агента видно ще до запуску, якщо тестувати не «чи він розмовляє», а конкретні ситуації з вашого бізнесу.
• У діагностичному центрі після першого тесту персонал зібрав 37 зауважень, і 12 з них закривались даними, які клініка вже мала. Модель тут була ні до чого.
• Сім перевірок нижче ми проходимо в кожному проєкті: база знань, порядок питань, номер телефону, назви товарів, паузи на лінії, автовідповідач, пілот на невеликій групі.

1. Аудит бази знань окремим кроком

Після першого тесту голосового агента в діагностичному центрі колектив клініки зібрав 37 зауважень. Ми звірили кожне з документами, які клініка передала. 12 зауважень закривались даними, що вже були в клієнта: назви апаратів, орієнтири «як дійти», години останнього пацієнта, коли готовий результат. Вони просто не потрапили до агента. Ще кілька питань не мали відповіді в жодному документі: седація дітей, гранична вага, страхові, формат видачі результату. А деякі документи суперечили один одному.

Тепер ми перевіряємо базу знань до будь-яких правок промпту: що агент має знати, де це написано, чи немає суперечностей. Список відкритих питань повертаємо клієнту, а не вигадуємо відповіді.

2. Порядок питань і те, чого клієнт не знає

Агент не повинен питати людину про те, що вона не може знати. Пацієнт не вирішує, на якому апараті йому робити МРТ: це випливає з обстеження і скерування. Так само важливий порядок: про імпланти й стенти треба питати до узгодження часу, інакше запис доведеться скасовувати. І агент не має перепитувати те, що людина вже сказала, наприклад вагу.

Ми проганяємо типові сценарії й виписуємо кожне питання агента: чи може клієнт на нього відповісти, чи не запізно воно звучить, чи не повторюється.

3. Номер телефону голосом

Коли агент повторює номер по одній цифрі, номер губиться. В одному з тестів замість десяти цифр зібралось більше, ніж має будь-який номер. Тепер агент приймає номер групами і підтверджує його один раз наприкінці, а система перевіряє кількість цифр до збереження.

4. Назви товарів і послуг з живої мови

Люди не називають послуги й товари так, як у прайсі. У клініці агент не впізнав назву обстеження, яке було в каталозі, бо бракувало синоніма. У пекарні ми перевірили пошук на 2 119 реальних формулюваннях для 267 позицій прайсу: старий підхід впізнав 57%, пошук за схожістю з перепитуванням дав 93% у тестових діалогах. Детальніше в статті чому промпт не рятує голосового агента.

Перед запуском ми збираємо назви із записів реальних дзвінків, а не з прайсу, і тестуємо на них.

5. Паузи й тиша на телефонній лінії

Агент, який добре звучить у браузері, по телефону може «тупити». На лінії людина сприймає тишу як обрив, а шумніший звук змушує систему частіше вирішувати, що співрозмовник договорив. Тому окремо тестуємо саме дзвінки на телефон, а кожна дія агента, що займає час, має фразу очікування.

6. Автовідповідач і довге привітання

У вихідних дзвінках детектор автовідповідача сприйняв людину, яка мовчки слухала довге привітання, за автовідповідач і поклав трубку. Ми скоротили привітання і перевели розпізнавання автовідповідача на текст розмови. Тепер перед запуском обдзвону тестуємо саме перші секунди дзвінка.

7. Пілот на невеликій групі і чесні метрики

Перші реальні дзвінки йдуть на невелику групу лояльних клієнтів, яких заздалегідь попередили особисто. Перша фраза агента одразу пояснює, хто дзвонить і навіщо. Ми рахуємо, скільки звернень агент закрив сам, скільки записів менеджер правив і як часто клієнт кладе трубку. Від цих цифр, а не від враження з тестів, залежить, чи розширювати запуск.

Ще одне правило з клініки: якщо агент обіцяє, що оператор підтвердить час і передзвонить, система не має права звільнити цей час автоматично. Ми не скасовуємо такі утримання, а показуємо реєстратурі ті, що висять надто довго.

Чекліст перед запуском

• База знань звірена з документами, відкриті питання повернуті клієнту.
• Кожне питання агента: клієнт може на нього відповісти, воно звучить вчасно, не повторюється.
• Номер телефону приймається групами, кількість цифр перевіряється.
• Пошук назв перевірений на формулюваннях із реальних дзвінків.
• Тест на телефоні, а не лише в браузері. Фрази очікування на всіх довгих діях.
• Для обдзвону: коротке привітання і перевірка детектора автовідповідача.
• Пілот на невеликій групі з метриками.

Як ми будуємо голосових агентів для клінік і бізнесу: голосовий бот для бізнесу, ШІ для клініки, кейс клініки.