Метрики чат-бота, которые действительно важны
Большинство владельцев бизнеса, установив чат-бота, потом проверяют ровно одну цифру: сколько диалогов он обработал. Это немного похоже на оценку нового сотрудника исключительно по количеству открытых писем. Такая цифра говорит о том, что бот занят, но ничего не говорит о том, помогает ли он на самом деле. Чтобы понять, работает ли бот как надо, нужен небольшой набор метрик эффективности чат-бота, которые измеряют результат, а не активность.
Почему "количество диалогов" - не главная цифра
Объём диалогов кажется естественной метрикой, потому что её проще всего достать из любой панели статистики. Проблема в том, что бот может набрать тысячи диалогов, проваливая почти все из них. Клиент задаёт вопрос, получает бесполезный ответ, спрашивает по-другому, получает другой бесполезный ответ, сдаётся и всё равно звонит в офис. В большинстве систем отчётности весь этот обмен засчитывается как "вовлечённость", хотя по сути это провал в обслуживании клиента с лишними шагами.
Объём важен, но в основном как контекст для остальных метрик. Сам по себе он говорит, что к боту приходит трафик. Он ничего не говорит о том, ушёл ли этот трафик довольным, растерянным или раздражённым.
Процент решённых обращений: бот действительно решил вопрос?
Это ключевая цифра. Процент решённых обращений - это доля диалогов, которые закончились тем, что вопрос клиента был закрыт: без вмешательства человека и без того, чтобы клиент просто бросил переписку от раздражения. Бот с большим объёмом и низким процентом решённых обращений по сути превращается в очень занятую стену, от которой клиенты отскакивают.
Сложность в том, чтобы честно определить, что считается "решённым". Некоторые платформы засчитывают диалог как решённый в момент любого ответа бота, и это щедрое определение, которое делает любого бота отличным на бумаге. Более честный подход привязывает "решённость" к тому, что случилось дальше: клиент прекратил писать, потому что получил нужное, или потому что сдался? Если у вас есть возможность отследить, не позвонил ли клиент в течение часа после завершения диалога с ботом или не написал ли в другой канал, это часто даёт более точный сигнал о решении вопроса, чем всё, что показывает сама платформа чата.
Процент передачи человеку - и, что важнее, качество этой передачи
Любой чат-бот иногда должен передавать диалог человеку. Бот, который никогда не эскалирует, не является особо тщательным - он просто не признаёт, чего не знает. Сам процент передачи - нейтральная цифра: высокий показатель может означать, что бот хорошо откалиброван в понимании своих границ, а может означать, что бот бесполезен и переводит на человека почти всё подряд.
На самом деле важно качество передачи. Когда бот передаёт диалог сотруднику, получает ли тот полный контекст: имя клиента, что было спрошено, что уже пробовали, или начинает с нуля и просит клиента повторить всё, что тот только что написал? Второй вариант хуже, чем вообще не иметь бота, потому что теперь клиент потратил время два раза. Хорошо продуманная передача незаметна для клиента: человек подключается прямо посреди разговора, как будто был в нём с самого начала.
Точки отказа: где люди реально сдаются
Большинство чат-платформ показывают что-то вроде воронки, даже если её никто специально не строил: сколько диалогов началось, сколько прошло дальше первого ответа бота, сколько закончилось решением вопроса или передачей человеку. Посмотрите, на каком шаге люди перестают отвечать в середине диалога. Если значительная доля клиентов пропадает сразу после того, как бот запрашивает номер телефона, это сигнал: возможно, запрос звучит слишком рано, возможно, бот ещё не заслужил достаточно доверия, чтобы просить личные данные, а возможно, в сценарии просто слишком много шагов до того, как он даёт что-то полезное.
Это одна из недооценённых метрик, потому что для неё нужно реально прочитать выборку брошенных диалогов, а не просто взглянуть на процент. Двадцать минут, потраченные на чтение настоящих переписок с отказами, обычно дают больше полезных идей для исправлений, чем месяц разглядывания сводных графиков.
Точность ответов на самые частые вопросы
Выберите двадцать вопросов, которые боту задают чаще всего, и вручную проверьте, действительно ли ответы правильные и актуальные. Звучит утомительно, и это так, но это также самый быстрый способ отловить проблему, которую сводные метрики полностью скрывают: бот, уверенно дающий неправильный ответ, на бумаге выглядит точно так же, как бот, дающий правильный ответ. Оба засчитываются как "решённые". Полезен клиенту только один из них, а неправильный тихо подрывает доверие - причём так, что это не всплывёт ни в одной панели статистики, пока клиент не пожалуется через пару недель.
Метрики, которые стоит отслеживать реже, но всё же отслеживать
Есть несколько цифр, важных для общей картины, хотя ежедневного внимания они не требуют: среднее время до решения вопроса (не заставляет ли бот клиента долго переписываться ради простого вопроса), доля повторяющихся вопросов внутри одной сессии (если клиент спрашивает одно и то же тремя разными способами, это признак того, что первые два ответа не попали в цель), а также показатели в разрезе канала, если бот работает и в WhatsApp, и на сайте: аудитории там часто ведут себя по-разному, и бот, настроенный под один канал, может незаметно хуже работать в другом.
Собираем картину целиком
Ни одна из этих метрик много не значит сама по себе. Высокий процент решённых обращений в сочетании с высоким отказом на шагах перед этим говорит о том, что бот хорош, когда действительно понимает вопрос, но теряет людей на пути к этому пониманию. Низкий процент передачи человеку в сочетании с низким процентом решённых обращений обычно значит, что бот уверенно отвечает неправильно, а это хуже, чем если бы он эскалировал чаще. Именно сочетание цифр рассказывает историю, которую одна цифра рассказать не может.
Начните с двух главных метрик: процент решённых обращений и качество передачи человеку. Проверяйте их раз в месяц и каждый раз читайте несколько настоящих переписок рядом с цифрами. Одна эта привычка расскажет о реальной работе вашего чат-бота больше, чем любая панель с количеством диалогов.
Есть повторяющийся процесс, который съедает часы?
Опишите его в двух словах, и мы покажем, как автоматизация сработает на ваших данных.
Связаться с нами