Качество и аналитика
Проверка качества каждого диалога
Как каждый диалог оценивается по стандарту, который составляет ваша команда, и как диалоги, не соответствующие ему, попадают к сотруднику на проверку.
На этой странице
Большинство команд по контролю качества каждый месяц проверяют несколько диалогов на каждого сотрудника и надеются, что выборка репрезентативна. Telonic оценивает каждый диалог по стандарту качества, который составляет ваша собственная команда. Ваш руководитель по качеству видит, как прошёл весь месяц, а не выборку из него, а диалоги, не соответствующие вашему стандарту, направляются сотруднику на проверку. Стабильность качества перестаёт быть предположением и становится тем, что вы можете показать.
От выборки к каждому диалогу
Выборка показывает, как прошли несколько диалогов. Оценка каждого диалога показывает, как работало ваше обслуживание и где его качество колеблется.
| Выборка | Оценка каждого диалога | |
|---|---|---|
| Что проверяется | Небольшая подборка, выбранная специалистом по проверке или случайным образом | Каждый диалог, который ведёт ИИ-агент, в каждом канале |
| Как выявляются проблемы | Если проблемный диалог случайно попадёт в выборку | Каждый диалог с оценкой ниже вашего порога попадает в очередь проверки |
| Что показывают результаты | Общее впечатление о качестве | Сколько диалогов соответствовали вашему стандарту по каждому критерию и какие не соответствовали |
| На что специалисты по проверке тратят время | На прослушивание диалогов, с которыми всё было в порядке | На диалоги, которым нужна оценка человека |
Как оценивается диалог
Когда диалог завершается, он оценивается по каждому критерию вашего стандарта качества: подтвердил ли ИИ-агент личность клиента, отвечал ли на основе ваших утверждённых источников, предложил ли связаться с сотрудником, когда это следовало сделать, и так далее. Каждый критерий отмечается как выполненный или невыполненный с указанием причины, а результаты сводятся в одну оценку с учётом весов, заданных вашей командой. Оценка, результат по каждому критерию и причины хранятся вместе с диалогом, поэтому любой, кто его проверяет, может точно увидеть, почему он получил такую оценку.
Стандарт принадлежит вам. Telonic помогает вам составить его в ходе внедрения, отталкиваясь от того, как выглядит хороший диалог в вашей отрасли, но критерии, их веса и порог определяет ваша команда. См. раздел Как составить стандарт качества, который ваша команда сможет проверить.
Технические подробности
| Вопрос | Ответ |
|---|---|
| Что оценивается? | Полная запись диалога: расшифровка, резюме, результат, выполненные действия и журнал решений (какие данные получил ИИ-агент и почему он сделал то, что сделал) |
| Где выполняется оценка? | В вашем развёртывании, в выбранном вами регионе, как и вся остальная обработка. Если вы выбрали языковую модель за пределами вашего региона, персональные данные маскируются до того, как ей будет передан какой-либо текст. См. раздел Как движутся данные в ходе диалога |
| Как учитывается изменение стандарта? | Каждая версия вашего стандарта фиксируется, и для каждой оценки записывается версия, по которой она выставлена, поэтому оценки до и после изменения никогда не смешиваются без вашего ведома |
| Как долго хранятся оценки? | Вместе с диалогом, в течение заданного вами срока хранения |
Оценки относительно вашего порога
Ваша команда задаёт порог: оценку, ниже которой диалог должен просмотреть сотрудник. Вы также можете отметить отдельные критерии как критически важные, например обязательное раскрытие информации, чтобы диалог, в котором такой критерий не выполнен, попадал на проверку независимо от общей оценки.
Калибровка с участием людей сохраняет объективность оценок
Автоматическая оценка оправдывает себя, когда с ней согласна ваша команда по контролю качества. Прежде чем оценки начнут использоваться, ваши специалисты по контролю качества сами оценивают набор реальных диалогов, и мы сравниваем их результаты с автоматическими оценками по каждому критерию. Если они расходятся, обычно это означает, что критерий сформулирован слишком расплывчато, и мы переписываем его вместе с вашей командой, пока оценки не совпадут.
Калибровка продолжается и после запуска. Каждый месяц ваши специалисты по проверке оценивают выборку диалогов параллельно с автоматической оценкой, и любой дрейф оценок изучается и устраняется. Изменение стандарта проходит тот же путь, что и любое другое изменение: оно тестируется до ввода в работу. См. раздел Как изменения вводятся в работу.
Что происходит с диалогом, отправленным на проверку
Диалоги с оценкой ниже порога или с невыполненным критически важным критерием появляются в очереди проверки в разделе «Качество» (Quality) консоли. Специалист по проверке открывает диалог и видит расшифровку, запись (если клиент дал согласие на запись), оценку по каждому критерию с её причиной и журнал решений.
Специалист по проверке фиксирует собственную оценку и то, что должно произойти дальше. Это может быть последующий контакт с клиентом, исправление одного из ваших исходных документов, изменение рабочего процесса или изменение самого стандарта. Каждая проверка записывается в журнал вместе с диалогом. См. разделы Консоль и Журнал аудита и записи о решениях.
Оценка качества измеряет диалог относительно вашего стандарта. Это сигнал, по которому должен действовать сотрудник, а не заключение. Решения в отношении клиента, жалобы или сотрудника остаются за вашей командой.
Диалоги, которые ведёт ваша команда
Если диалоги, которые ведёт ваша собственная команда, сохраняются в карточке клиента (это настраивается в ходе внедрения), их можно оценивать по тому же стандарту. Тогда ваша команда по контролю качества работает по единому стандарту и для ИИ-агента, и для ваших сотрудников, а коучинг может опираться на то, что объединяет лучшие диалоги. См. разделы Диалоги, которые ведёт ваша команда и Аналитика и тенденции.
На практике
Страховая компания в ОАЭ использует ИИ-агента на своей линии информирования о статусе урегулирования убытков по автострахованию.
- В ходе внедрения её службы контроля качества и комплаенса составляют стандарт из восьми критериев, в том числе «Подтвердил личность, прежде чем сообщать сведения об убытке» и «Назвал следующий шаг и когда его ожидать». Подтверждение личности отмечено как критически важный критерий.
- Два специалиста по контролю качества оценивают шестьдесят диалогов из тестирования. По одному критерию, «Правильно объяснил франшизу», они расходятся с автоматическим результатом чаще, чем по остальным. Критерий переписывают так, чтобы в качестве источника были указаны индивидуальные условия полиса, и после этого оценки совпадают.
- В первый полный месяц оценивается каждый диалог. В очереди проверки оказываются диалоги с оценкой ниже порога 70 и несколько диалогов, в которых не выполнен критически важный критерий.
- Reem, руководитель по качеству, разбирает очередь. У нескольких низких оценок общая причина: клиенты спрашивают о подменных автомобилях, а исходные документы эту тему не охватывают. Она просит добавить формулировку о подменных автомобилях.
- В следующем месяце Reem сравнивает результаты по критериям для вопросов о подменных автомобилях с остальными результатами по стандарту, чтобы проверить, работает ли новая формулировка.
Что контролирует ваша команда
- Критерии вашего стандарта, их веса и то, какие из них критически важны.
- Порог, ниже которого диалог отправляется на проверку.
- Кто проводит проверку и кто может видеть оценки, в зависимости от роли.
- Когда меняется стандарт, причём каждая версия фиксируется и тестируется до ввода в работу.