Управление и контроль
Тестирование перед каждым релизом
Как каждое изменение ваших ИИ-агентов тестируется на материале вашей отрасли и на том поведении, которое уже работает, и опробуется вашей собственной командой, прежде чем его увидит хоть один клиент.
На этой странице
Каждое изменение ваших ИИ-агентов тестируется, прежде чем дойдёт до ваших клиентов. Новый рабочий процесс, новое правило эскалации, обновлённый документ с политикой, более новая языковая модель (компонент ИИ, который понимает диалог и составляет ответ): каждое такое изменение до ввода в работу тестируется в отдельной среде на диалогах из вашей отрасли, проверяется на всём, что уже работает, и опробуется вашей собственной командой. Именно это делает постоянное совершенствование ваших агентов безопасным и позволяет вашей организации утверждать изменения на основе фактов, а не на веру.
Что тестируется перед каждым релизом
| Область | Что проверяют тесты | Пример |
|---|---|---|
| Ответы | Каждый ответ основан на ваших системах и утверждённых документах, а цифры совпадают с записью | Названная сумма очередного платежа совпадает с суммой в платёжной системе |
| Ограничения | Агент выполняет только те действия и предлагает только те значения, которые допускают ваши правила | Не предлагается ни один вариант перебронирования, который не допускает тариф |
| Охват | Темы вне охвата отклоняются и передаются сотруднику, в том числе когда вопрос переформулирован | Инвестиционная консультация, запрошенная тремя разными способами на арабском и английском языках |
| Границы принятия решений | Агент не пытается принимать решения, которые остаются за вашей командой | Страхователь настойчиво добивается мнения об ответственности |
| Эскалация | Каждый триггер срабатывает, когда должен, а переданный диалог со сводкой доходит до нужного адресата | Раздражённого звонящего передают дежурной группе |
| Язык | Диалект стран Залива (халиджи), египетский и левантийский диалекты арабского языка, английский язык и переход с арабского на английский и обратно в пределах одной фразы | «Can I change the booking to الجمعة?» |
| Проектирование диалогов | Диалог идёт в том порядке, которого требует ваша отрасль | Проверка того, что звонящий в безопасности, прежде чем регистрировать убыток по автострахованию |
| Интеграции | Получение данных из ваших систем и их обновление работают правильно | Убыток, созданный в тестовой системе урегулирования убытков, содержит все обязательные поля |
| Утверждённые ответы и тон | Заданные формулировки воспроизводятся точно, а тон соответствует утверждённому вами | Обязательная информация по требованиям регулятора зачитывается дословно |
Отраслевые тестовые наборы
Telonic создаёт тестовый набор для каждой отрасли: диалоги, построенные на реальных закономерностях этой отрасли, каждый из которых оценивается по тому, что в ней считается правильным результатом. В недвижимости правильный ответ об очередном платеже по плану, привязанному к ходу строительства (плану, по которому платежи наступают по мере того, как строительство достигает согласованных этапов), зависит от этапа, которого достиг проект. В туризме правильным считается перебронирование, которое допускают тарифные правила. В страховании при правильном приёме первичного уведомления о страховом случае (первого сообщения об убытке) нужные вопросы задаются в нужном порядке, а ответственность никак не комментируется.
Каждый тестовый набор пополняется с каждым развёртыванием в этой отрасли по мере добавления новых рабочих процессов и пограничных случаев. Между развёртываниями передаются отраслевые знания и тестовые сценарии, но никогда не данные клиентов.
Регрессионные тесты перед каждым релизом
Набор регрессионных тестов состоит из тестов, которые повторно запускаются при каждом изменении, чтобы подтвердить, что ничего из того, что работало раньше, не перестало работать. Перед каждым релизом набор регрессионных тестов прогоняется по критериям успеха, определённым для вашей отрасли, вместе с тестами, предназначенными специально для самого изменения.
Изменение, добавляющее новое правило эскалации, проверяется на новом правиле, а также на всех остальных правилах, ограничениях и ответах, которые оно может затронуть. Релиз выполняется только после успешного прохождения тестов. См. раздел Как изменения вводятся в работу.
Смоделированные диалоги
Моделирование диалогов проверяет агента на реалистичных сценариях до запуска (момента, когда агент начинает работать с реальными клиентами) и до существенных изменений. Смоделированные клиенты ведут с агентом полноценные диалоги в тестовой среде: рассерженный гость, чей номер не готов; звонящий, который посреди фразы переходит с арабского на английский и обратно; страхователь, который четырьмя разными способами задаёт вопрос вне охвата.
Сценарии пишутся вместе с вашей командой на основе ситуаций, которые ваши сотрудники знают лучше всего. Моделирование диалогов настраивается во время внедрения.
Тестовая и рабочая среды
В каждом развёртывании есть тестовая среда, отделённая от рабочей. Изменения вносятся и тестируются там, с подключением к тестовым версиям ваших систем, если они у вас есть, поэтому ни один реальный клиент не получает сообщений и ни одна реальная запись не меняется. В рабочую среду переносится только утверждённое изменение.
Ваша команда тестирует раньше ваших клиентов
До запуска и до любого существенного изменения ваша команда опробует агента в тестовой среде. Ваши сотрудники слушают голос, читают ответы, проверяют вопросы, которые, как они знают, задают клиенты, и убеждаются, что переданные диалоги поступают туда, куда нужно. При развёртывании голосового канала и ваши, и наши специалисты по телефонии тестируют звонки, переводы звонков и этап получения согласия на запись с использованием тестовых номеров.
Ничто не вводится в работу, пока ваша команда это не утвердит.
Новые модели и поставщики
Telonic переходит на новую языковую модель или нового поставщика для вашего развёртывания только в том случае, если на тестовом наборе вашей отрасли они работают как минимум так же хорошо, как текущие. Каждую смену модели или поставщика ваша организация утверждает до релиза. Резервные поставщики, которые используются при сбое у поставщика, тестируются так же и заранее. См. раздел Модели и поставщики.
Технические подробности
| Вопрос | Ответ |
|---|---|
| Что такое релиз? | Любое изменение конфигурации агента, его рабочих процессов, правил, источников знаний или модели, перенесённое из тестовой среды в рабочую |
| Что запускается перед каждым релизом? | Набор регрессионных тестов по критериям успеха вашей отрасли, тесты, относящиеся к конкретному изменению, и, если это настроено, смоделированные диалоги |
| Подключена ли тестовая среда к нашим системам? | К тестовым версиям ваших систем, если они у вас есть. Если их нет, получение данных и действия тестируются на образцах записей, согласованных с вашей ИТ-службой |
| Что мы получаем перед утверждением? | Краткий отчёт: что изменилось, что тестировалось и с какими результатами |
| Тестируются ли так же изменения самой платформы Telonic? | Да. Изменения платформы проверяются и тестируются перед релизом, в том числе на отраслевых тестовых наборах |
На практике
Гостиничная сеть Qamar Stays, работающая в Эр-Рияде и Джидде, хочет, чтобы её агент обрабатывал запросы на ранний заезд.
- Руководитель службы приёма и размещения сети согласовывает с Telonic правило: ранний заезд предлагается при гибких тарифах, когда номер готов, а все остальные случаи передаются на стойку регистрации.
- Telonic вносит изменение в тестовой среде, подключённой к тестовой копии системы бронирования.
- Прогоняются тестовый набор для туризма и гостеприимства и набор регрессионных тестов. Они показывают, что новый рабочий процесс даёт правильные результаты, а существующие процессы изменения бронирований, заказа трансферов и эскалации не затронуты.
- Смоделированные гости просят о раннем заезде на диалекте стран Залива, на английском и на смеси обоих языков, с бронированиями по гибким и невозвратным тарифам.
- Два сотрудника службы приёма и размещения опробуют новый процесс в WhatsApp и по телефону и просят внести одну правку в формулировку.
- Правка вносится, тесты прогоняются повторно, и руководитель службы приёма и размещения утверждает релиз.
Что контролирует ваша команда
- Сценарии, которые ваша команда хочет протестировать, составленные вместе с Telonic.
- Собственная проверка вашей командой до запуска и до существенных изменений.
- Утверждение каждого релиза, включая каждую смену модели или поставщика.
См. также
- Как изменения вводятся в работуУправление и контроль
- Модели и поставщикиИИ-агенты
- Отраслевые моделиИИ-агенты
- Безопасная разработка и тестированиеБезопасность и защита данных
- Средства контроля, которые остаются у вашей командыУправление и контроль
Названия и логотипы продуктов являются товарными знаками соответствующих правообладателей. Их упоминание указывает на системы, к которым подключается Telonic, и не подразумевает аффилированности или одобрения.