Gobernanza y control
Pruebas antes de cada versión
Cómo se prueba cada cambio en sus agentes con respecto a su sector, con respecto al comportamiento que ya funciona y por parte de su propio equipo, antes de que lo vea ningún cliente.
En esta página
- Qué se prueba antes de cada versión
- Conjuntos de pruebas sectoriales
- Baterías de pruebas de regresión antes de cada versión
- Conversaciones simuladas
- Entornos de pruebas y de producción
- Su equipo prueba antes que sus clientes
- Nuevos modelos y proveedores
- El detalle técnico
- En la práctica
- Lo que controla su equipo
- Relacionado
Cada cambio en sus agentes de IA se prueba antes de llegar a sus clientes. Un nuevo flujo de trabajo, una nueva regla de escalamiento, un documento de política actualizado, un modelo de lenguaje más reciente (el componente de IA que entiende la conversación y redacta la respuesta): cada uno se prueba en un entorno independiente con conversaciones de su sector, se contrasta con todo lo que ya funciona y lo prueba su propio equipo antes de entrar en producción. Esto es lo que permite mejorar sus agentes de forma continua con seguridad, y lo que permite a su organización aprobar un cambio basándose en pruebas y no en la confianza.
Qué se prueba antes de cada versión
| Área | Qué comprueban las pruebas | Ejemplo |
|---|---|---|
| Respuestas | Cada respuesta procede de sus sistemas y de documentos aprobados, y las cifras coinciden con el registro | El importe de la cuota indicado es el importe que figura en el sistema de pagos |
| Límites | El agente solo realiza las acciones, y solo ofrece los valores, que permiten las reglas que usted fija | No se ofrece ninguna opción de reprogramación que la tarifa no permita |
| Alcance | Los temas fuera del alcance se declinan y se dirigen a una persona, también cuando una pregunta se reformula | Asesoramiento de inversión solicitado de tres formas distintas, en árabe y en inglés |
| Límites de decisión | No se intenta tomar las decisiones que corresponden a su equipo | Un asegurado que insiste en obtener una opinión sobre la responsabilidad |
| Escalamiento | Cada desencadenante se activa cuando debe, y el traspaso llega al destino correcto con un resumen | La llamada de una persona frustrada se transfiere al equipo de guardia |
| Idioma | Árabe del Golfo, egipcio y levantino, inglés, y el cambio entre árabe e inglés dentro de una frase | «Can I change the booking to الجمعة?» |
| Diseño de conversaciones | La conversación sigue el orden que requiere su sector | Comprobar que quien llama está a salvo antes de tomar los datos de un siniestro de automóvil |
| Integraciones | Las consultas y las actualizaciones en sus sistemas funcionan correctamente | El siniestro creado en el sistema de siniestros de pruebas tiene todos los campos obligatorios |
| Respuestas aprobadas y tono | La redacción predefinida es exacta, y el tono coincide con lo que usted aprobó | Una información reglamentaria obligatoria se lee palabra por palabra |
Conjuntos de pruebas sectoriales
Telonic crea un conjunto de pruebas para cada sector: conversaciones extraídas de los patrones reales de ese sector, cada una puntuada según lo que significa un resultado correcto en él. En el sector inmobiliario, una respuesta correcta sobre la siguiente cuota de un plan vinculado a la obra (aquel en el que los pagos vencen a medida que las obras alcanzan las fases acordadas) depende del hito que haya alcanzado el proyecto. En viajes, una reprogramación correcta es la que permiten las reglas tarifarias. En seguros, un primer aviso de siniestro (la primera comunicación de un siniestro) correcto hace las preguntas adecuadas en el orden adecuado y no hace ningún comentario sobre la responsabilidad.
Cada conjunto de pruebas crece con cada despliegue en ese sector, a medida que se añaden nuevos flujos de trabajo y casos límite. Lo que se comparte entre despliegues es el conocimiento del sector y los escenarios de prueba, nunca los datos de los clientes.
Baterías de pruebas de regresión antes de cada versión
Una batería de pruebas de regresión es un conjunto de pruebas que se vuelve a ejecutar con cada cambio, para confirmar que nada de lo que funcionaba antes ha dejado de funcionar. Antes de cada versión, la batería de pruebas de regresión se ejecuta frente a las definiciones de éxito de su sector, además de las pruebas específicas del propio cambio.
Un cambio que añade una nueva regla de escalamiento se prueba para la nueva regla y para cualquier otra regla, límite o respuesta que pudiera verse afectada. Una versión solo sigue adelante cuando supera las pruebas. Consulte Cómo entran en producción los cambios.
Conversaciones simuladas
La simulación de conversaciones pone a prueba al agente con escenarios realistas antes de la puesta en marcha (el momento en que el agente empieza a atender a clientes reales) y antes de los cambios significativos. Clientes simulados mantienen conversaciones completas con el agente en el entorno de pruebas: un huésped enfadado cuya habitación no está lista, una persona que llama y cambia entre el árabe y el inglés a mitad de frase, un asegurado que hace una pregunta fuera del alcance de cuatro formas distintas.
Los escenarios se redactan con su equipo, a partir de las situaciones que su personal conoce mejor. La simulación de conversaciones se configura durante la implementación.
Entornos de pruebas y de producción
Cada despliegue tiene un entorno de pruebas, independiente del de producción. Los cambios se realizan y se prueban allí, conectados a versiones de prueba de sus sistemas cuando usted las tiene, de modo que ningún cliente real recibe un mensaje y no se modifica ningún registro real. Solo un cambio aprobado pasa al entorno de producción.
Su equipo prueba antes que sus clientes
Antes de la puesta en marcha, y antes de cualquier cambio significativo, su equipo prueba el agente en el entorno de pruebas. Su personal escucha la voz, lee las respuestas, prueba las preguntas que sabe que hacen los clientes y comprueba que los traspasos llegan adonde deben. En un despliegue de voz, tanto su equipo de telefonía como el nuestro prueban las llamadas, las transferencias y el paso de consentimiento para la grabación con números de prueba.
Nada entra en producción hasta que su equipo lo ha aprobado.
Nuevos modelos y proveedores
Telonic solo adopta un nuevo modelo de lenguaje o proveedor para su despliegue cuando rinde al menos igual de bien que el actual con el conjunto de pruebas de su sector. Cada cambio de modelo o de proveedor lo aprueba su organización antes de que entre en producción. Los proveedores de respaldo, que se utilizan si un proveedor sufre una interrupción del servicio, se prueban de la misma manera, con antelación. Consulte Modelos y proveedores.
El detalle técnico
| Pregunta | Respuesta |
|---|---|
| ¿Qué es una versión? | Cualquier cambio en la configuración, los flujos de trabajo, las reglas, las fuentes de conocimiento o el modelo de un agente, que pasa del entorno de pruebas al de producción |
| ¿Qué se ejecuta antes de cada versión? | La batería de pruebas de regresión frente a las definiciones de éxito de su sector, las pruebas específicas del cambio y, cuando esté configurado, conversaciones simuladas |
| ¿Está conectado el entorno de pruebas a nuestros sistemas? | A las versiones de prueba de sus sistemas, cuando usted las tiene. Cuando no las tiene, las consultas y las acciones se prueban con registros de ejemplo acordados con su equipo de TI |
| ¿Qué recibimos antes de aprobar? | Un resumen de lo que cambió, lo que se probó y los resultados |
| ¿Se prueban de la misma manera los cambios en la plataforma de Telonic? | Sí. Los cambios en la plataforma se revisan y se prueban antes de entrar en producción, también con los conjuntos de pruebas sectoriales |
En la práctica
Qamar Stays, un grupo hotelero con establecimientos en Riad y Yeda, quiere que su agente gestione las solicitudes de check-in anticipado.
- Su responsable de recepción acuerda la regla con Telonic: el check-in anticipado se ofrece con tarifas flexibles cuando la habitación está lista, y todo lo demás pasa a la recepción.
- Telonic crea el cambio en el entorno de pruebas, conectado a una copia de prueba del sistema de reservas.
- Se ejecutan el conjunto de pruebas de viajes y hospitalidad y la batería de pruebas de regresión. Muestran que el nuevo flujo de trabajo da resultados correctos y que los cambios de reserva, las transferencias y los escalamientos existentes no se ven afectados.
- Huéspedes simulados piden un check-in anticipado en árabe del Golfo, en inglés y en una mezcla de ambos, con tarifas flexibles y no reembolsables.
- Dos miembros del equipo de recepción lo prueban por WhatsApp y por teléfono, y piden un cambio en la redacción.
- Se realiza el cambio, las pruebas se vuelven a ejecutar y el responsable de recepción aprueba la entrada en producción.
Lo que controla su equipo
- Los escenarios que su equipo quiere probar, redactados con Telonic.
- La revisión propia de su equipo antes de la puesta en marcha y antes de los cambios significativos.
- La aprobación de cada versión, incluido cada cambio de modelo o de proveedor.
Relacionado
- Cómo entran en producción los cambiosGobernanza y control
- Modelos y proveedoresAgentes
- Modelos sectorialesAgentes
- Desarrollo y pruebas segurosSeguridad y protección de datos
- Los controles que conserva su equipoGobernanza y control
Los nombres y logotipos de productos son marcas comerciales de sus respectivos titulares. Su mención indica sistemas con los que Telonic se conecta y no implica asociación ni respaldo.