Calidad y analítica
Revisión de calidad de cada conversación
Cómo se puntúa cada conversación según el estándar que redacta su equipo, y cómo las que no lo alcanzan llegan a una persona para su revisión.
En esta página
- De una muestra a cada conversación
- Cómo se puntúa una conversación
- El detalle técnico
- Las puntuaciones frente a su umbral
- La calibración humana mantiene la fiabilidad de las puntuaciones
- Qué ocurre con una conversación que pasa a revisión
- Conversaciones que gestiona su equipo
- En la práctica
- Lo que controla su equipo
- Relacionado
La mayoría de los equipos de calidad revisan un puñado de conversaciones por persona cada mes y confían en que la muestra sea representativa. Telonic puntúa cada conversación según el estándar de calidad que redacta su propio equipo. Su responsable de calidad ve cómo fue el mes completo, no una muestra, y las conversaciones que no alcanzan su estándar se derivan a una persona para que las revise. La coherencia deja de ser algo que se da por supuesto y pasa a ser algo que usted puede demostrar.
De una muestra a cada conversación
El muestreo le dice cómo fueron unas pocas conversaciones. Puntuar cada conversación le dice cómo fue su servicio, y dónde varía.
| Muestreo | Cada conversación puntuada | |
|---|---|---|
| Qué se revisa | Una pequeña selección, elegida por un revisor o al azar | Cada conversación que mantiene el agente de IA, en cada canal |
| Cómo se detectan los problemas | Si da la casualidad de que uno cae en la muestra | Cada conversación por debajo de su umbral pasa a una cola de revisión |
| Qué muestran los resultados | Una impresión de la calidad | Cuántas conversaciones cumplieron su estándar, criterio por criterio, y cuáles no |
| En qué emplean su tiempo los revisores | En escuchar conversaciones que estaban bien | En las conversaciones que necesitan el criterio de una persona |
Cómo se puntúa una conversación
Cuando una conversación termina, se evalúa según cada criterio de su estándar de calidad: si el agente de IA confirmó la identidad del cliente, si respondió a partir de sus fuentes aprobadas, si ofreció hablar con una persona cuando debía, etc. Cada criterio se marca como cumplido o no cumplido, con el motivo, y los resultados se combinan en una única puntuación según las ponderaciones que fijó su equipo. La puntuación, el resultado de cada criterio y los motivos se almacenan con la conversación, de modo que cualquiera que la revise puede ver exactamente por qué obtuvo esa puntuación.
El estándar es suyo. Telonic le ayuda a redactarlo durante la implementación, partiendo de cómo es una buena conversación en su sector, pero los criterios, sus ponderaciones y el umbral son decisiones que toma su equipo. Consulte Cómo redactar un estándar de calidad que su equipo pueda comprobar.
El detalle técnico
| Pregunta | Respuesta |
|---|---|
| ¿Qué se evalúa? | El registro completo de la conversación: la transcripción, el resumen, el resultado, las acciones realizadas y el registro de decisiones (qué consultó el agente y por qué hizo lo que hizo) |
| ¿Dónde se realiza la puntuación? | En su despliegue, en la región que usted eligió, como todo el resto del tratamiento. Si ha elegido un modelo de lenguaje fuera de su región, los datos personales se enmascaran antes de que cualquier texto llegue a él. Consulte Cómo fluyen los datos en una conversación |
| ¿Cómo se gestiona un cambio en el estándar? | Cada versión de su estándar queda registrada, y cada puntuación registra la versión con la que se obtuvo, de modo que las puntuaciones anteriores y posteriores a un cambio nunca se mezclan sin que usted lo sepa |
| ¿Durante cuánto tiempo se conservan las puntuaciones? | Con la conversación, durante el plazo de conservación que usted fije |
Las puntuaciones frente a su umbral
Su equipo fija un umbral: la puntuación por debajo de la cual una conversación necesita que la examine una persona. También puede marcar criterios concretos como críticos, por ejemplo un aviso obligatorio, de modo que una conversación que no cumpla uno de ellos pase a revisión sea cual sea su puntuación global.
La calibración humana mantiene la fiabilidad de las puntuaciones
La puntuación automatizada se justifica cuando su equipo de calidad está de acuerdo con ella. Antes de que se utilicen las puntuaciones, sus revisores de calidad puntúan ellos mismos un conjunto de conversaciones reales, y comparamos sus resultados con las puntuaciones automatizadas criterio por criterio. Cuando difieren, normalmente el criterio está redactado de forma demasiado imprecisa, y lo reescribimos con su equipo hasta que ambos coinciden.
La calibración continúa después de la puesta en marcha. Sus revisores puntúan cada mes una muestra de conversaciones en paralelo a las puntuaciones automatizadas, y cualquier desviación se investiga y se corrige. Un cambio en el estándar sigue el mismo camino que cualquier otro cambio: se prueba antes de entrar en producción. Consulte Cómo entran en producción los cambios.
Qué ocurre con una conversación que pasa a revisión
Las conversaciones por debajo del umbral, o que no cumplen un criterio crítico, aparecen en una cola de revisión en la vista Calidad (Quality) de la consola. Un revisor abre la conversación y ve la transcripción, la grabación cuando el cliente dio su consentimiento para ella, la puntuación de cada criterio con su motivo y el registro de decisiones.
El revisor registra su propia valoración y lo que debería ocurrir a continuación. Puede tratarse de un seguimiento con el cliente, una corrección de uno de sus documentos fuente, un cambio en un flujo de trabajo o un cambio en el propio estándar. Cada revisión queda registrada en la conversación. Consulte La consola y Registro de auditoría y registros de decisiones.
Una puntuación de calidad mide una conversación según su estándar. Es una señal para que una persona actúe, no una conclusión. Las decisiones sobre un cliente, una queja o un miembro del equipo siguen en manos de su equipo.
Conversaciones que gestiona su equipo
Cuando las conversaciones que mantiene su propio equipo se incorporan al registro del cliente, algo que se configura durante la implementación, pueden puntuarse según el mismo estándar. Así, su equipo de calidad trabaja con un único estándar que abarca tanto al agente de IA como a su equipo, y el coaching puede apoyarse en lo que tienen en común las mejores conversaciones. Consulte Conversaciones que gestiona su equipo y Análisis y tendencias.
En la práctica
Una aseguradora utiliza el agente de IA en su línea de estado de siniestros de automóvil en los Emiratos Árabes Unidos.
- Durante la implementación, sus equipos de calidad y de cumplimiento redactan un estándar de ocho criterios, entre ellos «Confirmó la identidad antes de compartir los detalles del siniestro» y «Indicó el siguiente paso y cuándo esperarlo». La confirmación de la identidad se marca como crítica.
- Dos revisores de calidad puntúan sesenta conversaciones de las pruebas. En un criterio, «Explicó correctamente el deducible», discrepan del resultado automatizado con más frecuencia que en los demás. El criterio se reescribe para indicar las condiciones particulares de la póliza como fuente, y a partir de entonces las puntuaciones coinciden.
- En el primer mes completo, se puntúan todas las conversaciones. La cola de revisión contiene las conversaciones por debajo del umbral de 70 y las pocas que no cumplieron un criterio crítico.
- Reem, responsable de calidad, va revisando la cola. Varias puntuaciones bajas comparten una causa: clientes que preguntan por los vehículos de cortesía, que los documentos fuente no cubren. Pide que se añada la redacción sobre los vehículos de cortesía.
- Al mes siguiente, Reem compara los resultados de los criterios en las preguntas sobre vehículos de cortesía con el resto del estándar para comprobar que la nueva redacción funciona.
Lo que controla su equipo
- Los criterios de su estándar, sus ponderaciones y cuáles son críticos.
- El umbral por debajo del cual una conversación pasa a revisión.
- Quién revisa y quién puede ver las puntuaciones, según la función.
- Cuándo cambia el estándar, con cada versión registrada y probada antes de entrar en producción.