Qualité et analytique
Contrôle qualité de chaque conversation
Comment chaque conversation est notée au regard du référentiel rédigé par votre équipe, et comment celles qui n’y satisfont pas sont transmises à une personne pour examen.
Sur cette page
- D’un échantillon à chaque conversation
- Comment une conversation est notée
- Détails techniques
- Les notes au regard de votre seuil
- Le calibrage humain maintient la fiabilité des notes
- Ce qu’il advient d’une conversation soumise à examen
- Conversations traitées par votre équipe
- En pratique
- Ce que votre équipe contrôle
- Voir aussi
La plupart des équipes qualité contrôlent une poignée de conversations par personne chaque mois, en espérant que l’échantillon est représentatif. Telonic note chaque conversation au regard du référentiel qualité rédigé par votre propre équipe. Votre responsable qualité voit comment s’est déroulé le mois entier, et non un échantillon, et les conversations qui ne satisfont pas à votre référentiel sont transmises à une personne pour examen. La régularité cesse d’être une supposition pour devenir quelque chose que vous pouvez démontrer.
D’un échantillon à chaque conversation
L’échantillonnage vous dit comment se sont déroulées quelques conversations. Noter chaque conversation vous dit comment s’est déroulé votre service, et où il varie.
| Échantillonnage | Notation de chaque conversation | |
|---|---|---|
| Ce qui est examiné | Une petite sélection, choisie par un évaluateur ou au hasard | Chaque conversation que mène l’agent IA, sur chaque canal |
| Comment les problèmes sont détectés | Si l’un d’eux se trouve par hasard dans l’échantillon | Chaque conversation sous votre seuil est placée dans une file d’examen |
| Ce que montrent les résultats | Une impression de la qualité | Combien de conversations ont satisfait à votre référentiel, critère par critère, et lesquelles non |
| Où les évaluateurs consacrent leur temps | À écouter des conversations qui ne posaient aucun problème | Aux conversations qui nécessitent le jugement d’une personne |
Comment une conversation est notée
Lorsqu’une conversation se termine, elle est évaluée au regard de chaque critère de votre référentiel qualité : l’agent IA a-t-il confirmé l’identité du client, a-t-il répondu à partir de vos sources approuvées, a-t-il proposé de parler à une personne lorsqu’il le devait, et ainsi de suite. Chaque critère est marqué comme satisfait ou non satisfait, avec la raison, et les résultats sont combinés en une note unique selon les pondérations fixées par votre équipe. La note, le résultat de chaque critère et les raisons sont stockés avec la conversation : toute personne qui l’examine peut ainsi voir exactement pourquoi la conversation a obtenu cette note.
Le référentiel vous appartient. Telonic vous aide à le rédiger lors de la mise en œuvre, en partant de ce à quoi ressemble une bonne conversation dans votre secteur, mais les critères, leurs pondérations et le seuil sont des décisions qui reviennent à votre équipe. Voir Rédiger un référentiel qualité que votre équipe peut vérifier.
Détails techniques
| Question | Réponse |
|---|---|
| Qu’est-ce qui est évalué ? | La trace complète de la conversation : la transcription, le résumé, le résultat, les actions effectuées et le journal des décisions (ce que l’agent IA a consulté, et pourquoi il a agi comme il l’a fait) |
| Où la notation est-elle effectuée ? | Dans votre déploiement, dans la région que vous avez choisie, comme tous les autres traitements. Si vous avez choisi un modèle de langage situé en dehors de votre région, les données personnelles sont masquées avant que le moindre texte ne lui parvienne. Voir Comment les données circulent au cours d’une conversation |
| Comment une modification du référentiel est-elle gérée ? | Chaque version de votre référentiel est consignée, et chaque note indique la version au regard de laquelle elle a été attribuée : les notes antérieures et postérieures à une modification ne sont donc jamais mélangées à votre insu |
| Combien de temps les notes sont-elles conservées ? | Avec la conversation, pendant la durée de conservation que vous fixez |
Les notes au regard de votre seuil
Votre équipe fixe un seuil : la note en dessous de laquelle une conversation doit être examinée par une personne. Vous pouvez aussi marquer certains critères comme critiques, par exemple une mention obligatoire, de sorte qu’une conversation qui en manque un soit soumise à examen, quelle que soit sa note globale.
Le calibrage humain maintient la fiabilité des notes
La notation automatisée se justifie lorsque votre équipe qualité est d’accord avec elle. Avant que les notes ne soient utilisées, vos évaluateurs qualité notent eux-mêmes un ensemble de conversations réelles, et nous comparons leurs résultats avec les notes automatisées, critère par critère. Lorsque les deux divergent, c’est généralement que le critère est formulé de manière trop vague, et nous le reformulons avec votre équipe jusqu’à ce que les deux concordent.
Le calibrage se poursuit après la mise en production. Vos évaluateurs notent chaque mois un échantillon de conversations en parallèle des notes automatisées, et toute dérive est analysée et corrigée. Une modification du référentiel suit le même parcours que toute autre modification : elle est testée avant sa mise en production. Voir Comment les modifications sont mises en production.
Ce qu’il advient d’une conversation soumise à examen
Les conversations sous le seuil, ou qui ont manqué un critère critique, apparaissent dans une file d’examen de l’écran Qualité (Quality) de la console. Un évaluateur ouvre la conversation et voit la transcription, l’enregistrement lorsque le client y a consenti, la note de chaque critère avec sa raison, et le journal des décisions.
L’évaluateur consigne sa propre appréciation et la suite à donner. Il peut s’agir d’un suivi auprès du client, d’une correction de l’un de vos documents sources, d’une modification d’un workflow, ou d’une modification du référentiel lui-même. Chaque examen est journalisé et rattaché à la conversation. Voir La console et Piste d’audit et traces de décision.
Une note qualité mesure une conversation au regard de votre référentiel. C’est un signal qui permet à une personne d’agir, et non un constat. Les décisions concernant un client, une réclamation ou un membre de votre équipe restent du ressort de votre équipe.
Conversations traitées par votre équipe
Lorsque les conversations menées par votre propre équipe sont intégrées au dossier client, ce qui se configure lors de la mise en œuvre, elles peuvent être notées au regard du même référentiel. Votre équipe qualité travaille alors avec un référentiel unique pour l’agent IA et pour vos collaborateurs, et le coaching peut s’appuyer sur ce que les meilleures conversations ont en commun. Voir Conversations traitées par votre équipe et Analyses et tendances.
En pratique
Un assureur utilise l’agent IA sur sa ligne de suivi des sinistres automobiles aux Émirats arabes unis.
- Lors de la mise en œuvre, ses équipes qualité et conformité rédigent un référentiel de huit critères, dont « A confirmé l’identité avant de communiquer les détails du sinistre » et « A indiqué la prochaine étape et le délai à prévoir ». La confirmation de l’identité est marquée comme critique.
- Deux évaluateurs qualité notent soixante conversations issues des tests. Sur un critère, « A expliqué correctement la franchise », ils sont plus souvent en désaccord avec le résultat automatisé que sur les autres. Le critère est reformulé pour désigner les conditions particulières comme source, et les notes concordent alors.
- Au cours du premier mois complet, chaque conversation est notée. La file d’examen contient les conversations sous le seuil de 70 et les quelques-unes qui ont manqué un critère critique.
- Reem, responsable qualité, traite la file. Plusieurs notes basses ont une cause commune : des clients qui posent des questions sur les véhicules de remplacement, que les documents sources ne couvrent pas. Elle demande que la formulation relative aux véhicules de remplacement soit ajoutée.
- Le mois suivant, Reem compare les résultats du critère pour les questions sur les véhicules de remplacement avec le reste du référentiel, afin de vérifier que la nouvelle formulation fonctionne.
Ce que votre équipe contrôle
- Les critères de votre référentiel, leurs pondérations, et ceux qui sont critiques.
- Le seuil en dessous duquel une conversation est soumise à examen.
- Qui examine, et qui peut voir les notes, selon le rôle.
- Le moment où le référentiel change, chaque version étant consignée et testée avant sa mise en production.