Gouvernance et contrôle
Tests avant chaque nouvelle version
Comment chaque modification de vos agents IA est testée au regard de votre secteur et du comportement qui fonctionne déjà, et essayée par votre propre équipe, avant qu’un client n’y soit confronté.
Sur cette page
- Ce qui est testé avant chaque nouvelle version
- Jeux de tests sectoriels
- Des tests de non-régression avant chaque nouvelle version
- Conversations simulées
- Environnements de test et de production
- Votre équipe teste avant vos clients
- Nouveaux modèles et fournisseurs
- Détails techniques
- En pratique
- Ce que votre équipe contrôle
- Voir aussi
Chaque modification de vos agents IA est testée avant de parvenir à vos clients. Un nouveau workflow, une nouvelle règle d’escalade, un document de politique mis à jour, un modèle de langage plus récent (le composant d’IA qui comprend la conversation et rédige la réponse) : chacun est testé dans un environnement distinct sur des conversations propres à votre secteur, vérifié au regard de tout ce qui fonctionne déjà, et essayé par votre propre équipe avant sa mise en production. C’est ce qui permet d’améliorer vos agents en continu en toute sécurité, et ce qui permet à votre organisation d’approuver une modification en s’appuyant sur des preuves plutôt que sur la confiance.
Ce qui est testé avant chaque nouvelle version
| Domaine | Ce que vérifient les tests | Exemple |
|---|---|---|
| Réponses | Chaque réponse provient de vos systèmes et de vos documents approuvés, et les chiffres correspondent à la fiche | Le montant d’échéance communiqué est celui qui figure dans le système de paiement |
| Limites | L’agent n’effectue que les actions, et ne propose que les valeurs, que vos règles autorisent | Aucune option de réacheminement que le tarif n’autorise n’est proposée |
| Périmètre | Les sujets hors périmètre sont déclinés et orientés vers une personne, y compris lorsqu’une question est reformulée | Un conseil en investissement demandé de trois façons différentes, en arabe et en anglais |
| Limites de décision | L’agent ne tente pas de prendre les décisions qui restent à votre équipe | Un assuré qui insiste pour obtenir un avis sur la responsabilité |
| Escalade | Chaque déclencheur s’active quand il le doit, et le passage de relais parvient à la bonne destination avec une synthèse | Un appelant frustré est confié à l’équipe de permanence |
| Langue | Arabe du Golfe, égyptien et levantin, anglais, et alternance entre l’arabe et l’anglais au sein d’une même phrase | « Can I change the booking to الجمعة? » |
| Conception des conversations | La conversation suit l’ordre qu’exige votre secteur | Vérifier qu’un appelant est en sécurité avant d’enregistrer un sinistre automobile |
| Intégrations | Les consultations et les mises à jour de vos systèmes fonctionnent correctement | Le sinistre créé dans la version de test du système de gestion des sinistres comporte tous les champs obligatoires |
| Réponses approuvées et ton | Les formulations prédéfinies sont exactes, et le ton correspond à ce que vous avez approuvé | Une mention réglementaire obligatoire est lue mot pour mot |
Jeux de tests sectoriels
Telonic construit un jeu de tests pour chaque secteur : des conversations tirées des situations réelles de ce secteur, chacune notée selon ce qu’est un résultat correct dans ce secteur. Dans l’immobilier, une réponse correcte sur la prochaine échéance d’un plan de paiement lié à l’avancement des travaux (un plan dans lequel les paiements deviennent exigibles à mesure que les travaux atteignent des étapes convenues) dépend de l’étape de construction atteinte par le projet. Dans le voyage, un réacheminement correct est un réacheminement que les règles tarifaires autorisent. En assurance, une déclaration de sinistre (la première déclaration du sinistre) correctement recueillie passe par les bonnes questions, dans le bon ordre, sans aucun commentaire sur la responsabilité.
Chaque jeu de tests s’enrichit à chaque déploiement dans ce secteur, à mesure que de nouveaux workflows et de nouveaux cas limites sont ajoutés. Ce qui est partagé entre les déploiements, ce sont les connaissances sectorielles et les scénarios de test, jamais de données clients.
Des tests de non-régression avant chaque nouvelle version
Une suite de tests de non-régression est un ensemble de tests réexécutés à chaque modification, pour confirmer que rien de ce qui fonctionnait auparavant n’a cessé de fonctionner. Avant chaque nouvelle version, la suite de tests de non-régression est exécutée au regard des critères de réussite propres à votre secteur, en plus des tests spécifiques à la modification elle-même.
Une modification qui ajoute une règle d’escalade est testée pour la nouvelle règle, ainsi que pour chaque autre règle, limite et réponse susceptible d’être affectée. Une nouvelle version n’est mise en production que si elle réussit ces tests. Voir Comment les modifications sont mises en production.
Conversations simulées
La simulation de conversations teste l’agent sur des scénarios réalistes avant la mise en production (le moment où l’agent commence à prendre en charge de vrais clients) et avant les modifications importantes. Des clients simulés mènent des conversations complètes avec l’agent dans l’environnement de test : un client d’hôtel en colère dont la chambre n’est pas prête, un appelant qui alterne entre l’arabe et l’anglais en cours de phrase, un assuré qui pose une question hors périmètre de quatre façons différentes.
Les scénarios sont rédigés avec votre équipe, à partir des situations que vos collaborateurs connaissent le mieux. La simulation de conversations est configurée lors de la mise en œuvre.
Environnements de test et de production
Chaque déploiement dispose d’un environnement de test, distinct de l’environnement de production. Les modifications y sont réalisées et testées, en connexion avec les versions de test de vos systèmes lorsque vous en disposez, de sorte qu’aucun client réel ne reçoit de message et qu’aucune fiche réelle n’est modifiée. Seule une modification approuvée passe dans l’environnement de production.
Votre équipe teste avant vos clients
Avant la mise en production, et avant toute modification importante, votre équipe essaie l’agent dans l’environnement de test. Vos collaborateurs écoutent la voix, lisent les réponses, testent les questions qu’ils savent posées par les clients, et vérifient que les passages de relais arrivent là où ils le doivent. Pour un déploiement vocal, votre équipe téléphonie et la nôtre testent les appels, les transferts et l’étape de consentement à l’enregistrement à l’aide de numéros de test.
Rien n’est mis en production tant que votre équipe ne l’a pas approuvé.
Nouveaux modèles et fournisseurs
Telonic n’adopte un nouveau modèle de langage ou un nouveau fournisseur pour votre déploiement que s’il obtient des résultats au moins aussi bons que l’actuel sur le jeu de tests de votre secteur. Tout changement de modèle ou de fournisseur est approuvé par votre organisation avant sa mise en production. Les fournisseurs de secours, utilisés en cas de panne d’un fournisseur, sont testés de la même manière, à l’avance. Voir Modèles et fournisseurs.
Détails techniques
| Question | Réponse |
|---|---|
| Qu’est-ce qu’une nouvelle version ? | Toute modification de la configuration d’un agent, de ses workflows, règles, sources de connaissances ou modèle, transférée de l’environnement de test vers l’environnement de production |
| Qu’est-ce qui est exécuté avant chaque nouvelle version ? | La suite de tests de non-régression au regard des critères de réussite de votre secteur, les tests spécifiques à la modification et, lorsqu’elles sont configurées, des conversations simulées |
| L’environnement de test est-il connecté à nos systèmes ? | Aux versions de test de vos systèmes, lorsque vous en disposez. Sinon, les consultations et les actions sont testées sur des données d’exemple convenues avec votre équipe informatique |
| Que recevons-nous avant d’approuver ? | Un résumé de ce qui a changé, de ce qui a été testé, et des résultats |
| Les modifications de la plateforme apportées par Telonic sont-elles testées de la même manière ? | Oui. Les modifications de la plateforme sont examinées et testées avant leur mise en production, y compris avec les jeux de tests sectoriels |
En pratique
Le groupe hôtelier Qamar Stays, présent à Riyad et à Djeddah, veut que son agent IA traite les demandes d’arrivée anticipée.
- Son chef de réception convient de la règle avec Telonic : l’arrivée anticipée est proposée sur les tarifs flexibles lorsque la chambre est prête, et toute autre demande est transmise à la réception.
- Telonic réalise la modification dans l’environnement de test, connecté à une copie de test du système de réservation.
- Le jeu de tests voyage et hôtellerie et la suite de tests de non-régression sont exécutés. Ils montrent que le nouveau workflow produit des résultats corrects, et que les modifications de réservation, les transferts et les escalades existants ne sont pas affectés.
- Des clients simulés demandent une arrivée anticipée en arabe du Golfe, en anglais et dans un mélange des deux, sur des tarifs flexibles et non remboursables.
- Deux membres de l’équipe de réception l’essaient sur WhatsApp et par téléphone, et demandent une modification de la formulation.
- La modification est apportée, les tests sont exécutés de nouveau, et le chef de réception approuve la mise en production.
Ce que votre équipe contrôle
- Les scénarios que votre équipe veut voir testés, rédigés avec Telonic.
- L’examen par votre propre équipe avant la mise en production et avant les modifications importantes.
- L’approbation de chaque nouvelle version, y compris de chaque changement de modèle ou de fournisseur.
Voir aussi
- Comment les modifications sont mises en productionGouvernance et contrôle
- Modèles et fournisseursAgents IA
- Modèles sectorielsAgents IA
- Développement et tests sécurisésSécurité et protection des données
- Les contrôles que détient votre équipeGouvernance et contrôle
Les noms et logos de produits sont des marques de leurs propriétaires respectifs. Leur mention indique les systèmes auxquels Telonic se connecte et n’implique ni partenariat ni approbation.