治理与控制
每次
对您的 AI 智能体的每一项变更，如何在任何客户看到之前，针对您所在的行业、针对已经正常运作的行为，并由您自己的团队进行测试。
对您的 AI 智能体的每一项变更，都会在到达您的客户之前经过测试。新的工作流、新的升级规则、一份更新后的政策文档、一个较新的语言模型（理解对话并撰写答复的 AI 组件）：每一项都会在独立的环境中用您所在行业的对话进行测试，对照所有已经正常运作的内容进行检查，并在上线前由您自己的团队试用。正因如此，持续改进您的智能体才是安全的，贵机构也才能依据证据而非信任来审批变更。
每次发布前测试的内容
| 领域 | 测试检查的内容 | 示例 |
|---|---|---|
| 答复 | 每一个答复都来自您的系统和经审批的文档，数字与记录一致 | 告知的分期款金额就是付款系统中的金额 |
| 限制 | 智能体只执行您的规则允许的操作，只提供您的规则允许的数值 | 不提供该票价不允许的任何改签选项 |
| 范围 | 超出范围的话题会被婉拒并转给工作人员，即使问题换了一种说法也是如此 | 用阿拉伯语和英语以三种不同方式询问投资建议 |
| 决策边界 | 不尝试处理留在您团队手中的决策 | 一位保单持有人一再追问对责任认定的看法 |
| 升级 | 每个触发条件都在应当触发时触发，转交连同摘要到达正确的目标 | 一位不满的来电者被转给值班团队 |
| 语言 | 海湾阿拉伯语、埃及阿拉伯语、黎凡特阿拉伯语和英语，以及在一句话中切换阿拉伯语和英语 | “Can I change the booking to الجمعة?” |
| 对话设计 | 对话遵循您所在行业所需的顺序 | 在受理车险理赔之前，先确认来电者是否安全 |
| 集成 | 对您系统的查询和更新操作正常运作 | 在测试理赔系统中创建的理赔申请包含每一个必填字段 |
| 经审批的答复与语气 | 预设措辞准确无误，语气与您审批的一致 | 一项监管披露被逐字读出 |
行业测试集
Telonic 为每个行业构建一个测试集：从该行业的真实模式中提取的对话，每一段都按该行业对正确结果的标准评分。在房地产行业，关于与工程进度挂钩的付款计划（随着施工达到约定阶段而到期付款的计划）的下一期款项，正确的答复取决于项目已到达的工程节点。在旅游行业，正确的改签是票价规则允许的改签。在保险行业，正确的首次报案（理赔的首次报告）会按正确的顺序提出正确的问题，并且不对责任作出任何评论。
每个测试集都会随着该行业的每一次部署而扩充，不断加入新的工作流和边缘情况。部署之间共享的是行业知识和测试场景，绝不是客户数据。
每次发布前的回归测试套件
回归测试套件是一组在每次变更时都会重新运行的测试，用于确认之前正常运作的内容没有失效。在每次发布前，回归测试套件都会以您所在行业对成功的定义为标准运行，同时运行针对该变更本身的具体测试。
一项新增升级规则的变更，既会针对新规则进行测试，也会针对可能受影响的其他每一条规则、限制和答复进行测试。只有通过测试，发布才会进行。参见变更如何上线。
模拟对话
对话模拟会在上线（智能体开始服务真实客户的时间点）之前以及重大变更之前，用贴近现实的场景测试智能体。模拟客户在测试环境中与智能体进行完整的对话：因房间尚未准备好而生气的客人、在一句话中途在阿拉伯语和英语之间切换的来电者、用四种不同方式提出超出范围问题的保单持有人。
场景与您的团队一起编写，取材于您的员工最熟悉的情况。对话模拟在实施期间配置。
测试环境与生产环境
每个部署都有一个独立于生产环境的测试环境。变更在测试环境中进行和测试；如果您有测试版本的系统，测试环境会连接这些测试版本，因此不会有真实客户收到消息，也不会有真实记录被更改。只有审批通过的变更才会进入生产环境。
您的团队先于您的客户进行测试
在上线之前，以及任何重大变更之前，您的团队都会在测试环境中试用智能体。您的员工会试听智能体的声音、阅读回复、测试他们知道客户会问的问题，并检查转交是否到达应到之处。对于语音部署，您的电话系统团队和我们的团队都会使用测试号码，测试通话、转接和录音同意环节。
在您的团队审批通过之前，任何内容都不会上线。
新模型与新服务商
只有当一个新的语言模型或服务商在您所在行业的测试集上的表现至少与当前所用的一样好时，Telonic 才会为您的部署采用它。每一次模型或服务商的更换都要在发布前获得贵机构的审批。备用服务商（在某个服务商发生故障时使用）也会以同样的方式提前测试。参见模型与服务商。
技术细节
| 问题 | 答案 |
|---|---|
| 什么是一次发布？ | 对智能体的配置、工作流、规则、知识来源或模型的任何更改，从测试环境移至生产环境 |
| 每次发布前运行哪些测试？ | 以您所在行业对成功的定义为标准的回归测试套件、针对该变更的专门测试，以及在已配置的情况下运行的模拟对话 |
| 测试环境是否连接我们的系统？ | 如果您有测试版本的系统，则连接这些测试版本。如果没有，查询和操作会使用与您的 IT 团队商定的示例记录进行测试 |
| 审批前我们会收到什么？ | 一份摘要，说明变更了什么、测试了什么以及测试结果 |
| Telonic 自己的平台变更是否以同样方式测试？ | 是的。平台变更在发布前会经过审阅和测试，包括用行业测试集进行测试 |
实际应用
在利雅得和吉达经营酒店的酒店集团 Qamar Stays，希望其智能体处理提前入住请求。
- 其前厅经理与 Telonic 商定规则：在房间已准备好时，对灵活房价提供提前入住，其他情况一律转给前台。
- Telonic 在测试环境中构建该变更，并连接预订系统的测试副本。
- 旅游与酒店测试集和回归测试套件开始运行。结果显示，新工作流能给出正确的结果，现有的预订变更、接送安排和升级不受影响。
- 模拟客人用海湾阿拉伯语、英语以及两者混合的方式请求提前入住，涵盖灵活房价和不可退款房价。
- 前厅团队的两名成员通过 WhatsApp 和电话试用，并要求修改一处措辞。
- 修改完成后，测试再次运行，前厅经理审批通过此次发布。
您的团队掌控的内容
- 您的团队希望测试的场景，与 Telonic 一起编写。
- 您的团队在上线前和重大变更前自行开展的审阅。
- 每一次发布的审批，包括每一次模型或服务商的更换。
相关内容
产品名称和标识均为其各自所有者的商标。提及这些名称和标识，表示 Telonic 与相应系统连接，并不意味着存在合作或背书关系。