基于人机对话的任务测试方法、相关设备及存储介质技术

一种基于人机对话的任务测试方法，包括：获取针对目标任务的状态机图；加载状态机图；对状态机图的节点S

【技术实现步骤摘要】
基于人机对话的任务测试方法、相关设备及存储介质


[0001]本申请涉及终端
，尤其涉及一种基于人机对话的任务测试方法、相关设备及存储介质。

技术介绍

[0002]随着人工智能和自然语言处理技术的发展，人机对话系统在金融服务、家居生活、个人助理中将逐步得到应用。在人机对话系统中，每一次人机交互，系统都会把对话的上下文记录下来并进入不同的状态，因此，一般从任务的初始状态到最终完成任务会有多条路径，评价该任务的成功率需要综合参考每一条路径和边的成功率以及上下文处理逻辑的正确性。
[0003]目前，在评价人机对话系统在此任务上的成功率上，现有的测试技术一般分为如下三种：一、按照分析出的状态图进行固定路径的功能测试，二、有限的状态节点下的NLU(Natural Language Understanding，自然语言理解)识别率测试，三、固定顺序的多轮对话语料测试。然而，上述三种测试技术，都无法将海量的语料映射到人机对话系统的每一轮输入中进行端到端的成功率测试。

技术实现思路

[0004]本申请实施例公开了一种基于人机对话的任本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于人机对话的任务测试方法，其特征在于，所述基于人机对话的任务测试方法包括：获取针对目标任务的状态机图，其中，所述状态机图的每个节点表示对话的状态，所述状态机图的每条边表示用户操作和对话上下文；加载所述状态机图；根据预设遍历算法，对所述状态机图的节点S
i
对应的所有边以及所述所有边对应的节点S
(i+x)
进行遍历，其中，i、x均为非负整数；若所述状态机图的节点S
i
对应的所有边以及所述所有边对应的节点S
(i+x)
均遍历完成，且S
i
不是初始节点S0，根据预设的边排序算法，从所述所有边中确定第一边；根据所述第一边的用户操作以及对话上下文的语义表示，从语料库中选取符合所述语义表示的第一语料；将所述第一语料发送至被测设备；根据所述被测设备针对所述第一语料的响应信息，确定所述被测设备的第一系统状态；根据所述第一系统状态，更新所述状态机图的所有节点的第一节点参数值和所有边的第一边参数值；根据所述第一系统状态、所述第一节点参数值、所述第一边参数值、第一预期状态以及第一预期参数值，对所述被测设备在所述目标任务上的成功率进行评估，获得第一测评结果。2.根据权利要求1所述的基于人机对话的任务测试方法，其特征在于，所述基于人机对话的任务测试方法还包括：若所述状态机图的节点S
i
对应的所有边未遍历完成，根据所述边排序算法，从未遍历完成的边中确定第二边；从所述语料库中选取所述第二边对应的第二语料；将所述第二语料发送至所述被测设备；根据所述被测设备针对所述第二语料的响应信息，确定所述被测设备的第二系统状态；根据所述第二系统状态，更新所述状态机图的所有节点的第二节点参数值和所有边的第二边参数值；根据所述第二系统状态、所述第二节点参数值、所述第二边参数值、第二预期状态以及第二预期参数值，对所述被测设备在所述目标任务上的成功率进行评估，获得第二测评结果。3.根据权利要求1所述的基于人机对话的任务测试方法，其特征在于，所述基于人机对话的任务测试方法还包括：若所述所有边对应的节点S
(i+x)
未遍历完成，根据所述边排序算法，从未遍历完成的节点S
(i+x)
对应的边中确定第三边；从所述语料库中选取所述第三边对应的第三语料；将所述第三语料发送至所述被测设备；根据所述被测设备针对所述第三语料的响应信息，确定所述被测设备的第三系统状
...

【专利技术属性】
技术研发人员：展钰，周立君，王丰奎，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：