一种测试方法、装置及设备制造方法及图纸

本说明书实施例提供了一种测试方法、装置及设备，可用于人工智能领域。所述方法应用于自动化测试系统，所述自动化测试系统中存储有包含测试场景上下文关系的测试案例，所述方法包括：接收被测系统播报的第一语音流；从所述测试案例中获取第一预期测试结果和第一应答内容；校验所述第一语音流与所述第一预期测试结果，记录校验结果；将所述第一应答内容发送至所述被测系统；所述第一应答内容用于使所述被测系统进行下一轮交互；判断所述测试案例中上下文是否测试完；在测试完成的情况下，获取所有校验结果。利用本说明书实施例可以实现对智能客服机器人的自动化测试，提高测试效率。

【技术实现步骤摘要】
一种测试方法、装置及设备
本申请涉及人工智能
，特别涉及一种测试方法、装置及设备。
技术介绍
随着科技的不断发展，智能客服机器人的使用在各行各业中变得越来越普遍。然而，智能客服机器人在交付使用前需要进行测试，以便其可以满足业务需求。现有技术中，对智能客服机器人的测试主要是由测试人员在智能客服机器人中针对某一个业务场景提交外呼任务，然后智能客服机器人拨电话给测试人员进行交互。这种方式只能依靠人工进行，当需要对大量智能客服机器人进行测试时，没有足够的人力来同时进行通话，从而无法进行压力测试，使得测试效率较低。因此，业内亟需一种可以解决上述技术问题的技术方案。
技术实现思路
本说明书实施例提供了一种测试方法、装置及设备，可以实现对智能客服机器人的自动化测试，提高测试效率。本说明书提供的一种测试方法、装置及设备是包括以下方式实现的。一种测试方法，应用于自动化测试系统，所述自动化测试系统中存储有包含测试场景上下文关系的测试案例，所述方法包括：接收被测系统播报的第一语音流；从所述测试案例中获取第一预期测试结果和第一应答内容；校验所述第一语音流与所述第一预期测试结果，记录校验结果；将所述第一应答内容发送至所述被测系统；所述第一应答内容用于使所述被测系统进行下一轮交互；判断所述测试案例中上下文是否测试完；在测试完成的情况下，获取所有校验结果。一种测试装置，包括：接收模块，用于接收被测系统播报的第一语音流；第一获取模块，用于从所述测试案例中获取第一预期测试结果和第一应答内容；校验模块，用于校验所述第一语音流与所述第一预期测试结果，记录校验结果；发送模块，用于将所述第一应答内容发送至所述被测系统；所述第一应答内容用于使所述被测系统进行下一轮交互；判断模块，用于判断所述测试案例中上下文是否测试完；第二获取模块，用于在测试完成的情况下，获取所有校验结果。一种测试设备，包括至少一个处理器以及存储计算机可执行指令的存储器，所述处理器执行所述指令时实现本说明书实施例中任意一个方法实施例的步骤。一种计算机可读存储介质，其上存储有计算机指令，所述指令被执行时实现本说明书实施例中任意一个方法实施例的步骤。本说明书提供的一种测试方法、装置及设备。一些实施例中可以接收被测系统播报的语音流，从测试案例中获取预期测试结果和应答内容，然后校验语音流与预期测试结果，记录校验结果。进一步，可以将应答内容发送至被测系统，以使被测系统根据该应答内容进行下一轮交互，直至测试案例中上下文测试完，获取所有校验结果。由于本申请是通过搭建基于语音流的自动化测试系统，实现包含上下文关系的智能客服语音机器人系统的自动化测试，从而可以降低人力投入，提高测试效率。采用本说明书提供的实施方案，可以实现对智能客服机器人的自动化测试，提高测试效率。附图说明此处所说明的附图用来提供对本说明书的进一步理解，构成本说明书的一部分，并不构成对本说明书的限定。在附图中：图1是本说明书提供的一种测试方法的一个实施例的流程示意图；图2是本说明书提供的一种测试方法的一个具体实施例的示意图；图3是本说明书提供的一种测试装置的一个实施例的模块结构示意图；图4是本说明书提供的一种测试服务器的一个实施例的硬件结构框图。具体实施方式为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书中的一部分实施例，而不是全部的实施例。基于本说明书中的一个或多个实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书实施例保护的范围。下面以一个具体的应用场景为例对本说明书实施方案进行说明。具体的，图1是本说明书提供的一种测试方法的一个实施例的流程示意图。虽然本说明书提供了如下述实施例或附图所示的方法操作步骤或装置结构，但基于常规或者无需创造性的劳动在所述方法或装置中可以包括更多或者部分合并后更少的操作步骤或模块单元。本说明书提供的一种实施方案可以应用到客户端、服务器等中。所述客户端可以包括终端设备，如智能手机、平板电脑等。所述服务器可以包括单台计算机设备，也可以包括多个服务器组成的服务器集群，或者分布式系统的服务器结构等。需要说明的是，下述实施例描述并不对基于本说明书的其他可扩展到的应用场景中的技术方案构成限制。具体的一种实施例如图1所示，本说明书提供的一种测试方法的一种实施例，可以应用于自动化测试系统，所述自动化测试系统中存储有包含测试场景上下文关系的测试案例。所述方法可以包括以下步骤。S0：接收被测系统播报的第一语音流。其中，被测系统可以为智能客服语音机器人、需要测试语音功能的系统。一些实施例中，自动化测试系统接收被测系统播报的第一语音流前，可以先发送任务创建请求至被测系统，以使被测系统启动呼叫任务。一些实施场景中，可以通过自动或手动方式触发自动化测试系统向被测系统发送任务创建请求。例如一些实施场景中，可以预先在自动化测试系统中设置测试时间，这样，可以在到达测试时间时自动触发自动化测试系统向被测系统发送任务创建请求。另一些实施场景中，可以通过测试人员点击自动化测试系统上的预设按钮手动触发自动化测试系统向被测系统发送任务创建请求。当然，上述只是进行示例性说明，触发自动化测试系统向被测系统发送任务创建请求的方式不限于上述举例，所属领域技术人员在本申请技术精髓的启示下，还可能做出其它变更，但只要其实现的功能和效果与本申请相同或相似，均应涵盖于本申请保护范围内。一些实施场景中，被测系统在接收到自动化测试系统发送的创建任务请求后，可以启动呼叫任务，向自动化测试系统播报语音流。例如一些实施场景中，自动化测试系统可以根据测试案例向被测试语音机器人发送任务创建请求，启动呼叫任务，然后语音机器人按照预设逻辑播报语音流。一些实施场景中，可以是被测系统向自动化测试系统发出任务创建请求，其中，该任务创建请求中包括被测系统播报的第一语音流。一些实施场景中，第一语音流可以是被测系统固有的，可以不在测试案例中体现。例如，对于外呼任务，拨通后会先播报开场白，比如“您是xxx吗？”，此时，“您是xxx吗？”可以理解为第一语音流。当然，上述只是进行示例性说明，第一语音流不限于上述举例，所属领域技术人员在本申请技术精髓的启示下，还可能做出其它变更，但只要其实现的功能和效果与本申请相同或相似，均应涵盖于本申请保护范围内。S2：从所述测试案例中获取第一预期测试结果和第一应答内容。本说明书实施例中，在接收被测系统播报的第一语音流后，可以从测试案例中获取第一预期测试结果和第一应答内容。其中，预期测试结果可以用于验证接收到的语音流是否准确，即被测系统播报的语音流是否准确。一些实施场景中，验证接收到的语音流是否准确可以包括验证信息内容是否满足预设条件、验证逻辑跳转是否满足预设规则等。其中，预设条本文档来自技高网...

【技术保护点】
1.一种测试方法，其特征在于，应用于自动化测试系统，所述自动化测试系统中存储有包含测试场景上下文关系的测试案例，所述方法包括：/n接收被测系统播报的第一语音流；/n从所述测试案例中获取第一预期测试结果和第一应答内容；/n校验所述第一语音流与所述第一预期测试结果，记录校验结果；/n将所述第一应答内容发送至所述被测系统；所述第一应答内容用于使所述被测系统进行下一轮交互；/n判断所述测试案例中上下文是否测试完；/n在测试完成的情况下，获取所有校验结果。/n

【技术特征摘要】
1.一种测试方法，其特征在于，应用于自动化测试系统，所述自动化测试系统中存储有包含测试场景上下文关系的测试案例，所述方法包括：
接收被测系统播报的第一语音流；
从所述测试案例中获取第一预期测试结果和第一应答内容；
校验所述第一语音流与所述第一预期测试结果，记录校验结果；
将所述第一应答内容发送至所述被测系统；所述第一应答内容用于使所述被测系统进行下一轮交互；
判断所述测试案例中上下文是否测试完；
在测试完成的情况下，获取所有校验结果。


2.根据权利要求1所述的方法，其特征在于，所述接收被测系统播报的第一语音流前，包括：
发送任务创建请求至被测系统，以使所述被测系统启动呼叫任务。


3.根据权利要求1所述的方法，其特征在于，所述校验所述第一语音流与所述第一预期测试结果，记录校验结果，包括：
将所述第一语音流转化为第一文本；
校验所述第一文本与所述第一预期测试结果，记录校验结果。


4.根据权利要求3所述的方法，其特征在于，所述校验所述第一文本与所述第一预期测试结果，记录校验结果，包括：
比较所述第一文本与所述第一预期测试结果的逻辑跳转是否满足预设规则；
比较所述第一文本与所述第一预期测试结果包括的内容是否满足预设条件。


5.根据权利要求1所述的方法，其特征在于，将所述第一应答内容发送至所述被测系统前，包括：
将所述第一应答内容转化为第一应答语音流；
将所述第一应答语音流发送至所述被测系统。


6.根据权利要...

【专利技术属性】
技术研发人员：李想，孟靖祥，张璐萱，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11