一种应答能力测试方法、装置、电子设备及介质制造方法及图纸

本公开提供了一种应答能力测试方法、装置、电子设备及介质，涉及人工智能技术领域，尤其涉及测试技术领域。具体实现方案包括：终端从服务器获取多个测试文本，其中测试文本为用于模仿用户提出需求的文本。然后终端针对每个测试文本，对该测试文本进行语音转换得到语音指令，播放语音指令，以使得待测系统响应语音指令，其中待测系统对语音指令的响应结果包括播放的答复语音。再从待测系统的系统日志中获取语音答复文本，其中答复文本为答复语音的内容。之后终端向服务器发送各语音答复文本，以使得服务器基于各语音答复文本以及各测试文本的标准语音答复文本集合，确定对待测系统的测试结果。从而实现了更稳定地得到更准确的测试结果。试结果。试结果。

【技术实现步骤摘要】
一种应答能力测试方法、装置、电子设备及介质


[0001]本公开涉及人工智能
，尤其涉及测试


技术介绍

[0002]随着人工智能技术的发展，人机交互系统的应答能力越来越强，可执行的指令越来越多。以车载系统为例，目前车载系统不仅能够响应用户的控制指令，执行关闭车窗或者打开车载空调等车控操作，还能够响应用户的咨询指令，向用户播放咨询结果。例如，用户向车载系统说出“人工智能是什么意思”，车载系统获取人工智能的基本信息，并转换为语音通过广播播放。

技术实现思路

[0003]本公开提供了一种应答能力测试方法、装置、电子设备及介质。
[0004]本公开实施例的第一方面，提供了一种应答能力测试方法，应用于终端，包括：
[0005]从服务器获取多个测试文本，所述测试文本为用于模仿用户提出需求的文本；
[0006]针对每个测试文本，对该测试文本进行语音转换得到语音指令，播放所述语音指令，以使得待测系统响应所述语音指令，所述待测系统对所述语音指令的响应结果包括播放的答复语音；
[0007]从所述待测系统的系统日志中获取语音答复文本，所述语音答复文本为所述答复语音的内容；
[0008]向所述服务器发送针对每个测试文本得到的语音答复文本，以使得所述服务器基于各语音答复文本以及各测试文本的标准语音答复文本集合，确定对所述待测系统的测试结果。
[0009]本公开实施例的第二方面，提供了一种应答能力测试方法，应用于服务器，包括：
[0010]向终端发送多个测试文本，所述测试文本为用于模仿用户提出需求的文本，以使得所述终端针对每个测试文本，对该测试文本进行语音转换得到语音指令，播放所述语音指令，在所述待测系统响应所述语音指令后，从待测系统的系统日志中获取语音答复文本，所述待测系统对所述语音指令的响应结果包括播放的答复语音，所述语音答复文本为所述答复语音的内容；
[0011]接收所述终端发送的针对每个测试文本得到的语音答复文本；
[0012]基于各语音答复文本以及各测试文本的标准语音答复文本集合，确定对所述待测系统的测试结果。
[0013]本公开实施例的第三方面，提供了一种应答能力测试装置，应用于终端，包括：
[0014]获取模块，用于从服务器获取多个测试文本，所述测试文本为用于模仿用户提出需求的文本；
[0015]测试模块，用于针对所述获取模块获取的每个测试文本，对该测试文本进行语音转换得到语音指令，播放所述语音指令，以使得待测系统响应所述语音指令，所述待测系统
对所述语音指令的响应结果包括播放的答复语音；
[0016]所述获取模块，还用于从所述待测系统的系统日志中获取语音答复文本，所述语音答复文本为所述答复语音的内容；
[0017]发送模块，用于向所述服务器发送针对每个测试文本得到的语音答复文本，以使得所述服务器基于各语音答复文本以及各测试文本的标准语音答复文本集合，确定对所述待测系统的测试结果。
[0018]本公开实施例的第四方面，提供了一种应答能力测试装置，应用于服务器，包括：
[0019]发送模块，用于向终端发送多个测试文本，所述测试文本为用于模仿用户提出需求的文本，以使得所述终端针对每个测试文本，对该测试文本进行语音转换得到语音指令，播放所述语音指令，在所述待测系统响应所述语音指令后，从待测系统的系统日志中获取语音答复文本，所述待测系统对所述语音指令的响应结果包括播放的答复语音，所述语音答复文本为所述答复语音的内容；
[0020]接收模块，用于接收所述终端发送的针对每个测试文本得到的语音答复文本；
[0021]确定模块，用于基于各语音答复文本以及各测试文本的标准语音答复文本集合，确定对所述待测系统的测试结果。
[0022]本公开实施例的第五方面，提供了一种电子设备，包括：
[0023]至少一个处理器；以及
[0024]与所述至少一个处理器通信连接的存储器；其中，
[0025]所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面或第二方面所述的方法。
[0026]本公开实施例的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面或第二方面所述的方法。
[0027]本公开实施例的第七方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时实现第一方面或第二方面所述的方法。
[0028]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0029]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0030]图1是本公开实施例提供的一种应答能力测试方法的流程图；
[0031]图2是本公开实施例提供的一种获取显示答复文本的方法流程图；
[0032]图3是本公开实施例提供的一种截屏图像的示例性示意图；
[0033]图4是本公开实施例提供的另一种截屏图像的示例性示意图；
[0034]图5是本公开实施例提供的另一种应答能力测试方法的流程图；
[0035]图6是本公开实施例提供的一种应答能力测试过程的交互流程图；
[0036]图7是本公开实施例提供的一种应答能力测试装置的结构示意图；
[0037]图8是本公开实施例提供的另一种应答能力测试装置的结构示意图；
[0038]图9是用来实现本公开实施例的应答能力测试方法的电子设备的框图。
具体实施方式
[0039]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0040]目前，对人机交互系统进行测试，一般采用人工测试的方式。即，由测试人员向人机交互系统提出问题或者控制要求，然后人工判断人机交互系统回复的语音是否符合标准。
[0041]以人机交互系统为车载系统为例，对本公开实施例的应用场景进行说明：测试人员在车内向车载系统提问，例如“今天会下雨吗”，之后监听车载系统的答复语音，例如“今天傍晚会下雨”，并依据经验判断答复语音是否符合标准。
[0042]或者，测试人员在车内向车载系统提出控制要求，例如“请打开车窗”；之后监听车载系统的答复语音，例如“好的”，并依据经验判断答复语音是否符合标准。
[0043]可以看出，这种测试方法需要人工提出问题，并检索或依据经验确定问题的标准答案，再依据经验判断语音回复是否符合标准，需要耗费大量的人力，而且测试结果的精度完全依赖人工经验，因此难以本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种应答能力测试方法，应用于终端，包括：从服务器获取多个测试文本，所述测试文本为用于模仿用户提出需求的文本；针对每个测试文本，对该测试文本进行语音转换得到语音指令，播放所述语音指令，以使得待测系统响应所述语音指令，所述待测系统对所述语音指令的响应结果包括播放的答复语音；从所述待测系统的系统日志中获取语音答复文本，所述语音答复文本为所述答复语音的内容；向所述服务器发送针对每个测试文本得到的语音答复文本，以使得所述服务器基于各语音答复文本以及各测试文本的标准语音答复文本集合，确定对所述待测系统的测试结果。2.根据权利要求1所述的方法，所述待测系统对所述语音指令的响应结果还包括：在所述待测系统连接的显示屏内显示的显示答复文本；在所述播放所述语音指令之后，所述方法还包括：获取所述显示屏的截屏图像；识别所述截屏图像内的显示答复文本；向所述服务器发送针对每个测试文本得到的显示答复文本。3.根据权利要求2所述的方法，其中，所述获取所述显示屏的截屏图像，包括：在播放所述语音指令之后的等待时长达到预设时长时，对所述显示屏进行截屏操作，得到所述截屏图像。4.根据权利要求2所述的方法，其中，所述获取所述显示屏的截屏图像，包括：当监听到所述待测系统播放所述答复语音时，对所述显示屏进行截屏操作，得到所述截屏图像。5.根据权利要求2
‑
4任一项所述的方法，其中，所述识别所述截屏图像内的显示答复文本，包括：识别所述截屏图像的指定区域内是否存在指定显示元素，所述指定显示元素为所述显示答复文本在显示时伴随显示的元素；若是，则识别所述指定区域内的文本，将识别到的文本作为所述显示答复文本。6.根据权利要求5所述的方法，在所述识别所述截屏图像的指定区域内是否存在指定显示元素之后，所述方法还包括：若否，则确定所述截屏图像内不存在所述显示答复文本。7.一种应答能力测试方法，应用于服务器，包括：向终端发送多个测试文本，所述测试文本为用于模仿用户提出需求的文本，以使得所述终端针对每个测试文本，对该测试文本进行语音转换得到语音指令，播放所述语音指令，在所述待测系统响应所述语音指令后，从待测系统的系统日志中获取语音答复文本，所述待测系统对所述语音指令的响应结果包括播放的答复语音，所述语音答复文本为所述答复语音的内容；接收所述终端发送的针对每个测试文本得到的语音答复文本；基于各语音答复文本以及各测试文本的标准语音答复文本集合，确定对所述待测系统的测试结果。
8.根据权利要求7所述的方法，所述多个测试文本的生成方式包括：将预设用户画像集包括的用户画像和预设用户意图集包括的用户意图进行两两组合，得到用户画像和用户意图的组合；所述预设用户画像集包括的每个用户画像为一类用户的公共基本信息，所述预设用户意图集包括的每个用户意图为一个问题文本或一个控制要求文本；分别将每个组合包括的用户画像和用户意图输入文本生成器，得到每个组合对应的测试文本。9.根据权利要求7或8所述的方法，所述待测系统对所述语音指令的响应结果还包括：在所述待测系统连接的显示屏内显示的显示答复文本；在所述向终端发送多个测试文本之后，所述方法还包括：接收所述终端发送的针对每个测试文本得到的显示答复文本；所述基于各语音答复文本以及各测试文本的标准语音答复文本集合，确定对所述待测系统的测试结果，包括：基于各语音答复文本、各显示答复文本和各测试文本的标准语音答复文本集合以及标准显示答复文本集合，确定对所述待测系统的测试结果。10.根据权利要求9所述的方法，其中，所述基于各语音答复文本、各显示答复文本和各测试文本的标准语音答复文本集合以及标准显示答复文本集合，确定对所述待测系统的测试结果，包括：针对每个测试文本，判断该测试文本的语音答复文本是否与该测试文本的标准语音答复文本集合中的至少一个标准语音答复文本匹配，以及判断该测试文本的显示答复文本是否与该测试文本的标准显示答复文本集合中的至少一个标准显示答复文本匹配；根据判断结果，确定每个测试文本的校验结果；根据每个测试文本的校验结果，确定所述待测系统的答复正确率。11.根据权利要求10所述的方法，其中，所述根据判断结果，确定每个测试文本的校验结果，包括：若针对该测试文本的判断结果均为是，则确定该测试文本的校验结果为校验通过；若针对该测试文本的任一判断结果为否，则确定该测试文本的校验结果为校验不通过。12.根据权利要求7或8所述的方法，其中，所述基于各语音答复文本以及各测试文本的标准语音答复文本集合，确定对所述待测系统的测试结果，包括：针对每个测试文本，判断该测试文本的语音答复文本是否与该测试文本的标准语音答复文本集合中的至少一个标准语音答复文本匹配；若是，则确定该测试文本的校验结果为校验通过；若否，则确定该测试文本的校验结果为校验不通过；根据每个测试文本的校验结果，确定所述待测系统的答复正确率。13.根据权利要求10或12所述的方法，在所述根据每个测试文本的校验结果，确定所述待测系统的答复正确率之后，所述方法还包括：根据本次测试确定的答复正确率和历史测试确定的答复正确率，生成所述待测系统的答复正确率变化趋势图和/或改进建议。
14.一种应答能力测试装置，应用于终端，包括：获取模块，用于从服务器获取多个测试文本，所述测试文本为用于模仿用户提出需求的文本；测试模块，用于针对所述获取模块获取的每个测试文本，对该测试文本进行语音转换得到语音指令，播放所述语音指令，以使得待测系统响应所述语音指令，所述待测系统对所述语音指令的响应结果包括播...

【专利技术属性】
技术研发人员：郭峻铭，
申请(专利权)人：阿波罗智行科技广州有限公司，
类型：发明
国别省市：