设备测试方法、装置、电子设备以及存储介质制造方法及图纸

本公开公开了设备测试方法、装置、电子设备以及存储介质，涉及人工智能技术领域，尤其涉及语音测试、语音交互技术领域。具体实现方案为：响应于测试请求，基于测试请求携带的语音交互设备的设备类型信息，对语音交互设备进行唤醒测试，得到唤醒测试结果；在唤醒测试结果表示为唤醒成功的情况下，确定目标音频合成参数；以及基于目标音频合成参数，利用测试请求携带的文本样本集对语音交互设备进行测试，得到语音交互设备的测试结果。得到语音交互设备的测试结果。得到语音交互设备的测试结果。

【技术实现步骤摘要】
设备测试方法、装置、电子设备以及存储介质


[0001]本公开涉及人工智能
，尤其涉及语音测试、语音交互
，更具体地，涉及一种设备测试方法、装置、电子设备以及存储介质。

技术介绍

[0002]随着物联网和人工智能技术的发展，在电气设备，如汽车、家电等上装载智能语音交互应用，如语音助手等，并利用语音交互应用来控制电气设备成为了电气设备发展的主要趋势。例如，智能汽车的主流发展趋势包括直接通过车载语音助手来操作车辆的所有功能。

技术实现思路

[0003]本公开提供了一种设备测试方法、装置、电子设备以及存储介质。
[0004]根据本公开的一方面，提供了一种设备测试方法，包括：响应于测试请求，基于上述测试请求携带的语音交互设备的设备类型信息，对上述语音交互设备进行唤醒测试，得到唤醒测试结果；在上述唤醒测试结果表示为唤醒成功的情况下，确定目标音频合成参数；以及基于上述目标音频合成参数，利用上述测试请求携带的文本样本集对上述语音交互设备进行测试，得到上述语音交互设备的测试结果。
[0005]根据本公开的另一方面，提供了一种设备测试装置，包括：第一测试模块，用于响应于测试请求，基于上述测试请求携带的语音交互设备的设备类型信息，对上述语音交互设备进行唤醒测试，得到唤醒测试结果；确定模块，用于在上述唤醒测试结果表示为唤醒成功的情况下，确定目标音频合成参数；以及第二测试模块，用于基于上述目标音频合成参数，利用上述测试请求携带的文本样本集对上述语音交互设备进行测试，得到上述语音交互设备的测试结果。<br/>[0006]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行如上所述的方法。
[0007]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行如上所述的方法。
[0008]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现如上所述的方法。
[0009]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0010]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0011]图1示意性示出了根据本公开实施例的可以应用设备测试方法及装置的示例性系统架构。
[0012]图2示意性示出了根据本公开实施例的设备测试方法的流程图。
[0013]图3A示意性示出了根据本公开实施例的语音交互设备的唤醒测试流程的示意图。
[0014]图3B示意性示出了根据本公开另一实施例的语音交互设备的唤醒测试流程的示意图。
[0015]图4示意性示出了根据本公开实施例的语音交互设备的唤醒测试的流程图。
[0016]图5示意性示出了根据本公开实施例的语音交互设备的语音召回测试的流程图。
[0017]图6示意性示出了根据本公开另一实施例的语音交互设备的语音召回测试的流程图。
[0018]图7示意性示出了根据本公开实施例的设备测试装置的框图。
[0019]图8示出了可以用来实施本公开的实施例的示例电子设备的示意性框图。
具体实施方式
[0020]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0021]电气设备上智能语音交互应用的部署可以为用户带来更好的使用体验，降低用户对于设备使用的学习成本。例如，在智能汽车相关领域中，车载语音助手可以辅助用户来操作车辆的各种功能。尤其是双全工语音交互，用户可以在唤醒双全工语音交互应用后，进行多轮的语音交互。但语音交互应用还存在着语音反馈不合理、易发生语音误召或过召的问题，无法完全满足用户的语音交互需求。
[0022]相关技术中，为了提升语音交互应用的用户体验，一般会利用测试集对语音交互用于进行泛化测试，即将测试集中的文本通过语音合成方法转换为音频，利用音频来测试语音交互应用，统计语音交互应用的召回率和拒识率，并据此来改进语音交互应用。然而，相关技术中语音交互应用的测试会耗费大量的人力物力，且无法实现复用。
[0023]另一方面，语音交互应用一般被配置为适于响应人的真实语音，通过语音合成方法转换得到的音频和人的真实语音相比，在语速、语调等方面可能存在明显差异，可能导致语音交互应用针对该音频的误判率上升。例如，在生成的音频的语速过于平均、或者音量较小的情况下，语音交互应用可能会将该生成的音频误判为噪声，从而不对该音频进行处理。
[0024]有鉴于此，本公开的实施例提供了一种设备测试方法、装置、电子设备以及存储介质，设备测试方法包括：响应于测试请求，基于测试请求携带的语音交互设备的设备类型信息，对语音交互设备进行唤醒测试，得到唤醒测试结果；在唤醒测试结果表示为唤醒成功的情况下，确定目标音频合成参数；以及基于目标音频合成参数，利用测试请求携带的文本样本集对语音交互设备进行测试，得到语音交互设备的测试结果。
[0025]图1示意性示出了根据本公开实施例的可以应用设备测试方法及装置的示例性系统架构。
[0026]需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本
领域技术人员理解本公开的
技术实现思路
，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。例如，在另一实施例中，可以应用设备测试方法及装置的示例性系统架构可以包括终端设备，但终端设备可以无需与服务器进行交互，即可实现本公开实施例提供的设备测试方法及装置。
[0027]如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。
[0028]终端设备101、102、103可以是具有显示屏的各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等等。终端设备101、102、103上可以安装有各种客户端应用，如语音交互应用、语音合成应用、文本处理应用等。
[0029]网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。
[0030]服务器105可以是提供各种服务的服务器，也可以是各种云服务器等，在此不作限定。
[0031]需要说明的是，本公开实施例所提供的设备测试方法一般可以由终端设备101、102、或103执行。相应地，本公开实施例所提供的设本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种设备测试方法，包括：响应于测试请求，基于所述测试请求携带的语音交互设备的设备类型信息，对所述语音交互设备进行唤醒测试，得到唤醒测试结果；在所述唤醒测试结果表示为唤醒成功的情况下，确定目标音频合成参数；以及基于所述目标音频合成参数，利用所述测试请求携带的文本样本集对所述语音交互设备进行测试，得到所述语音交互设备的测试结果。2.根据权利要求1所述的方法，其中，所述基于所述测试请求携带的语音交互设备的设备类型信息，对所述语音交互设备进行唤醒测试，得到唤醒测试结果，包括：基于所述设备类型信息，确定唤醒文本；基于唤醒音频合成参数，调用语音合成应用来处理所述唤醒文本，得到唤醒音频；以及利用所述唤醒音频对所述语音交互设备进行唤醒测试，得到所述唤醒测试结果。3.根据权利要求2所述的方法，还包括：在所述唤醒测试结果表示为唤醒失败的情况下，基于所述唤醒音频合成参数，生成新的唤醒音频合成参数；以及基于新的唤醒音频合成参数对所述语音交互设备进行唤醒测试。4.根据权利要求2或3所述的方法，其中，所述在所述唤醒测试结果表示为唤醒成功的情况下，确定目标音频合成参数，包括：在所述唤醒测试结果表示为唤醒成功的情况下，确定所述目标音频合成参数为所述唤醒音频合成参数。5.根据权利要求2所述的方法，其中，所述利用所述唤醒音频对所述语音交互设备进行唤醒测试，得到所述唤醒测试结果，包括：利用所述唤醒音频测试所述语音交互设备，其中，所述语音交互设备被配置为基于所述唤醒音频，生成第一反馈文本，并将所述第一反馈文本记录在日志中；从所述语音交互设备的日志中获取所述第一反馈文本；以及基于所述第一反馈文本，确定所述唤醒测试结果。6.根据权利要求1所述的方法，其中，所述文本样本集包括多个初始文本；其中，所述基于所述目标音频合成参数，利用所述测试请求携带的文本样本集对所述语音交互设备进行测试，得到所述语音交互设备的测试结果，包括：对于每个所述初始文本，调用文本处理应用生成与所述初始文本语义相关的多个测试文本；基于所述目标音频合成参数，调用语音合成应用来处理所述多个测试文本，得到多个测试音频；以及利用所述多个测试音频对所述语音交互设备进行测试，得到所述测试结果。7.根据权利要求6所述的方法，其中，所述利用所述多个测试音频对所述语音交互设备进行测试，得到所述测试结果，包括：利用所述多个测试音频测试所述语音交互设备，其中，所述语音交互设备被配置为基于所述测试音频，生成第二反馈文本，并将所述第二反馈文本记录在日志中；从所述语音交互设备的日志中获取所述多个测试文本各自的第二反馈文本；以及调用所述文本处理应用处理所述多个测试文本各自的第二反馈文本，得到所述测试结
果。8.根据权利要求7所述的方法，其中，所述文本处理应用被配置为基于所述测试文本，生成应答文本；其中，所述调用所述文本处理应用处理所述多个测试文本各自的第二反馈文本，得到所述测试结果，包括：对于每个测试文本，调用所述文本处理应用对所述测试文本的应答文本和所述测试文本的第二反馈文本进行语义匹配，得到第一匹配结果；以及基于所述多个测试文本各自的第一匹配结果，得到所述测试结果。9.根据权利要求7所述的方法，其中，所述初始文本为正例样本；其中，所述调用所述文本处理应用处理所述多个测试文本各自的第二反馈文本，得到所述测试结果，包括：获取与所述初始文本对应的标签文本；调用所述文本处理应用将所述标签文本分别与所述多个测试文本各自的第二反馈文本进行语义匹配，得到多个第二匹配结果；基于所述多个第二匹配结果，确定正例召回率；以及基于所述正例召回率，确定所述语音交互设备的测试结果。10.根据权利要求7所述的方法，其中，所述初始文本为负例样本；其中，所述调用所述文本处理应用处理所述多个测试文本各自的第二反馈文本，得到所述测试结果，包括：获取与所述语音交互设备相关的拒识文本；调用所述文本处理应用将所述拒识文本分别与所述多个测试文本各自的第二反馈文本进行匹配，得到多个第三匹配结果；基于所述多个第三匹配结果，确定负例拒识率；以及基于所述负例拒识率，确定所述语音交互设备的测试结果。11.根据权利要求6所述的方法，其中，所述调用文本处理应用生成与所述初始文本语义相关的多个测试文本，包括：向所述文本处理应用发送所述初始文本，其中，所述文本处理应用被配置为基于所述初始文本生成所述多个测试文本；以及接收所述文本处理应用返回的所述多个测试文本。12.根据权利要求6所述的方法，其中，所述调用文本处理应用生成与所述初始文本语义相关的多个测试文本，包括：将所述初始文本输入所述文本处理应用，其中，所述文本处理应用被配置为基于所述初始文本生成所述多个测试文本，并将所述多个测试文本展示在输出界面上；对所述文本处理应用的输出界面进行截图，得到界面图像；以及对所述界面图像进行文本识别，得到所述多个测试文本。13.一种设备测试装置，包括：第一测试模块，用于响应于测试请求，基于所述测试请求携带的语音交互设备的设备类型信息，对所述语音交互设备进行唤醒测试，得到唤醒测试结果；确定模块，用于在所述唤醒测试结果表示为唤醒成功的情况下，确定目标音频合成参
数；以及第二测试模块，用于基于所述目标音频合成参数，利用所述测试请求携带的文本样本集对所述语音交互设备进行测试，得到所述语音交互设备的测试结果。14.根据权利要求1 3所述的装置，其中，所述第一测试模块包括第一测试子模块、第二测试子模块和第三测试子模块；所述第一测试子模块，用于基于所述设备类型信息，确定唤醒文本；所述第二测试子模块...

【专利技术属性】
技术研发人员：刘真真，荆赫男，
申请(专利权)人：阿波罗智联北京科技有限公司，
类型：发明
国别省市：