【技术实现步骤摘要】
语音助手的性能测试方法、装置、电子设备及介质
[0001]本公开涉及人工智能
,尤其涉及自然语言处理、深度学习、自动驾驶领域。
技术介绍
[0002]语音助手是一款通过语音交互代替手动操作,协助用户在不同场景下解决问题的智能应用。语音助手广泛应用到音箱、手机、车载系统以及机器人等终端。为了保证用户体验,在将语音助手应用到终端之前需要对其进行性能测试。
[0003]相关技术中对语音助手进行性能测试,大多需要预先准备待测试的功能清单以及测试用例,然后在受控音频环境中人工预先录制的音频文件,使用录制得到的音频文件对语音助手进行性能测试,测试流程复杂,测试用例适用性不高、可测试场景有限,存在测试效率低下,测试效果不理想的问题。
技术实现思路
[0004]本公开提供了一种语音助手的性能测试方法、装置、电子设备及介质。
[0005]根据本公开的一方面,提供了一种语音助手的性能测试方法,所述方法包括:
[0006]根据语音助手的待测功能类型,确定所述待测功能类型的功能释义描述和推荐用例描述;< ...
【技术保护点】
【技术特征摘要】
1.一种语音助手的性能测试方法,所述方法包括:根据语音助手的待测功能类型,确定所述待测功能类型的功能释义描述和推荐用例描述;基于所述推荐用例描述,从候选测试用例中选择基础测试用例;验证所述基础测试用例与所述待测功能类型的功能释义描述是否匹配,若匹配则对所述基础测试用例进行泛化处理,得到泛化测试用例;基于所述泛化测试用例,对所述语音助手进行性能测试。2.根据权利要求1所述的方法,其中,根据语音助手的待测功能类型,确定所述待测功能类型的功能释义描述和推荐用例描述,包括:根据所述语音助手的待测功能类型,构建功能释义范式和用例推荐范式;采用预先训练的大语言模型基于所述功能释义范式输出所述待测功能类型的功能释义描述,以及基于所述用例推荐范式输出所述待测功能类型的推荐用例描述。3.根据权利要求1所述的方法,其中,验证所述基础测试用例与所述待测功能类型的功能释义描述是否匹配,若匹配则对所述基础测试用例进行泛化处理,得到泛化测试用例,包括:根据所述基础测试用例和所述待测功能类型的功能释义描述构建语义判断范式,以及根据所述基础测试用例构建用例泛化范式;采用预先训练的大语言模型基于所述语义判断范式,确定所述基础测试用例与所述待测功能类型的功能释义描述是否匹配;若匹配,则采用所述大语言模型基于所述用例泛化范式对所述基础测试用例进行泛化处理,得到泛化测试用例。4.根据权利要求1所述的方法,其中,基于所述推荐用例描述,从候选测试用例中选择基础测试用例,包括:将所述推荐用例描述与所述候选测试用例进行语义匹配,得到语义匹配结果;根据所述语义匹配结果,从候选测试用例中选择基础测试用例。5.根据权利要求1所述的方法,其中,基于所述泛化测试用例,对所述语音助手进行性能测试,包括:将所述泛化测试用例进行格式转化,得到音频格式的基础测试语音;根据语音助手的场景配置参数,对所述基础测试语音进行场景化处理得到场景测试语音;基于所述场景测试语音,对所述语音助手进行性能测试。6.根据权利要求1所述的方法,对所述语音助手进行性能测试之后,所述方法还包括:根据性能测试过程中语音助手产生的测试对话日志,确定语音助手的语言性能参数和执行性能参数;根据语音助手的语言性能参数和执行性能参数,确定语音助手的性能测试结果。7.一种语音助手的性能测试装置,所述装置包括:描述数据确定模块,用于根据语音助手的待测功能类型,确定所述待测功能类型的功能释义描述和推荐用例描述;测试用例选择模块,用于基于所述推荐用例描述,从候选测试用例中选择基础测试用
例;测试用例泛化模块,用于验证所述基础测试用例与所述待测功能类型的功能释义描述是否匹配,若匹配则对所述基础测试用例进行泛化处理,得到泛化测试用例;性能测试...
【专利技术属性】
技术研发人员:卓著,庞敏辉,熊新雷,赵明明,张明月,
申请(专利权)人:阿波罗智联北京科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。