性能测试方法、装置、电子设备及计算机可读存储介质制造方法及图纸

本公开提供了一种性能测试方法、装置、电子设备及计算机可读存储介质，涉及语音处理技术领域。该方法包括：获取预先构建的通用唤醒指令集、针对回声消除的外部唤醒测试指令集和/或针对回声消除的自唤醒测试指令集；为智能语音交互设备分别播放所述通用唤醒指令集、外部唤醒测试指令集及自唤醒测试指令集，并分别监控所述智能语音交互设备针对所述外部唤醒测试指令集、外部唤醒测试指令集及自唤醒测试指令集的唤醒情况，最后分别统计针对所述通用唤醒指令集的通用唤醒率、统计针对所述外部唤醒测试指令集的外部唤醒率及统计针对所述自唤醒测试指令集的自唤醒次数。本公开可以获取智能语音交互设备的多维度唤醒指标。

【技术实现步骤摘要】
性能测试方法、装置、电子设备及计算机可读存储介质
本公开涉及语音处理
，具体而言，本公开涉及一种智能语音交互设备的性能测试方法、装置、电子设备及计算机可读存储介质。
技术介绍
目前，随着智能技术的快速发展，智能语音交互设备走进了千家万户。在语音唤醒领域，不同厂商针对各自的产品，制定了形形色色的唤醒词，以方便用户与智能语音交互设备进行交互。现有技术通常采用唤醒率和误唤醒次数等评价指标来评估智能语音交互设备的语音唤醒算法。但是现有技术的对智能语音交互设备包括的语音唤醒算法的测试比较粗略，测试结果不够可靠和准确，因此也不能进一步地改进算法以提高算法的精准性。
技术实现思路
本公开提供了一种智能语音交互设备的性能测试的方法、装置、电子设备及计算机可读存储介质，可以解决获取智能语音交互设备的唤醒指标不够全面的问题。技术方案如下：第一方面，提供了一种智能语音交互设备的性能测试方法，该方法包括：获取预先构建的通用唤醒指令集，为智能语音交互设备播放通用唤醒指令集，监控智能语音交互设备针对通用唤醒指令集的唤醒情况本文档来自技高网...

【技术保护点】
1.一种智能语音交互设备的性能测试方法，其特征在于，包括：/n获取预先构建的通用唤醒测试指令集，为智能语音交互设备播放所述通用唤醒测试指令集，监控所述智能语音交互设备针对所述通用唤醒测试指令集的唤醒情况，统计针对所述通用唤醒测试指令集的通用唤醒率；/n获取预先构建的针对回声消除的外部唤醒测试指令集和/或针对回声消除的自唤醒测试指令集；其中，所述外部唤醒测试指令集用于测试所述智能语音交互设备的设备播报对外部唤醒的影响；所述自唤醒测试指令集用于测试所述智能语音交互设备的设备播报包含唤醒词的语音时唤醒自身的次数；/n当获取到所述外部唤醒测试指令集时，为所述智能语音交互设备播放所述外部唤醒测试指令集，...

【技术特征摘要】
1.一种智能语音交互设备的性能测试方法，其特征在于，包括：
获取预先构建的通用唤醒测试指令集，为智能语音交互设备播放所述通用唤醒测试指令集，监控所述智能语音交互设备针对所述通用唤醒测试指令集的唤醒情况，统计针对所述通用唤醒测试指令集的通用唤醒率；
获取预先构建的针对回声消除的外部唤醒测试指令集和/或针对回声消除的自唤醒测试指令集；其中，所述外部唤醒测试指令集用于测试所述智能语音交互设备的设备播报对外部唤醒的影响；所述自唤醒测试指令集用于测试所述智能语音交互设备的设备播报包含唤醒词的语音时唤醒自身的次数；
当获取到所述外部唤醒测试指令集时，为所述智能语音交互设备播放所述外部唤醒测试指令集，监控所述智能语音交互设备针对所述外部唤醒测试指令集的唤醒情况，统计针对所述外部唤醒测试指令集的外部唤醒率；和/或，
当获取到所述自唤醒测试指令集时，为所述智能语音交互设备播放所述自唤醒测试指令集，监控所述智能语音交互设备针对所述自唤醒测试指令集的唤醒情况，统计针对所述自唤醒测试指令集的自唤醒次数。


2.根据权利要求1所述的方法，其特征在于，所述为智能语音交互设备播放所述通用唤醒测试指令集，包括：
根据预设发音人的性别、年龄、地域、语速中的至少一项，从所述通用唤醒测试指令集中选择匹配的测试语音指令进行播放。


3.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据选定的目标噪声场景类型，调用与所述目标噪声场景类型对应的加噪处理方法，对所述通用唤醒测试指令集中被选定的语音指令进行加噪处理得到携带噪声的测试语音指令，其中，所述目标噪声场景类型包括安静场景或噪声场景；
监控所述智能语音交互设备针对所述携带噪声的测试语音指令的唤醒情况，统计不同目标噪声场景下针对所述携带噪声的测试语音指令的分类唤醒率。


4.根据权利要求1所述的方法，其特征在于，所述方法还包括：
根据选定的目标应用场景类型，采集在所述目标应用场景下预设时间段内的环境音频指令；
监控所述智能语音交互设备针对所述环境音频指令的唤醒情况，统计不同目标应用场景下预设时间段内针对所述环境音频指令的误唤醒次数。


5.根据权利要求1所述的方法，其特征在于，所述外部唤醒测试指令集包括通用话术指令集和所述通用唤醒测试指令集，所述通用话术指令集包括所述智能语音设备播放频率超过预设播放阈值的语音指令；
所述当获取到所述外部唤醒测试指令集时，为所述智能语音交互设备播放所述外部唤醒测试指令集，监控所述智能语音交互设备针对所述外部唤醒测试指令集的唤醒情况，统计针对所述外部唤醒测试指令集的外部唤醒率，包括：
基于确定的目标噪声场景类型，在通过第一自动化控制指令控制所述智能语音交互设备播放不同音量下的通用话术指令集时，为所述智能语音交互设备播放所述通用唤醒测试指令集；其中，所述智能语音交互设备对接收到的所述通用话术指令集中的指令进行回声消除...

【专利技术属性】
技术研发人员：陈世强，
申请(专利权)人：北京字节跳动网络技术有限公司，
类型：发明
国别省市：北京;11