一种车载智能语音系统测试与评价方法技术方案

本发明专利技术公开了一种车载智能语音系统测试与评价方法，包含语音唤醒成功率、语音误唤醒率、语音识别成功率、音源定位准确率、声纹鉴别率、回声消除能力、响应识别时间、语音资源占用、系统稳定性，并给出相应测试方法。本发明专利技术的测试方法不仅涵盖车载智能语音系统最基本的功能，即唤醒成功率和识别成功率，确保基本功能能够满足设计和使用要求，同时提出了误唤醒率、音源定位准确率、回音消除效果和识别响应时间的测试内容，能够更客观地评价语音系统的体验性，确保语音系统减少带给用户的不良体验。语音资源占用和系统稳定性的内容则要求语音系统性能稳定可靠，不影响车载音响娱乐主机的整体性能。

【技术实现步骤摘要】
一种车载智能语音系统测试与评价方法
本专利技术涉及汽车领域，具体涉及一种基于车载音响娱乐系统的车载智能语音系统测试与评价方法。
技术介绍
目前，随着汽车工业及互联网事业的发展，智能网联汽车日新月异，功能不断强大，车载智能语音系统就是其中一项产物。车载智能语音系统嵌于车载智能音响主机开发而成，可实现人与车的交互和人对车的控制，具有初级AI的功能。但由于汽车的工作环境复杂，车载语音的唤醒成功率和识别成功率往往在不同工况下有较大差异，且不同车载音响主机所搭载的硬件不同，语音对主机系统的资源占用率也不同，因此有可能语音的使用会对主机性能产生较大的影响，这是语音系统所需要规避的问题。目前市场上常见的智能网联汽车，均搭载有智能语音系统，支持人通过对语音的唤醒实现人对智能音响主机的控制、人对整车部分功能的控制，以及部分娱乐体验。当前对语音的测试方法主要从保证人机对话的基本功能出发，其核心是人对语音的唤醒成功率和识别成功率。但随着用户对智联汽车的体验性要求越来越高，语音误唤醒率、音源定位准确率、声纹鉴别率、回声消除能力、响应识别时间、语音资源占用、语音系统稳定性成为语音品质好坏的衡量标准之一，并且对用户体验性存在较大的影响。目前市场上搭载有车载智能语音系统的汽车产品，由于车载音响娱乐主机系统的差异，其语音功能不尽相同，有的仅支持硬按键物理唤醒，有的支持语音唤醒，有的支持免唤醒，并且语音的交互性也大有不同。随着车载音响娱乐主机系统的发展，车载智能语音系统必然朝着语音唤醒、免唤醒、可见即可说、智能对话、一语即达、分区语音等功能趋势发展，且随着用户对汽车产品的体验性要求越来越高，语音的体验性将是评价语音系统品质的重要标准之一。因此仅针对语音唤醒率和识别成功率的车载语音系统测试和评价方法缺乏全面性，无法准确的评判语音系统的基本功能性和体验性，进而无法客观评判语音系统的品质好坏。
技术实现思路
本专利技术的主要目的在于提供一种车载智能语音系统测试与评价方法，针对车载智能语音基本使用功能以及使用体验性、使用稳定性提出的专门测试方法和评价指标，有利于客观评价语音系统的品质。本专利技术采用的技术方案是：一种车载智能语音系统测试与评价方法，包括：语音唤醒成功率测试；语音误唤醒率测试；语音识别成功率测试；音源定位准确率测试；声纹鉴别率测试；回声消除能力测试；响应识别时间测试；语音资源占用测试；系统稳定性测试。进一步地，所述语音唤醒成功率测试包括：车内环境测试：正常分贝：车内多媒体播放的分贝值在55-65dB之间，说话人音量在50-70dB之间；主观感受为车内主副驾位置人员可正常交流；高分贝，车内多媒体播放的分贝值在65-75dB之间，说话人音量在55-70dB之间；主观感受为车内主副驾位置人员交流困难，车内音量较大；车外环境：安静环境，对应场景有驾驶环境-停车场；行驶状况-静置或车速不高于40km/h；窗户开关-窗户关闭；空调风速-关闭或不超过2档；嘈杂环境，对应场景有对应场景有驾驶环境-市区、郊区、快速路、隧道；行驶状况-车速高于40km/h；窗户开关-前窗户开启或天窗开启；空调风速-2档以上；测试方法：测试各个不同场景下的唤醒词唤醒率，单个场景需至少测试100次；唤醒成功率＝(正确唤醒次数/总测试次数)*100％。更进一步地，所述语音误唤醒率测试包括：车内环境测试：正常分贝：车内多媒体播放的分贝值在55-65dB之间，说话人音量在50-70dB之间；主观感受为车内主副驾位置人员可正常交流；高分贝，车内多媒体播放的分贝值在65-75dB之间，说话人音量在55-70dB之间；主观感受为车内主副驾位置人员交流困难，车内音量较大；车外环境：安静环境，对应场景有驾驶环境-停车场；行驶状况-静置或车速不高于40km/h；窗户开关-窗户关闭；空调风速-关闭或不超过2档；嘈杂环境，对应场景有对应场景有驾驶环境-市区、郊区、快速路、隧道；行驶状况-车速高于40km/h；窗户开关-前窗户开启或天窗开启；空调风速-2档以上；测试方法：在车内使用高保真的音箱持续播放一段不含唤醒词的录音，测试时间长达6h以上，记录唤醒次数；误唤醒率＝误唤醒次数/总时长(h)。更进一步地，所述语音识别成功率测试包括：车内环境测试：正常分贝：车内多媒体播放的分贝值在55-65dB之间，说话人音量在50-70dB之间；主观感受为车内主副驾位置人员可正常交流；高分贝，车内多媒体播放的分贝值在65-75dB之间，说话人音量在55-70dB之间；主观感受为车内主副驾位置人员交流困难，车内音量较大；车外环境：安静环境，对应场景有驾驶环境-停车场；行驶状况-静置或车速不高于40km/h；窗户开关-窗户关闭；空调风速-关闭或不超过2档；嘈杂环境，对应场景有对应场景有驾驶环境-市区、郊区、快速路、隧道；行驶状况-车速高于40km/h；窗户开关-前窗户开启或天窗开启；空调风速-2档以上；保证车载音响娱乐主机连接可靠的网络，保证网络环境在3G及以上，上行速率不低于100kbps，下行速率不低于50kbps；也可连接WiFi，但上传和下载速度依然不低于100kbps和50kbps。测试方法：基于随车搭载的语音系统所支持的语音功能语料清单，在各测试环境下，执行所有功能语料，每条至少测试3次，识别过程中有一次识别正确即认为功能正常，测试完毕后统计功能正常次数；识别成功率＝(功能正常次数/总测试次数)*100％。更进一步地，所述音源定位准确率测试包括：测试环境：车辆静置安静环境；测试方法：先由主驾唤醒语音后说出随机指令，副驾人员使用5个有效的指令声音进行干扰；主副驾对调后重复操作，重复2h。更进一步地，所述声纹鉴别率测试包括：测试环境：车辆静置安静环境；测试方法：随机选择5位测试人员，在智能语音全模式下分别注册声纹并命名；由已注册声纹的五个人分别进行20次独立唤醒测试，记录唤醒成功次数，在全模式和音源定位模式下重复操作；由第六位未注册声纹的测试人员重复上述操作，记录唤醒成功次数。更进一步地，所述回声消除能力测试包括：测试环境：车辆静置环境；测试方法：随机播放有语音反馈播报的语料，持续播放6h，根据语音打字机结果判断，记录语音反馈播报被识别的次数；随机播放非旋律人声的多媒体内容，保持语音唤醒状态，循环播放6h，记录多媒体音被语音识别录入的次数；车内正常分贝与高分贝环境下分别进行测试。更进一步地，所述响应识别时间测试；测试环境：车辆环境无要求，但需保证车载音响娱乐主机连接可靠的网络，保证网络环境在3G及以上，上行速率不低于100kbps，下行速率不低于50kbps；测试方法：使用截取车载音响娱乐主机的语音日志本文档来自技高网...

【技术保护点】
1.一种车载智能语音系统测试与评价方法，其特征在于，包括：/n语音唤醒成功率测试；/n语音误唤醒率测试；/n语音识别成功率测试；/n音源定位准确率测试；/n声纹鉴别率测试；/n回声消除能力测试；/n响应识别时间测试；/n语音资源占用测试；/n系统稳定性测试。/n

【技术特征摘要】
1.一种车载智能语音系统测试与评价方法，其特征在于，包括：
语音唤醒成功率测试；
语音误唤醒率测试；
语音识别成功率测试；
音源定位准确率测试；
声纹鉴别率测试；
回声消除能力测试；
响应识别时间测试；
语音资源占用测试；
系统稳定性测试。


2.根据权利要求1所述的车载智能语音系统测试与评价方法，其特征在于，所述语音唤醒成功率测试包括：
车内环境测试：
正常分贝：车内多媒体播放的分贝值在55-65dB之间，说话人音量在50-70dB之间；主观感受为车内主副驾位置人员可正常交流；
高分贝，车内多媒体播放的分贝值在65-75dB之间，说话人音量在55-70dB之间；主观感受为车内主副驾位置人员交流困难，车内音量较大；
车外环境：
安静环境，对应场景有驾驶环境-停车场；行驶状况-静置或车速不高于40km/h；窗户开关-窗户关闭；空调风速-关闭或不超过2档；
嘈杂环境，对应场景有对应场景有驾驶环境-市区、郊区、快速路、隧道；行驶状况-车速高于40km/h；窗户开关-前窗户开启或天窗开启；空调风速-2档以上；
测试方法：
测试各个不同场景下的唤醒词唤醒率，单个场景需至少测试100次；
唤醒成功率＝(正确唤醒次数/总测试次数)*100％。


3.根据权利要求1所述的车载智能语音系统测试与评价方法，其特征在于，所述语音误唤醒率测试包括：
车内环境测试：
正常分贝：车内多媒体播放的分贝值在55-65dB之间，说话人音量在50-70dB之间；主观感受为车内主副驾位置人员可正常交流；
高分贝，车内多媒体播放的分贝值在65-75dB之间，说话人音量在55-70dB之间；主观感受为车内主副驾位置人员交流困难，车内音量较大；
车外环境：
安静环境，对应场景有驾驶环境-停车场；行驶状况-静置或车速不高于40km/h；窗户开关-窗户关闭；空调风速-关闭或不超过2档；
嘈杂环境，对应场景有对应场景有驾驶环境-市区、郊区、快速路、隧道；行驶状况-车速高于40km/h；窗户开关-前窗户开启或天窗开启；空调风速-2档以上；
测试方法：
在车内使用高保真的音箱持续播放一段不含唤醒词的录音，测试时间长达6h以上，记录唤醒次数；
误唤醒率＝误唤醒次数/总时长。


4.根据权利要求1所述的车载智能语音系统测试与评价方法，其特征在于，所述语音识别成功率测试包括：
车内环境测试：
正常分贝：车内多媒体播放的分贝值在55-65dB之间，说话人音量在50-70dB之间；主观感受为车内主副驾位置人员可正常交流；
高分贝，车内多媒体播放的分贝值在65-75dB之间，说话人音量在55-70dB之间；主观感受为车内主副驾位置人员交流困难，车内音量较大；
车外环境：
安静环境，对应场景有驾驶环境-停车场；行驶状况-静置或车速不高于40km/h；窗户开关-窗户关闭；空调风速-关闭或不超过2档；
嘈杂环境，对应场景有对应场景有驾驶环境-市区、郊区、快速路、隧道；行驶状况-车速高于40km/h；窗户开关-前窗户开启或天窗开启；空调风速-2档以上；
保证车载音响娱乐主机连接可靠的网络，保证网络环境在3G及以上，行速率不低于100kbps，下行速率不低于50kbps；
保证车载音响娱乐主机连接可靠的网络，保证网络环境在3G及以上，上行速率不低于100kbps，下行速率不...

【专利技术属性】
技术研发人员：陈如飞，习成，周伟锋，甘弼，林涛，陈政泽，黄伟强，陈晓滨，杨楚锐，
申请(专利权)人：广州市凯泽利科技有限公司，
类型：发明
国别省市：广东;44