用于车辆的语音交互方法及系统技术方案

本发明专利技术实施例提供一种用于车辆的语音交互方法。该方法包括：采集来自车辆内每个座位的声音信息和视频信息；对声音信息进行语音识别，并基于语音识别结果对声音信息进行第一打分；基于语音识别结果对应的基准口型的视频图像，对视频信息中的乘客的口型进行第二打分；对第一打分结果和第二打分结果进行综合判断，确定是否进行语音交互。本发明专利技术实施例还提供一种用于车辆的语音交互系统。本发明专利技术实施例利用图像识别算法对每个座位用户的口型进行实时检测识别。通过口型与声音的多重因素判断是否进行语音交互，提升全车内语音识别效果和交互准确率，并且考虑到车内的多种会影响声音信号和视频信号的音素进行弹性处理。从而进一步提升语音交互效果。升语音交互效果。升语音交互效果。

【技术实现步骤摘要】
用于车辆的语音交互方法及系统


[0001]本专利技术涉及智能语音领域，尤其涉及一种用于车辆的语音交互方法及系统。

技术介绍

[0002]口型辅助语音识别技术，是通过口型图像识别和语音识别相结合的方法。先进行语音识别判断，再进行口型识别判断从而降低语音唤醒的误触率。这对于汽车中的语音识别有着很大的帮助。
[0003]在实现本专利技术过程中，专利技术人发现相关技术中至少存在如下问题：
[0004]现有技术仅是通过图像识别检测口型是否变化来拒识语音信号，也就是说仅看口型是张还是合，例如伴有声音的同时检测到用户此时口型是张嘴状态，或者闭嘴状态，通过口型辅助判断识别，而没有利用口型识别数据增强语音唤醒模型，并且缺少全车声源定位的能力，无法对全车语音信号进行定向增强、反向移植抑制，并分离出不同位置的声音信号。同时采用语音的前端信号处理方法，通过提高信号的信噪比来提升语音唤醒效果。本行业从业人员主要是从前端信号方面提升语音唤醒效果，但单从前端信号处理方面入手很难提升在极低信噪比的情况下语音识别效果。

技术实现思路
<br/>[0005]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于车辆的语音交互方法，包括：采集来自车辆内每个座位的声音信息和视频信息；对所述声音信息进行语音识别，并基于所述语音识别结果对所述声音信息进行第一打分；基于所述语音识别结果对应的基准口型的视频图像，对所述视频信息中的乘客的口型进行第二打分；对所述第一打分结果和所述第二打分结果进行综合判断，确定是否进行语音交互。2.根据权利要求1所述的方法，其中，所述对所述第一打分结果和所述第二打分结果进行综合判断包括：当所述第一打分结果超过第一预设阈值，且第二打分结果超过第二预设阈值时，执行所述语音识别结果对应的语音动作；当所述第一打分结果没有超过第一预设阈值，且第二打分结果没有超过第二预设阈值时，拒绝所述语音识别结果对应的语音动作。3.根据权利要求2所述的方法，其中，所述方法还包括：当所述第一打分结果超过第一预设阈值，第二打分结果没有超过第二预设阈值，或第一打分结果没有超过第一预设阈值，第二打分结果超过第二预设阈值时，进行二次验证；在二次验证中，当所述第一打分结果超过第一预设阈值，第二打分结果没有超过第二预设阈值时，若所述第二打分结果与所述第二预设阈值的误差没有超过预设口型误差时，执行所述语音识别结果对应的语音动作，反之，拒绝所述语音动作；当所述第一打分结果没有超过第一预设阈值，所述第二打分结果超过第二预设阈值时，若所述第一打分结果与所述第一预设阈值的误差没有超过预设语音误差时，执行所述语音识别结果对应的语音动作，反之，拒绝所述语音动作。4.根据权利要求1所述的方法，其中，所述采集来自车辆内每个座位的声音信息和视频信息包括：通过车辆内分布式麦克风阵列采集每个座位的声音信息；通过摄像头采集每个座位的视频信息。5.根据权...

【专利技术属性】
技术研发人员：符晓乐，
申请(专利权)人：思必驰科技股份有限公司，
类型：发明
国别省市：