一种基于视频内容的增强语音交互感知方法与系统技术方案

技术编号:44875176 阅读:32 留言:0更新日期:2025-04-08 00:15
本发明专利技术涉及视音交互技术领域,具体涉及一种基于视频内容的增强语音交互感知方法与系统,包括:捕捉模块,用于捕捉车内说出唤醒词用户后续发出的指令音频及唇部视频;云数据库,用于储存车机可执行各控制指令对应的唇部动态曲线;追踪模块,用于接收捕捉模块中捕捉到的唇部视频,基于唇部视频追踪当前用户唇部动态曲线;本发明专利技术通过对车内用户指令音频与唇部视频的双向采集,同时基于两类数据对用户所要表达的控制指令进行分析,从而在车辆行驶于噪声较大的场景中,车载交互系统能够根据指令音频与唇部视频双向识别判定用户所要表达的控制指令,从而以此有效增强了车内用户与车机交互场景的交互效果,为用户带来更加智能的车机交互与驾驶体验。

【技术实现步骤摘要】

本专利技术涉及视音交互,具体涉及一种基于视频内容的增强语音交互感知方法与系统


技术介绍

1、车机语音控制是一项便捷的车内交互技术。驾车时,车主无需手动操作,只需说出指令,系统就能精准识别并快速响应。它提升驾驶安全性,让车主专注道路;还简化操作,带来更智能舒适的驾驶体验。

2、申请号为201911170029.3的专利技术专利申请中公开了一种基于云端设备的增强信息安全的语音控制方法,所述方法包括:云端设备为不同的声纹分配相应的虚拟安全控件,不同的虚拟安全控件具备不同的语音控制权限,以通过语音控制适配权限的目标车辆中的车载设备,针对用户的语音指令,所述云端设备依据从语音指令中获得的声纹信息确认相应的虚拟安全控件,进而确认相应的语音控制权限,并生成符合语音控制权限的控制命令。

3、该申请在于解决:“语音控制越来越广泛地应用于车辆,但是,现有的车内语音控制方案一般会给所有乘客分配相同的控制权限,比如所有的乘客都可以通过语音指令控制车内音响、空调、车窗和车门等。但是,这样的控制方式会产生安全隐患,例如,车内的儿童乘客可能会在车辆行驶过程中命本文档来自技高网...

【技术保护点】

1.一种基于视频内容的增强语音交互感知系统,其特征在于,包括:

2.根据权利要求1所述的一种基于视频内容的增强语音交互感知系统,其特征在于,所述捕捉模块由车载麦克风及摄像头所集成,所述捕捉模块捕捉到车内说出唤醒词用户后续发出的指令音频后,同步对指令音频进行噪声程度识别,并在完成噪声程度识别后,进一步对指令音频进行降噪处理;

3.根据权利要求2所述的一种基于视频内容的增强语音交互感知系统,其特征在于,所述指令音频的降噪处理逻辑为:

4.根据权利要求3所述的一种基于视频内容的增强语音交互感知系统,其特征在于,所述先验信噪比估计值计算公式为:

5...

【技术特征摘要】

1.一种基于视频内容的增强语音交互感知系统,其特征在于,包括:

2.根据权利要求1所述的一种基于视频内容的增强语音交互感知系统,其特征在于,所述捕捉模块由车载麦克风及摄像头所集成,所述捕捉模块捕捉到车内说出唤醒词用户后续发出的指令音频后,同步对指令音频进行噪声程度识别,并在完成噪声程度识别后,进一步对指令音频进行降噪处理;

3.根据权利要求2所述的一种基于视频内容的增强语音交互感知系统,其特征在于,所述指令音频的降噪处理逻辑为:

4.根据权利要求3所述的一种基于视频内容的增强语音交互感知系统,其特征在于,所述先验信噪比估计值计算公式为:

5.根据权利要求1所述的一种基于视频内容的增强语音交互感知系统,其特征在于,所述捕捉模块内部设置有子模块,包括:

6.根据权利要求1所述的一种基于视频内容的增强语音交互感知系统,其特征在于,所述云数据库中储存的初步唇部动态曲线,为使用普通话讲述控制指令状态下,以嘴角为追踪目标,追踪到的嘴角移动路径,嘴角移动路径即记作唇部动态曲...

【专利技术属性】
技术研发人员:曹永军陈招曹曙晴许明王红蕾陈家宝
申请(专利权)人:济南致业电子有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1