车辆多模态交互方法、装置、电子设备及存储介质制造方法及图纸

技术编号:44017987 阅读:19 留言:0更新日期:2025-01-15 01:02
本发明专利技术实施例提供了一种车辆多模态交互方法、装置、电子设备及存储介质,包括:获取目标车辆内部的目标用户对应的手指指向区域;采集所述手指指向区域对应的车辆外部图像;在所述车辆外部图像中确定与所述手指指向区域对应的多尺度图像,并基于所述多尺度图像进行多尺度拼接,得到目标拼接图像;采集所述目标用户对应的语音数据;将所述目标拼接图像和所述语音数据输入至预设多模态交互模型,得到回复文本。即本发明专利技术实施例通过结合用户的手势指向和语音输入,实现了更加直观和自然的交互体验,综合分析图像和语音信息,从而生成准确且符合用户意图的回复文本。

【技术实现步骤摘要】

本专利技术涉及车辆控制,具体涉及一种车辆多模态交互方法、装置、电子设备及存储介质


技术介绍

1、随着车载智能化技术的快速发展,车载交互系统在车内用户体验中起着越来越重要的作用。

2、目前,相关技术中,为了解决上述技术问题,一般通过车载交互方式实现,然而现有的车载交互方式主要基于触摸屏、物理按键等方式,然而这些交互方式需要用户将注意力从驾驶任务中转移,存在着安全隐患,并且,系统没有结合舱外环境从而导致无法准确地理解用户的语义意图。


技术实现思路

1、本专利技术的目的在于提供一种车辆多模态交互方法,以解决现有技术中如何对电机控制从而提升车辆稳定性的问题。

2、为了实现上述目的,本专利技术公开了一种车辆多模态交互方法,所述方法包括:

3、获取目标车辆内部的目标用户对应的手指指向区域;

4、采集所述手指指向区域对应的车辆外部图像;

5、在所述车辆外部图像中确定与所述手指指向区域对应的多尺度图像,并基于所述多尺度图像进行多尺度拼接,得到目标拼接图像;

本文档来自技高网...

【技术保护点】

1.一种车辆多模态交互方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取目标车辆内部的目标用户对应的手指指向区域包括:

3.根据权利要求2所述的方法,其特征在于,所述针对目标车辆内部进行手部检测,得到三维手部关键点包括:

4.根据权利要求3所述的方法,其特征在于,所述针对所述手部区域进行手部骨骼关键点检测,得到三维手部关键点包括:

5.根据权利要求2所述的方法,其特征在于,所述基于所述三维手部关键点获取预设坐标系下的所述目标用户手部对应的全部骨骼关键点对应的三维空间位置坐标包括:

6.根据权利要...

【技术特征摘要】

1.一种车辆多模态交互方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取目标车辆内部的目标用户对应的手指指向区域包括:

3.根据权利要求2所述的方法,其特征在于,所述针对目标车辆内部进行手部检测,得到三维手部关键点包括:

4.根据权利要求3所述的方法,其特征在于,所述针对所述手部区域进行手部骨骼关键点检测,得到三维手部关键点包括:

5.根据权利要求2所述的方法,其特征在于,所述基于所述三维手部关键点获取预设坐标系下的所述目标用户手部对应的全部骨骼关键点对应的三维空间位置坐标包括:

6.根据权利要求2所述的方法,其特征在于,所述根据所述三维空间位置坐标确定手指指向区域包括:

7.根据权...

【专利技术属性】
技术研发人员:张梦妮任伟
申请(专利权)人:重庆长安汽车股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1