【技术实现步骤摘要】
本专利技术涉及智能驾驶，具体而言，涉及多模态融合人机交互控制方法、系统、设备及存储介质。
技术介绍
1、随着智能驾驶技术的迅猛发展，高级驾驶辅助系统（adas）在车辆中的搭载率持续提升，人机交互界面（hmi）作为连接驾驶员与智能驾驶系统的核心纽带，其设计直接影响驾驶安全性与用户体验。
2、当前智能座舱 hmi 正从传统的单一显示模式向多模态交互演进，涉及视觉、听觉、触觉等多种反馈方式的融合应用。 hmi 技术已发展至增强现实与多模态交互阶段，通过触控屏、语音交互等技术实现信息呈现，进行视觉警示和听觉警示。
3、但是现有的视觉、听觉和触觉模态存在警示强度单一，导致在复杂驾驶场景中，驾驶员难以根据模态警示做出当下最紧急的操作，使得驾驶过程中人机交互的驾驶安全性有待提高。
技术实现思路
1、有鉴于此，本专利技术的目的在于提供多模态融合人机交互控制方法、系统、设备及存储介质，能够根据车辆行驶状态和驾驶员状态动态调整视觉、听觉、触觉模态的输出强度，有助于驾驶员根据模态警示做出...
【技术保护点】
1. 一种多模态融合人机交互控制方法，其特征在于， 所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述视觉警示、所述听觉警示和所述触觉警示获取驾驶员的响应数据包括：
4.根据权利要求1所述的方法，其特征在于，所述车辆行驶数据包括车辆动态数据和驾驶场景数据，所述基于所述车辆行驶数据、驾驶员状态数据计算视觉模态、听觉模态和触觉模态的融合权重，得到多模态融合权重矩阵包括：
5.根据权利要求4所述的方法，其特征在于，所述根据所述多模态融合权重矩阵生成...
【技术特征摘要】
1. 一种多模态融合人机交互控制方法，其特征在于， 所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述基于所述视觉警示、所述听觉警示和所述触觉警示获取驾驶员的响应数据包括：
4.根据权利要求1所述的方法，其特征在于，所述车辆行驶数据包括车辆动态数据和驾驶场景数据，所述基于所述车辆行驶数据、驾驶员状态数据计算视觉模态、听觉模态和触觉模态的融合权重，得到多模态融合权重矩阵包括：
5.根据权利要求4所述的方法，其特征在于，所述根据所述多模态融合权重矩阵生成多模态交互信号包括：
6.根据权利要求1所述的方法，其特征在于，所述视觉警示包括抬头显示和仪表盘显示，所述听觉警示包...
【专利技术属性】
技术研发人员：谯万成，王小刚，王士英，姬园，颜夏雪，
申请(专利权)人：海南海马汽车有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。