一种基于多模态感知的车辆控制方法、装置、设备及介质制造方法及图纸

本申请提供了一种基于多模态感知的车辆控制方法、装置、设备及介质，其中，该方法包括：基于多模态感知技术，获取多个感知设备所检测的多个驾驶员检测数据、多个车辆数据和多个环境数据；基于训练后的AGI，根据多个驾驶员检测数据、多个车辆数据和多个环境数据，确定驾驶员的情绪状态和车辆最佳控制策略；若驾驶员的情绪状态低异常，则根据驾驶员的情绪状态，对驾驶员进行情感语音交互，以安慰驾驶员的情绪；若驾驶员的情绪状态高异常，则控制车辆进入自动驾驶状态，并根据车辆最佳控制策略，控制车辆自动驾驶。达到监控驾驶员状态，并根据驾驶员的状态对车辆和驾驶员进行主动干预的效果。

【技术实现步骤摘要】

本申请涉及自动驾驶技术，具体而言，涉及一种基于多模态感知的车辆控制方法、装置、设备及介质。

技术介绍

1、目前，在自动驾驶技术的发展过程中，驾驶员监控系统(driver monitoringsystem,dms)扮演了一个关键角色，它通过监控驾驶员的行为和状态来确保行车安全。现有的dms主要依赖于摄像头和传感器来监测驾驶员的注意力分散、疲劳或其他不适状态。然而，这些系统主要集中在被动监控，缺乏主动干预的能力，无法在驾驶员无法控制车辆的情况下采取行动。

技术实现思路

1、有鉴于此，本申请的目的在于提供一种基于多模态感知的车辆控制方法、装置、设备及介质，能够通过多模态感知技术获取和agi，确定驾驶员的情绪状态和车辆的最佳控制策略，并根据驾驶员的情绪状态对驾驶员进行安慰或接入车辆的驾驶。解决现有技术中存在的目前的系统主要集中在被动监控，缺乏主动干预的能力，无法在驾驶员无法控制车辆的情况下采取行动的问题，达到监控驾驶员状态，并根据驾驶员的状态对车辆和驾驶员进行主动干预的效果。

2、第一方面，本申请实施例提本文档来自技高网...

【技术保护点】

1.一种基于多模态感知的车辆控制方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，AGI包括情感AGI和智能决策AGI，

3.根据权利要求1所述的方法，其特征在于，多个驾驶员检测数据包括驾驶员图像、驾驶员红外图像、安全带压力数据、驾驶员生理数据、驾驶员行为数据，

4.根据权利要求1所述的方法，其特征在于，驾驶员的情绪状态包括多种驾驶员情绪子状态，情感语音包括多个情感子语音，

5.根据权利要求4所述的方法，其特征在于，所述智能决策AGI包括路径规划AGI、速度控制AGI、避障AGI、紧急情况处理AGI和驾驶员状态适应...

【技术特征摘要】

1.一种基于多模态感知的车辆控制方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，agi包括情感agi和智能决策agi，

3.根据权利要求1所述的方法，其特征在于，多个驾驶员检测数据包括驾驶员图像、驾驶员红外图像、安全带压力数据、驾驶员生理数据、驾驶员行为数据，

4.根据权利要求1所述的方法，其特征在于，驾驶员的情绪状态包括多种驾驶员情绪子状态，情感语音包括多个情感子语音，

5.根据权利要求4所述的方法，其特征在于，所述智能决策agi包括路径规划agi、速度控制agi、避障agi、紧急情况处理agi和驾驶员状态适应agi，

6.根...

【专利技术属性】
技术研发人员：夏志敏，杨鸿泽，潘鑫，
申请(专利权)人：无锡车联天下信息技术有限公司，
类型：发明
国别省市：