基于情绪识别的驾驶模式调节方法、系统、装置及介质制造方法及图纸

本发明专利技术公开了基于情绪识别的驾驶模式调节方法、系统、装置及介质，包括：获取驾驶员的人脸图像信息、语音信息以及肢体动作信息，并获取目标车辆的行驶环境图像信息；根据人脸图像信息识别得到驾驶员的面部表情信息，根据语音信息识别得到驾驶员的语音情感信息，并根据肢体动作信息识别得到驾驶员的驾驶行为信息；根据行驶环境图像信息识别得到目标车辆的驾驶场景信息，并将面部表情信息、语音情感信息、驾驶行为信息以及驾驶场景信息输入到预先训练好的情绪识别模型，得到驾驶员的情绪识别结果；根据情绪识别结果和驾驶场景信息对目标车辆的驾驶模式进行调节。本发明专利技术提高了车辆行驶的安全性和驾驶员的驾驶体验，可广泛应用于车辆控制技术领域。辆控制技术领域。辆控制技术领域。

【技术实现步骤摘要】
基于情绪识别的驾驶模式调节方法、系统、装置及介质


[0001]本专利技术涉及车辆控制
，尤其是一种基于情绪识别的驾驶模式调节方法、系统、装置及存储介质。

技术介绍

[0002]在汽车驾驶中，行驶安全最为重要，但大多数的交通事故都是人为因素导致的，而车内人员尤其是驾驶员的情绪则是导致人为交通事故的重要原因。在行车过程中，由于长途的驾驶容易导致驾驶员疲劳困倦，而堵车、糟糕的路况以及其它的车辆的不规范行为也会导致驾驶员产生愤怒、不满等不良情绪，从而影响车辆行驶的安全性。因此有必要对驾驶员的情绪进行识别，以便于及时调节驾驶模式，防止可能出现的交通事故。
[0003]现有技术中，驾驶员的情绪识别一般是通过驾驶员面部表情变化来进行识别，这种单一维度的情绪识别方式一方面容易受到外界环境的干扰，另一方面未考虑到车辆当前所处行驶环境，影响了驾驶员情绪识别的准确性；此外，现有技术中的驾驶模式大多通过驾驶员手动进行调节，效率较低，且在驾驶员情绪消极、异常时，往往忘记或不愿去主动调节驾驶模式，影响了车辆行驶的安全性和驾驶员的驾驶体验。

技术实现思路

[0004]本专利技术的目的在于至少一定程度上解决现有技术中存在的技术问题之一。
[0005]为此，本专利技术实施例的一个目的在于提供一种基于情绪识别的驾驶模式调节方法，该方法提高了驾驶员情绪识别的准确性，也提高了车辆行驶的安全性和驾驶员的驾驶体验。
[0006]本专利技术实施例的另一个目的在于提供一种基于情绪识别的驾驶模式调节系统。
[0007]为了达到上述技术目的，本专利技术实施例所采取的技术方案包括：
[0008]第一方面，本专利技术实施例提供了一种基于情绪识别的驾驶模式调节方法，包括以下步骤：
[0009]获取驾驶员的人脸图像信息、语音信息以及肢体动作信息，并获取目标车辆的行驶环境图像信息；
[0010]根据所述人脸图像信息识别得到所述驾驶员的面部表情信息，根据所述语音信息识别得到所述驾驶员的语音情感信息，并根据所述肢体动作信息识别得到所述驾驶员的驾驶行为信息；
[0011]根据所述行驶环境图像信息识别得到所述目标车辆的驾驶场景信息，并将所述面部表情信息、所述语音情感信息、所述驾驶行为信息以及所述驾驶场景信息输入到预先训练好的情绪识别模型，得到所述驾驶员的情绪识别结果；
[0012]根据所述情绪识别结果和所述驾驶场景信息对所述目标车辆的驾驶模式进行调节。
[0013]进一步地，在本专利技术的一个实施例中，所述获取驾驶员的人脸图像信息、语音信息
以及肢体动作信息，并获取目标车辆的行驶环境图像信息这一步骤，其具体包括：
[0014]通过设置在所述目标车辆内的第一摄像装置获取所述驾驶员的人脸图像信息；
[0015]通过设置在所述目标车辆内的语音采集装置获取所述驾驶员的语音信息；
[0016]通过所述驾驶员穿戴的姿态传感器获取所述驾驶员的肢体动作信息；
[0017]通过设置在所述目标车辆外的第二摄像装置获取所述目标车辆的行驶环境图像信息。
[0018]进一步地，在本专利技术的一个实施例中，所述根据所述人脸图像信息识别得到所述驾驶员的面部表情信息，根据所述语音信息识别得到所述驾驶员的语音情感信息，并根据所述肢体动作信息识别得到所述驾驶员的驾驶行为信息这一步骤，其具体包括：
[0019]对所述人脸图像信息进行纹理特征提取得到面部特征信息，并将所述面部特征信息输入到预设的面部表情识别模型，得到所述面部表情信息；
[0020]对所述语音信息进行声学特征提取得到声学特征信息，并将所述声学特征信息输入到预设的语音情感识别模型，得到所述语音情感信息；
[0021]对所述肢体动作信息进行姿态特征提取得到姿态特征信息，并将所述姿态特征信息输入到预设的驾驶行为识别模型，得到所述驾驶行为信息。
[0022]进一步地，在本专利技术的一个实施例中，所述根据所述行驶环境图像信息识别得到所述目标车辆的驾驶场景信息这一步骤，其具体包括：
[0023]对所述行驶环境图像信息进行目标检测得到若干个目标对象，所述目标对象包括机动车、非机动车、行人以及红绿灯中的至少一种；
[0024]根据连续多帧所述行驶环境图像信息确定所述目标对象的状态变化信息；
[0025]根据所述状态变化信息确定所述目标车辆的驾驶场景信息；
[0026]其中，所述驾驶场景信息包括堵车场景、变道插队场景、非机动车占道场景、行人占道场景以及闯红灯场景中的至少一种。
[0027]进一步地，在本专利技术的一个实施例中，所述基于情绪识别的驾驶模式调节方法还包括预先训练所述情绪识别模型的步骤，其具体包括：
[0028]获取预设的多个情绪识别样本数据，并确定各所述情绪识别样本数据的标签信息，所述情绪识别样本数据由测试人员的面部表情样本数据、语音情感样本数据、驾驶行为样本数据以及驾驶场景样本数据组成；
[0029]根据所述情绪识别样本数据和对应的所述标签信息构建训练数据集；
[0030]将所述训练数据集输入到预先构建的深度神经网络进行训练，得到训练好的所述情绪识别模型。
[0031]进一步地，在本专利技术的一个实施例中，所述将所述训练数据集输入到预先构建的深度神经网络进行训练，得到训练好的所述情绪识别模型这一步骤，其具体包括：
[0032]基于注意力机制对所述面部表情样本数据、所述语音情感样本数据、所述驾驶行为样本数据以及所述驾驶场景样本数据进行权重分配；
[0033]将带权重的所述面部表情样本数据、所述语音情感样本数据、所述驾驶行为样本数据以及所述驾驶场景样本数据输入到所述深度神经网络，识别得到情绪预测结果；
[0034]根据所述情绪预测结果和所述标签信息确定所述深度神经网络的损失值；
[0035]根据所述损失值通过反向传播算法更新所述深度神经网络的模型参数，并返回将
带权重的所述面部表情样本数据、所述语音情感样本数据、所述驾驶行为样本数据以及所述驾驶场景样本数据输入到所述深度神经网络这一步骤；
[0036]当所述损失值达到预设的第一阈值或迭代次数达到预设的第二阈值，停止训练，得到训练好的所述情绪识别模型。
[0037]进一步地，在本专利技术的一个实施例中，所述根据所述情绪识别结果和所述驾驶场景信息对所述目标车辆的驾驶模式进行调节这一步骤，其具体包括：
[0038]根据所述情绪识别结果和所述驾驶场景信息生成第一数组；
[0039]获取预设的驾驶模式数据池，所述驾驶模式数据池包括多个第一映射关系，所述第一映射关系为所述第一数组与对应的驾驶模式的映射关系；
[0040]根据所述第一数组和所述第一映射关系确定目标驾驶模式，并通过车身控制器控制所述目标车辆切换至所述目标驾驶模式。
[0041]第二方面，本专利技术实施例提供了一种基于情绪识别的驾驶模式调节系统，包括：
[0042]信息获取模块，用于获取驾驶员的人脸图像信息、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于情绪识别的驾驶模式调节方法，其特征在于，包括以下步骤：获取驾驶员的人脸图像信息、语音信息以及肢体动作信息，并获取目标车辆的行驶环境图像信息；根据所述人脸图像信息识别得到所述驾驶员的面部表情信息，根据所述语音信息识别得到所述驾驶员的语音情感信息，并根据所述肢体动作信息识别得到所述驾驶员的驾驶行为信息；根据所述行驶环境图像信息识别得到所述目标车辆的驾驶场景信息，并将所述面部表情信息、所述语音情感信息、所述驾驶行为信息以及所述驾驶场景信息输入到预先训练好的情绪识别模型，得到所述驾驶员的情绪识别结果；根据所述情绪识别结果和所述驾驶场景信息对所述目标车辆的驾驶模式进行调节。2.根据权利要求1所述的一种基于情绪识别的驾驶模式调节方法，其特征在于，所述获取驾驶员的人脸图像信息、语音信息以及肢体动作信息，并获取目标车辆的行驶环境图像信息这一步骤，其具体包括：通过设置在所述目标车辆内的第一摄像装置获取所述驾驶员的人脸图像信息；通过设置在所述目标车辆内的语音采集装置获取所述驾驶员的语音信息；通过所述驾驶员穿戴的姿态传感器获取所述驾驶员的肢体动作信息；通过设置在所述目标车辆外的第二摄像装置获取所述目标车辆的行驶环境图像信息。3.根据权利要求1所述的一种基于情绪识别的驾驶模式调节方法，其特征在于，所述根据所述人脸图像信息识别得到所述驾驶员的面部表情信息，根据所述语音信息识别得到所述驾驶员的语音情感信息，并根据所述肢体动作信息识别得到所述驾驶员的驾驶行为信息这一步骤，其具体包括：对所述人脸图像信息进行纹理特征提取得到面部特征信息，并将所述面部特征信息输入到预设的面部表情识别模型，得到所述面部表情信息；对所述语音信息进行声学特征提取得到声学特征信息，并将所述声学特征信息输入到预设的语音情感识别模型，得到所述语音情感信息；对所述肢体动作信息进行姿态特征提取得到姿态特征信息，并将所述姿态特征信息输入到预设的驾驶行为识别模型，得到所述驾驶行为信息。4.根据权利要求1所述的一种基于情绪识别的驾驶模式调节方法，其特征在于，所述根据所述行驶环境图像信息识别得到所述目标车辆的驾驶场景信息这一步骤，其具体包括：对所述行驶环境图像信息进行目标检测得到若干个目标对象，所述目标对象包括机动车、非机动车、行人以及红绿灯中的至少一种；根据连续多帧所述行驶环境图像信息确定所述目标对象的状态变化信息；根据所述状态变化信息确定所述目标车辆的驾驶场景信息；其中，所述驾驶场景信息包括堵车场景、变道插队场景、非机动车占道场景、行人占道场景以及闯红灯场景中的至少一种。5.根据权利要求1所述的一种基于情绪识别的驾驶模式调节方法，其特征在于，所述基于情绪识别的驾驶模式调节方法还包括预先训练所述情绪识别模型的步骤，其具体包括：获取预设的多个情绪识别样本数据，并确定各所述情绪识别样本数据的标签信息，所述情绪识别样本数据由测试人员的面部表情样本数据、语音情感样本数据、驾驶行为样本
数据以及驾驶场景样本数据组成；根据所述情...

【专利技术属性】
技术研发人员：张荣培，
申请(专利权)人：广汽本田汽车研究开发有限公司，
类型：发明
国别省市：