本申请实施例涉及智能交通技术领域，特别涉及一种面向情绪识别的驾驶员状态检测方法及系统，该方法包括以下步骤：首先，采集驾驶员的环境状态信息；然后，基于环境状态信息，得到驾驶员状态；驾驶员状态包括情绪状态、分心状态以及疲劳状态；最后，设定驾驶员风险等级，根据驾驶员状态评估风险等级，并根据评估的风险等级进行风险响应。本申请通过多种传感器和人工智能技术，融合驾驶员的语义情绪和面部情绪状态，心率和呼吸状态、疲劳状态和其它分心驾驶状态，从而得出驾驶员行为，对其行为进行安全等级打分，对不同分数的行为给予不同的响应，以提高驾驶安全性。
【技术实现步骤摘要】
本申请实施例涉及智能交通，特别涉及一种面向情绪识别的驾驶员状态检测方法及系统。
技术介绍
1、在现代社会，交通安全一直是一个备受关注的问题。每年都有大量的交通事故，其中很多是由驾驶员的状态不佳引起的，如疲劳驾驶、酒后驾驶和分散注意力驾驶。驾驶也是一项复杂的任务，驾驶员的情感状态对安全性和效率有着重大影响。例如，愉快的情感可能会使驾驶员更加警觉，而沮丧或愤怒的情感可能导致决策不当和危险驾驶行为。
2、目前，对驾驶员的状态检测多为基于视觉传感器的疲劳状态检测，或者是通过毫米波雷达的非接触式传感器和直接接触的传感器来检测驾驶员的心跳等健康检测。然而，单一的传感器检测驾驶员状态，存在检测特征点少，数据不准确等问题；接触式的传感器，会存在佩戴不舒服，从而导致分心驾驶等问题。
技术实现思路
1、本申请实施例提供一种面向情绪识别的驾驶员状态检测方法及系统，通过多种传感器和人工智能技术，融合驾驶员的语义情绪和面部情绪状态，心率和呼吸状态、疲劳状态和其它分心驾驶状态，从而得出驾驶员行为，对其行为进行安全等级打分，对不同分数的行为给予不同的响应，以提高驾驶安全性。
2、为解决上述技术问题，第一方面，本申请实施例提供一种面向情绪识别的驾驶员状态检测方法，包括以下步骤：首先，采集驾驶员的环境状态信息；然后，基于环境状态信息，得到驾驶员状态；驾驶员状态包括情绪状态、分心状态以及疲劳状态；最后，设定驾驶员风险等级，根据驾驶员状态评估风险等级，并根据评估的风险等级进行风险响应。
<
p>3、在一些示例性实施例中，环境状态信息通过传感器采集获取；传感器包括多个相机、毫米波雷达和语音输入模块；环境状态信息包括相机图片、心跳频率曲线、呼吸频率以及语音信息。4、在一些示例性实施例中，基于环境状态信息，得到驾驶员的情绪状态，包括：从相机图片中提取面部表情特征；从心跳频率曲线中提取心率特征；从呼吸频率中提取呼吸频率特征；从语音信息中提取声音特征；将面部表情特征、心率特征、呼吸频率特征和声音特征进行特征融合，得到驾驶员的情绪状态。
5、在一些示例性实施例中，面部表情特征的提取是通过以相机拍摄的驾驶员面部图片作为输入，经过机器学习方式提取面部表情获取；声音特征的提取是通过对语音模块输入的声音信息进行处理，通过机器学习方式提取声音特征获取；呼吸频率特征、所述心率特征的提取是通过分别提取呼吸频率曲线和心跳频率曲线的特征，来分别代表呼吸频率特征和心率特征。
6、在一些示例性实施例中，将面部表情特征、心率特征、呼吸频率特征和声音特征进行特征融合，得到驾驶员的情绪状态，包括：使用长短期记忆层将面部表情特征和声音特征进行特征融合，得到表情声音融合特征；将心率特征和呼吸频率特征进行特征融合，得到情绪特征；将情绪特征进行特征分类后，使用全连接层将分类后的情绪特征与表情声音融合特征进行融合，并与驾驶员情感进行映射，得到驾驶员的情绪状态。
7、在一些示例性实施例中，情绪状态包括一级情绪、二级情绪和三级情绪；一级情绪为利于驾驶的情绪，包括：中性、快乐；二级情绪为在监督下可以正常驾驶的情绪，包括：惊讶、厌恶；三级情绪为不利于驾驶、容易失控的情绪，包括：悲伤、愤怒、恐惧。
8、在一些示例性实施例中，基于环境状态信息，得到驾驶员的分心状态，包括：基于环境状态信息，并采用人体姿态估计算法，识别出驾驶员身体部位的相关特征点并进行标注，并根据声音检测，识别驾驶员的分心驾驶动作；分心驾驶动作包括：抽烟、打电话、喝水动作。
9、在一些示例性实施例中，基于环境状态信息，得到驾驶员的疲劳状态；基于环境状态信息，通过人脸关键点检测，并结合心率和呼吸频率检测，识别驾驶员的疲劳驾驶动作；人脸关键点检测包括眨眼检测和打哈欠检测。
10、在一些示例性实施例中，设定驾驶员风险等级，根据驾驶员状态评估风险等级，并根据评估的风险等级进行风险响应，包括：根据驾驶员的情绪状态、分心状态以及疲劳状态，将驾驶员状态存在的驾驶风险分为三个等级，分别为：轻等风险、中等风险、高等风险；其中，驾驶风险的等级与情绪状态的等级相对应；情绪状态包括三个等级，分别为：一级、二级和三级；一级为利于驾驶的情绪，包括：中性、快乐；二级为在监督下可以正常驾驶的情绪，包括：惊讶、厌恶；三级为不利于驾驶、容易失控的情绪，包括：悲伤、愤怒、恐惧；高等风险与情绪状态的三级相对应，表明驾驶员存在分心驾驶和重度疲劳驾驶；中等风险与情绪状态的二级相对应，表明驾驶员存在轻度疲劳驾驶和分心驾驶；低等风险与情绪状态的一级相对应，表明驾驶员存在轻度疲劳驾驶或存在分心驾驶。
11、第二方面，本申请实施例还提供了一种面向情绪识别的驾驶员状态检测系统，包括：采集装置、驾驶员状态检测装置、风险等级划分装置和风险响应装置；采集装置包括相机、毫米波雷达和语音输入模块；驾驶员状态检测装置的输入端与采集装置的输出端连接；所述驾驶员状态检测装置包括疲劳检测单元、分心检测单元和情绪检测单元；风险等级划分装置的输入端与驾驶员状态检测装置的输出端连接；风险响应装置的输入端与风险等级划分装置的输出端连接。
12、本申请实施例提供的技术方案至少具有以下优点：
13、本申请实施例提供一种面向情绪识别的驾驶员状态检测方法及系统，该方法包括以下步骤：首先，采集驾驶员的环境状态信息；然后，基于环境状态信息，得到驾驶员状态；驾驶员状态包括情绪状态、分心状态以及疲劳状态；最后，设定驾驶员风险等级，根据驾驶员状态评估风险等级，并根据评估的风险等级进行风险响应。
14、本申请实施例主要解决的问题是驾驶员在行驶过程中，驾驶决策容易受到多种因素(如：情感状态、健康状态、疲劳程度、个人因素)影响的技术问题。本申请通过融合情感的驾驶员状态检测装置进行驾驶员状态检测，并通过多种传感器和人工智能技术，融合驾驶员的语义情绪和面部情绪状态，心率和呼吸状态、疲劳状态和其它分心驾驶状态，从而得出驾驶员状态(驾驶员行为)，对其行为进行风险等级评估，对不同等级的风险行为给予不同的响应，以提高驾驶安全性。
本文档来自技高网...
【技术保护点】
1.一种面向情绪识别的驾驶员状态检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的面向情绪识别的驾驶员状态检测方法，其特征在于，所述环境状态信息通过传感器采集获取；
3.根据权利要求1所述的面向情绪识别的驾驶员状态检测方法，其特征在于，基于所述环境状态信息，得到驾驶员的情绪状态，包括：
4.根据权利要求3所述的面向情绪识别的驾驶员状态检测方法，其特征在于，所述面部表情特征的提取是通过以相机拍摄的驾驶员面部图片作为输入，经过机器学习方式提取面部表情获取；
5.根据权利要求3所述的面向情绪识别的驾驶员状态检测方法，其特征在于，将所述面部表情特征、所述心率特征、呼吸频率特征和所述声音特征进行特征融合，得到驾驶员的情绪状态，包括：
6.根据权利要求5所述的面向情绪识别的驾驶员状态检测方法，其特征在于，所述情绪状态包括一级情绪、二级情绪和三级情绪；一级情绪为利于驾驶的情绪，包括：中性、快乐；二级情绪为在监督下可以正常驾驶的情绪，包括：惊讶、厌恶；三级情绪为不利于驾驶、容易失控的情绪，包括：悲伤、愤怒、恐惧。
>7.根据权利要求1所述的面向情绪识别的驾驶员状态检测方法，其特征在于，基于所述环境状态信息，得到驾驶员的分心状态，包括：8.根据权利要求1所述的面向情绪识别的驾驶员状态检测方法，其特征在于，基于所述环境状态信息，得到驾驶员的疲劳状态；
9.根据权利要求1所述的面向情绪识别的驾驶员状态检测方法，其特征在于，设定驾驶员风险等级，根据所述驾驶员状态评估风险等级，并根据评估的风险等级进行风险响应，包括：
10.一种面向情绪识别的驾驶员状态检测系统，其特征在于，包括：
...
【技术特征摘要】
1.一种面向情绪识别的驾驶员状态检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的面向情绪识别的驾驶员状态检测方法，其特征在于，所述环境状态信息通过传感器采集获取；
3.根据权利要求1所述的面向情绪识别的驾驶员状态检测方法，其特征在于，基于所述环境状态信息，得到驾驶员的情绪状态，包括：
4.根据权利要求3所述的面向情绪识别的驾驶员状态检测方法，其特征在于，所述面部表情特征的提取是通过以相机拍摄的驾驶员面部图片作为输入，经过机器学习方式提取面部表情获取；
5.根据权利要求3所述的面向情绪识别的驾驶员状态检测方法，其特征在于，将所述面部表情特征、所述心率特征、呼吸频率特征和所述声音特征进行特征融合，得到驾驶员的情绪状态，包括：
6.根据权利要求5所述的面向情绪识别的驾驶员...
【专利技术属性】
技术研发人员：徐坤，沈启广，潘仲鸣，李慧云，
申请(专利权)人：深圳先进技术研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。