识别驾驶员情绪的方法、装置、设备、介质和车辆制造方法及图纸

一种识别驾驶员情绪的方法、装置、设备、介质和车辆。实现方案为：获取待识别图像序列，其中，待识别图像序列包括时间上相邻的至少两个待识别图像，每个待识别图像包括驾驶员面部；以及将待识别图像序列输入情绪识别模型，以得到情绪识别模型输出的与待识别图像序列对应的情绪状态序列，其中，情绪识别模型被预先训练以使得其输出的情绪状态序列中的第n个情绪状态基于情绪状态序列中的至少一个在先情绪状态而被预测得到，至少一个在先情绪状态在时间上比第n个情绪状态更早且包括第(n

【技术实现步骤摘要】
识别驾驶员情绪的方法、装置、设备、介质和车辆


[0001]本公开涉及人工智能
，特别地涉及一种识别驾驶员情绪的方法、装置、设备、介质和车辆。

技术介绍

[0002]情绪识别是人工智能
的一项关键技术，对情绪识别的研究对于驾驶辅助、人机交互等领域有着重要的现实意义。在驾驶辅助系统中，通过实现情绪识别，能够实时判断驾驶员当前的情绪状态，进而决定是否要对其情绪状态进行引导，乃至于对其驾驶行为进行干预，以提升驾驶过程的安全性。
[0003]在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明，否则不应假定此部分中描述的任何方法仅因其包括在此部分中就被认为是现有技术。类似地，除非另有指明，否则此部分中提及的问题不应认为在任何现有技术中已被公认。

技术实现思路

[0004]提供一种缓解、减轻或甚至消除上述问题中的一个或多个的机制将是有利的。
[0005]根据本公开的一方面，提供了一种识别驾驶员情绪的方法，包括：获取待识别图像序列，其中，待识别图像序列包括时间上相邻的至少两个待识别图像，每个待识别图像包括驾驶员面部；以及将待识别图像序列输入情绪识别模型，以得到情绪识别模型输出的与待识别图像序列对应的情绪状态序列，其中，情绪识别模型被预先训练以使得其输出的情绪状态序列中的第n个情绪状态基于情绪状态序列中的至少一个在先情绪状态而被预测得到，至少一个在先情绪状态在时间上比第n个情绪状态更早且包括第(n
‑
1)个情绪状态，其中，n为整数且1＜n≤N，N为情绪状态序列中的情绪状态的总数。
[0006]根据本公开的另一方面，提供了一种识别驾驶员情绪的装置，包括：获取模块，被配置用于获取待识别图像序列，其中，待识别图像序列包括时间上相邻的至少两个待识别图像，每个待识别图像包括驾驶员面部；以及情绪识别模块，被配置用于基于待识别图像序列，输出与待识别图像序列对应的情绪状态序列，其中，情绪识别模型被预先训练以使得其输出的情绪状态序列中的第n个情绪状态基于情绪状态序列中的至少一个在先情绪状态而被预测得到，至少一个在先情绪状态在时间上比第n个情绪状态更早且包括第(n
‑
1)个情绪状态，其中，n为整数且1＜n≤N，N为情绪状态序列中的情绪状态的总数。
[0007]根据本公开的又另一方面，提供了一种计算机设备，包括：存储器、处理器以及存储在所述存储器上的计算机程序，其中，处理器被配置为执行计算机程序以实现上述识别驾驶员情绪的方法的步骤。
[0008]根据本公开的再另一方面，提供了一种非暂态计算机可读存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现上述识别驾驶员情绪的方法的步骤。
[0009]根据本公开的再另一方面，提供了一种计算机程序产品，包括计算机程序，其中，计算机程序被处理器执行时上述识别驾驶员情绪的方法的步骤。
[0010]根据本公开的再另一方面，提供了一种车辆，包括上述识别驾驶员情绪的装置或上述计算机设备。
[0011]根据在下文中所描述的实施例，本公开的这些和其它方面将是清楚明白的，并且将参考在下文中所描述的实施例而被阐明。
附图说明
[0012]附图示例性地示出了实施例并且构成说明书的一部分，与说明书的文字描述一起用于讲解实施例的示例性实施方式。所示出的实施例仅出于例示的目的，并不限制权利要求的范围。在所有附图中，相似的附图标记指代类似但不一定相同的要素。
[0013]图1是示出根据示例性实施例的应用场景的示意图；
[0014]图2是示出根据示例性实施例的识别驾驶员情绪的方法的流程图；
[0015]图3是示出根据示例性实施例的基于情绪维度理论的情绪分类示意图；
[0016]图4是示出根据示例性实施例的隐藏马尔科夫模型的示意图；
[0017]图5是示出根据示例性实施例的条件随机场的示意图；
[0018]图6是示出根据示例性实施例的循环神经网络的示意图；
[0019]图7是示出根据示例性实施例的识别驾驶员情绪的装置的示意性框图；以及
[0020]图8是示出能够应用于示例性实施例的示例性计算机设备的框图。
具体实施方式
[0021]在本公开中，除非另有说明，否则使用术语“第一”、“第二”等来描述各种要素不意图限定这些要素的位置关系、时序关系或重要性关系，这种术语只是用于将一个元件与另一元件区分开。在一些示例中，第一要素和第二要素可以指向该要素的同一实例，而在某些情况下，基于上下文的描述，它们也可以指代不同实例。
[0022]在本公开中对各种所述示例的描述中所使用的术语只是为了描述特定示例的目的，而并非旨在进行限制。除非上下文另外明确地表明，如果不特意限定要素的数量，则该要素可以是一个也可以是多个。如本文使用的，术语“多个”意指两个或更多，并且术语“基于”应解释为“至少部分地基于”。此外，术语“和/或”以及
“……
中的至少一个”涵盖所列出的项目中的任何一个以及全部可能的组合方式。
[0023]应理解的是，本文中所用的术语“车辆”或其他类似术语通常包括机动车辆，如包括轿车、运动型多用途车辆(SUV)、大客车、大货车、各种商用车辆的乘用车辆，包括各种舟艇、船舶的船只，航空器等，并包括混合动力车辆、电动车辆、插电式混合动力电动车辆、氢动力车辆和其他替代性的燃料车辆(例如，源于除了石油之外的来源的燃料)。
[0024]如本文中所用的，短语“车辆/车载系统”是指具有信息处理能力的集成信息系统。这些系统有时称为车内信息系统，并且通常与远程信息通信服务、车载传感器、娱乐系统和/或导航系统整合为一体。
[0025]相关技术中，情绪识别方法通常只基于包括人脸的单张图像进行情绪识别，因而使用这种方法进行情绪识别时可用的信息量很少，导致其准确率较低。一种改进是在图像的基础上融合音频信息进行情绪识别。然而，例如在车辆驾驶场景中，当驾驶员独自驾驶车辆或者没有与乘客发生互动时，通过音频能够获得的有效信息十分有限，因此无法有效解
决上述问题。
[0026]本公开的实施例提供了识别驾驶员情绪的方法、装置、设备、介质和车辆。根据本公开的实施例，将时间上相邻的包括驾驶员面部的待识别图像序列输入情绪识别模型，以得到情绪识别模型输出的与待识别图像序列对应的情绪状态序列，其中，情绪识别模型被预先训练以使得情绪状态序列中的第n个情绪状态基于包括第(n
‑
1)个情绪状态在内的至少一个在线情绪状态而被预测得到。以这种方式，可以通过基于至少一个在先情绪状态来预测在后情绪状态，从而在包括驾驶员面部的待识别图像的基础上考虑了相邻时刻之间情绪状态保持不变或转变为其他多个情绪状态的可能性，进而提升了情绪识别方法的准确率。
[0027]下面结合附图具体描述本公开的示例性实施例。
[0028]图1是示出根据示例性实施例的应用场景100的示意图。该应用场景100可以包括用户102、摄像头110和车本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种识别驾驶员情绪的方法，包括：获取待识别图像序列，所述待识别图像序列包括时间上相邻的至少两个待识别图像，每个待识别图像包括驾驶员面部；以及将所述待识别图像序列输入情绪识别模型，以得到所述情绪识别模型输出的与所述待识别图像序列对应的情绪状态序列，所述情绪识别模型被预先训练以使得所述情绪状态序列中的第n个情绪状态基于所述情绪状态序列中的至少一个在先情绪状态而被预测得到，所述至少一个在先情绪状态在时间上比所述第n个情绪状态更早且包括第(n
‑
1)个情绪状态，其中，n为整数且1＜n≤N，N为所述情绪状态序列中的情绪状态的总数。2.如权利要求1所述的方法，其中，所述情绪识别模型包括特征提取子模型和状态识别子模型，其中，所述将所述待识别图像序列输入情绪识别模型，以得到所述情绪识别模型输出的与所述待识别图像序列对应的情绪状态序列包括：将所述待识别图像序列依次输入所述特征提取子模型，以得到所述特征提取子模型依次输出的至少两个待识别图像特征，其中，所述至少两个待识别图像特征与所述至少两个待识别图像一一对应；以及将所述至少两个待识别图像特征输入所述状态识别子模型，以得到所述状态识别子模型输出的所述情绪状态序列。3.如权利要求1所述的方法，其中，所述获取待识别图像序列包括：获取原始图像序列；以及对所述原始图像序列进行预处理，以得到所述待识别图像序列。4.如权利要求3所述的方法，其中，所述预处理包括：对所述原始图像序列中的每一个原始图像执行操作，所述操作包括从旋转、裁剪、拉伸、变形、缩放、增强和向量化所组成的组中选择的至少一项。5.如权利要求3所述的方法，其中，所述预处理包括：从所述原始图像序列中选取至少两个原始图像，作为所述至少两个待识别图像。6.如权利要求1至5中任一项所述的方法，其中，所述情绪状态序列中的情绪状态与所述待识别图像序列中的所述至少两个待识别图像一一对应。7.如权利要求1至5中任一项所述的方法，其中，所述情绪状态序列中的每一个情绪状态包括从以下各项所组成的组中选择的一项：疲劳、愉悦、愤怒、紧张、恐惧、悲伤和中性。8.如权利要求1至5中...

【专利技术属性】
技术研发人员：雷文辉，徐映，张希勰，张鸣暄，赖胜，
申请(专利权)人：宝马股份公司，
类型：发明
国别省市：