驾驶危险情绪提醒方法、终端设备及存储介质技术

本发明专利技术公开一种驾驶危险情绪提醒方法，包括如下步骤，S1：获取训练样本集，S2：微表情图像预处理，S3：采用改进的卷积神经网络对微表情训练样本集中的预处理后的微表情图像进行训练，S4：微表情图像识别：实时采集驾驶员人脸视频序列，将其中的微表情图像输入训练好的改进的卷积神经网络，获取网络输出，得到微表情图像所属微表情类别，S5：判断S4中微表情图像所属微表情类别是否为驾驶危险情绪所对应的微表情，若是，则进入S6步骤；若不是，则进入S7步骤；S6：对驾驶员进行语音提示当前微表情所对应的情绪，并提示该情绪的驾驶危险性，提示驾驶员调整情绪，平稳驾车；S7：不提醒。

Driving Hazardous Emotion Reminder Method, Terminal Equipment and Storage Medium

The invention discloses a driving dangerous mood warning method, which includes the following steps: S1: acquiring training sample set, S2: microfacial image preprocessing, S3: using improved convolutional neural network to train microfacial image preprocessed in microfacial expression training sample set, S4: microfacial image recognition: real-time acquisition of driver's face video sequence, and microfacial image among them. Like an improved convolutional neural network trained by input, the output of the network is obtained, and the micro-expression category of the micro-expression image is obtained. S5: To judge whether the micro-expression category of the micro-expression image in S4 belongs to the micro-expression corresponding to driving dangerous emotion, if so, step S6; if not, step S7; S6: To give voice prompt to the driver about the corresponding emotion of the current micro-expression. It also indicates the driving danger of the mood, prompts the driver to adjust his mood and drive smoothly; S7: No warning.

【技术实现步骤摘要】
驾驶危险情绪提醒方法、终端设备及存储介质
本专利技术涉及汽车安全驾驶
，具体是一种驾驶危险情绪提醒方法、终端设备及存储介质。
技术介绍
汽车驾驶时，驾驶员的情绪会造成不同的驾驶行为，不稳定的情绪(如愤怒)会导致危险的驾驶行为，进而会增加交通事故的发生概率。为了使驾驶员保持理智，安全的行驶，对情绪的控制变得尤为重要。如果能在驾驶过程中识别出驾驶员的情绪，在产生危险情绪的时候及时对驾驶员进行提醒，对于驾驶安全是意义重大的。目前，关于驾驶情绪的识别主要集中于路怒一种情绪的识别，然而除了愤怒，其它诸如恐惧，兴奋，悲伤，困倦等等情绪同样会分散驾驶员的注意力，影响正常驾驶，都可称为驾驶危险情绪。情绪识别方面大都基于脑电波进行情绪分析，这种脑电波采集不够方便，对情绪的识别也不够准确。表情识别情绪基本都是基于六种基本静态表情，这六种表情无法诠释驾驶员的复杂情绪。相对于基本表情，微表情更能表现驾驶员的情绪变化。微表情的动态特征较为明显，持续时间为1/25到1/5秒，经常是一闪而过，容易被错过，普通表情一般是静态表情特征，无法准确表达驾驶员的想法，如强颜欢笑，虽然是笑，但驾驶员不一定是开心的。相对而言，微表情可以支配人类大脑的情绪反应，微表情的特征更多来源于视频序列的变化，相对于普通表情分类更细微，更能突出人的情绪特点。
技术实现思路
为了解决上述问题，本专利技术提供一种驾驶危险情绪提醒方法、终端设备及存储介质，采用一种动态视频序列识别微表情进而识别驾驶危险情绪的方法，只需通过获取驾驶员人脸视频序列进行识别，数据获取方便。针对普通表情展现情绪不够准确的弱点，以驾驶员的动态微表情作为特征来识别，更精准的捕捉驾驶员的真实情绪。且针对驾驶过程中有可能诱发危险驾驶行为的多种情绪提取相应微表情，考虑了多种微表情对驾驶行为的影响，而不只限于路怒情绪，提供了多种危险情绪的提醒方法，方法上提出改进深度学习中的卷积神经网络对驾驶情绪进行识别，对微表情视频序列采集彩色图像，分RGB三个通道进行输入，且针对动态微表情视频序列不明显的差异性，改进卷积、下采样过程，提出使用复合卷积来提取更多特征，使用dropout减少训练权值，从而获得较好的识别效果和效率。本专利技术一种驾驶危险情绪提醒方法，包括如下步骤：S1：获取训练样本集：采集驾驶员人脸视频系列，提取对应驾驶情绪类别的微表情图像序列，并注明相应微表情图像序列的类别标签，作为微表情训练样本集，进入S2步骤；S2：微表情图像预处理：将微表情图像序列中的微表情图像进行RGB三个通道分解，并增加图像的清晰度和对比度，再将各通道的灰度值[0，255]归一化到[0，1]之间，进入S3步骤；S3：改进的卷积神经网络训练：采用改进的卷积神经网络对微表情训练样本集中的预处理后的微表情图像进行训练，进入S4步骤；S4：微表情图像识别：S41：实时采集驾驶员人脸视频序列；S42：按照S2步骤对S41中采集的人脸视频序列微表情图像进行微表情图像预处理操作；S43：将S42步骤中预处理后的微表情图像输入训练好的改进的卷积神经网络，获取网络输出，得到微表情图像序列所属微表情类别，进入S5步骤；S5：判断是否为驾驶危险情绪所对应的微表情：判断S4中微表情图像序列所属微表情类别是否为驾驶危险情绪所对应的微表情，若是，则进入S6步骤；若不是，则进入S7步骤；S6：提醒驾驶员调整危险情绪：对驾驶员进行语音提示当前微表情所对应的情绪，并提示该情绪的驾驶危险性，提示驾驶员调整情绪，平稳驾车；S7：不提醒。进一步的，S1中，驾驶情绪类别包括愤怒、困倦、恐惧、兴奋、紧张、抑郁、悲伤和其他，其中愤怒、困倦、恐惧、兴奋、紧张、抑郁和悲伤为驾驶危险情绪。进一步的，S2中，将各通道的灰度值[0，255]归一化到[0，1]之间的归一化函数为：ui＝(xi-xmin)/(xmax-xmin)，其中xmin、xmax分别为每个通道灰度值中的最小值和最大值，xi为需要归一化的灰度值，ui为归一化后的值。进一步的，S3中，采用改进的卷积神经网络对微表情训练样本集中的预处理后的微表情图像进行训练，具体为：S31：网络初始化：对改进的卷积神经网络的网络结构和参数进行初始化，包括设置网络层数、每层神经元数量，设定网络学习率、最大迭代次数、允许误差条件、隐层采用的激活函数和输出层采用的激活函数；S32：样本输入：将预处理后的微表情图像按顺序依次输入改进的卷积神经网络；S33：卷积：改进的卷积神经网络对输入的微表情图像的像素点进行多个卷积核各自卷积后再求均值的方式进行复合卷积；S34：池化：池化过程(即下采样过程)采用比例下采样的方式，首先将待采样值从大到小排列，再丢弃排在后面的一定比例的待采样值，对剩下的待采样值进行均值采样；S35：全连接：经过卷积、池化的图像再经过全连接层，全连接层随机放弃部分神经元，用于加快训练速度，并减少网络过拟合；S36：输出：采用输出层的激活函数计算输出层的输出，并定义代价函数，用于根据输出计算输出层的误差；S37：通过代价函数进行网络反向传播，即通过依次对代价函数求导，更新网络各层的权值和偏置；S38：循环执行S32至S37步骤进行迭代训练，直到训练结果满足要求。更进一步的，S31中，隐层采用的激活函数为RELU函数，输出层采用的激活函数为softmax函数。更进一步的，S34中，丢弃的待采样值占全部待采样值的50％的比例。更进一步的，S35中，全连接层随机放弃的神经元占全连接层全部神经元的50％。本专利技术一种驾驶危险情绪提醒终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现驾驶危险情绪提醒方法的步骤。本专利技术一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现驾驶危险情绪提醒的步骤。本专利技术的有益效果：本专利技术通过采用卷积神经网络对微表情视频序列中提取的微表情图像进行卷积、下采样，能够识别出驾驶员的真实的实时情绪状态，并对多种危险驾驶情绪进行提醒，可以使驾驶过程更安全的进行，减少事故发生概率。方法上提出改进深度学习中的卷积神经网络对驾驶情绪进行识别，改进卷积、下采样过程，提出使用复合卷积来提取更多特征，使用dropout减少训练权值，从而获取更准确的情绪特征，且提高训练识别效率，满足实时提醒要求。附图说明图1为本专利技术实施例一的方法流程图；图2为本专利技术实施例一的现有的卷积神经网络原理图；图3为本专利技术实施例一的改进的卷积神经网络中卷积和池化过程示意图；图4A为本专利技术实施例一的全连接层中未放弃神经元时的神经元示意图；图4B为本专利技术实施例一的全连接层中随机放弃神经元后的神经元示意图；图5为本专利技术实施例一的采用RGB三个通道分解后的微表情图像系列输入卷积神经网络进行处理的过程示意图。具体实施方式为进一步说明各实施例，本专利技术提供有附图。这些附图为本专利技术揭露内容的一部分，其主要用以说明实施例，并可配合说明书的相关描述来解释实施例的运作原理。配合参考这些内容，本领域普通技术人员应能理解其他可能的实施方式以及本专利技术的优点。图中的组件并未按比例绘制，而类似的组件符号通常用来表示类似的组件。现结合附图和具体实施方式对本专利技术进一步说明。实施例一本文档来自技高网...

【技术保护点】
1.一种驾驶危险情绪提醒方法，其特征在于：包括如下步骤：S1：获取训练样本集：采集驾驶员人脸视频序列，提取对应驾驶情绪类别的微表情图像序列，并注明相应微表情图像序列的类别标签，作为微表情训练样本集，进入S2步骤；S2：微表情图像预处理：将微表情图像序列中的微表情图像进行RGB三个通道分解，并增加图像的清晰度和对比度，再将各通道的灰度值[0,255]归一化到[0,1]之间，进入S3步骤；S3：改进的卷积神经网络训练：采用改进的卷积神经网络对微表情训练样本集中的预处理后的微表情图像进行训练，进入S4步骤；S4：微表情图像识别：S41：实时采集驾驶员人脸视频序列；S42：按照S2步骤对S41中采集的人脸视频序列微表情图像进行微表情图像预处理操作；S43：将S42步骤中预处理后的微表情图像输入训练好的改进的卷积神经网络，获取网络输出，得到微表情图像序列所属微表情类别，进入S5步骤；S5：判断是否为驾驶危险情绪所对应的微表情：判断S4中微表情图像序列所属微表情类别是否为驾驶危险情绪所对应的微表情，若是，则进入S6步骤；若不是，则进入S7步骤；S6：提醒驾驶员调整危险情绪：对驾驶员进行语音提示当前微表情所对应的情绪，并提示该情绪的驾驶危险性，提示驾驶员调整情绪，平稳驾车；S7：不提醒。...

【技术特征摘要】
1.一种驾驶危险情绪提醒方法，其特征在于：包括如下步骤：S1：获取训练样本集：采集驾驶员人脸视频序列，提取对应驾驶情绪类别的微表情图像序列，并注明相应微表情图像序列的类别标签，作为微表情训练样本集，进入S2步骤；S2：微表情图像预处理：将微表情图像序列中的微表情图像进行RGB三个通道分解，并增加图像的清晰度和对比度，再将各通道的灰度值[0,255]归一化到[0,1]之间，进入S3步骤；S3：改进的卷积神经网络训练：采用改进的卷积神经网络对微表情训练样本集中的预处理后的微表情图像进行训练，进入S4步骤；S4：微表情图像识别：S41：实时采集驾驶员人脸视频序列；S42：按照S2步骤对S41中采集的人脸视频序列微表情图像进行微表情图像预处理操作；S43：将S42步骤中预处理后的微表情图像输入训练好的改进的卷积神经网络，获取网络输出，得到微表情图像序列所属微表情类别，进入S5步骤；S5：判断是否为驾驶危险情绪所对应的微表情：判断S4中微表情图像序列所属微表情类别是否为驾驶危险情绪所对应的微表情，若是，则进入S6步骤；若不是，则进入S7步骤；S6：提醒驾驶员调整危险情绪：对驾驶员进行语音提示当前微表情所对应的情绪，并提示该情绪的驾驶危险性，提示驾驶员调整情绪，平稳驾车；S7：不提醒。2.如权利要求1所述的驾驶危险情绪提醒方法，其特征在于：S1中，驾驶情绪类别包括愤怒、困倦、恐惧、兴奋、紧张、抑郁、悲伤和其他，其中愤怒、困倦、恐惧、兴奋、紧张、抑郁和悲伤为驾驶危险情绪。3.如权利要求1所述的驾驶危险情绪提醒方法，其特征在于：S2中，将各通道的灰度值[0,255]归一化到[0,1]之间的归一化函数为：ui＝(xi-xmin)/(xmax-xmin)，其中xmin、xmax分别为每个通道灰度值中的最小值和最大值，xi为需要归一化的灰度值，ui为归一化后的值。4.如权利要求1所述的驾驶危险情绪提醒方法，其特征在于：S3中，采用改进的卷积神经网络对微...

【专利技术属性】
技术研发人员：梁颖，吴晓前，洪志新，郭淑文，
申请(专利权)人：厦门雅迅网络股份有限公司，
类型：发明
国别省市：福建,35