一种基于白鲸优化算法和迁移学习的驾驶员表情识别方法技术

本发明专利技术公开了一种基于白鲸优化算法和迁移学习的驾驶员表情识别方法，包括获取驾驶员表情数据集；对驾驶员表情数据集进行图像预处理；构建驾驶员表情识别模型；进行表情识别模型的预训练；对超参数优化后的驾驶员表情识别网络进行微调；其中，利用白鲸优化算法优化表情识别模型的超参数

【技术实现步骤摘要】
一种基于白鲸优化算法和迁移学习的驾驶员表情识别方法


[0001]本专利技术涉及一种驾驶员表情识别方法，具体为一种基于白鲸优化算法和迁移学习的驾驶员表情识别方法，属于汽车智慧座舱驾驶员表情识别的深度学习

。

技术介绍

[0002]面部表情是人类情感的重要表达形式，也是进行人机交互的桥梁之一
。
近年来，随着计算机视觉技术的飞速发展和汽车智慧座舱的普及，将人脸表情识别应用于智能驾驶有着巨大潜力
。
汽车智慧座舱的驾驶员面部表情识别系统可以观察驾驶员的负面情绪，及时发出提醒，并自动规划行程和调整速度，达到安全
、
智能驾驶的目的
。
[0003]现有技术中，如公开号为
CN114005154A
所公开的一种基于
ViT
和
StarGAN
的驾驶员表情识别方法，该方法基于面部图像的非接触式驾驶员情绪识别方法，通过基于
haar
特性的人脸定位和裁剪使得驾驶员面部图像尺寸减小
、
特征增强，然后采用一种新的数据增强策略用于生成驾驶员面部表情图像，即搭建并训练
StarGAN
网络获得一个驾驶员面部表情扩充数据集；构建了一个基于多头自注意力机制的
ViT
表情识别网络，该方法一方面能够使得网络训练的注意力逐渐集中在重要的表情特征上，另一方面能够更多地关注表情图像的长距离信息；同时，缓解了数据集数据不足的问题，达到了更高的识别准确率，现有的深度学习网络为面部表情识别奠定了良好的基础，能够在一定程度上应用于部分场合
。
但针对汽车智能驾驶等场景，网络性能关乎人员生命安全，表情识别模型的准确率仍需进一步提高
。
深度学习模型超参数
(
学习率
、
衰减速率
、
正则项系数等参数
)
的设置对模型的性能有着深刻的影响，不恰当的超参数设置会使模型训练出现一系列问题，如学习速度慢
、
容易陷入局部最优解
、
手工设置经验值费时等
。

技术实现思路

[0004]本专利技术的目的就在于为了解决上述至少一个技术问题而提供一种基于白鲸优化算法和迁移学习的驾驶员表情识别方法，利用白鲸优化算法优化驾驶员表情识别网络的超参数，能够在较短得到适合驾驶员表情识别的超参数取值，进而提高驾驶员表情识别的准确率，为实现安全
、
智能驾驶保驾护航
。
[0005]本专利技术通过以下技术方案来实现上述目的：一种基于白鲸优化算法和迁移学习的驾驶员表情识别方法，包括如下步骤：
[0006]S1
：获取驾驶员表情数据集；
[0007]S2
：对驾驶员表情数据集进行图像预处理和数据增强，得到处理后的驾驶员表情图像数据；
[0008]S3
：构建基于多尺度卷积神经网络的驾驶员表情识别网络；
[0009]S4
：利用数据集1进行表情识别模型的预训练；
[0010]S5
：利用
BWO
算法优化驾驶员表情识别网络的超参数，并在数据集2上进行模型微调
。
[0011]作为本专利技术再进一步的方案：步骤
S1
中，获取的驾驶员表情数据集包括一个自然场景下的人脸表情数据集和一个自制的小型驾驶员表情数据集
。
[0012]作为本专利技术再进一步的方案：步骤
S2
中，表情数据集图像预处理和数据增强的步骤为：
[0013]S31
：对数据集中的暗光图像进行直方图均衡化；
[0014]S32
：将数据集中的驾驶员表情数据进行归一化处理；
[0015]S33
：对数据集中的图像进行随机翻转和裁剪操作，扩充数据集
。
[0016]作为本专利技术再进一步的方案：步骤
S3
中，基于多尺度卷积神经网络的驾驶员表情识别网络主要包括：传统卷积模块
、
多尺度残差注意力模块
、
最大池化层
、
全局平均池化层
、Dropout
层和
Softmax
层
。
[0017]作为本专利技术再进一步的方案：多尺度残差注意力模块包含3个残差注意力单元，每个单元工作原理如下：
[0018]首先，将输入的特征图通过1×1卷积调整通道数，经过
CBAM
注意力机制，输出带有通道和空间维度注意力权重的特征图，再与特征提取支路的输出特征图进行对应元素相加，经过多尺度残差注意力单元得到的特征图
F'
可表示为：
[0019]F1＝
ReLU(conv(F,k1×1)+b1)
[0020]F2＝
ReLU(Dw(ReLU(conv(F,k1×1)+b2),k3×3))
[0021]F3＝
ReLU(Dw(ReLU(Dw(ReLU(conv(F,k1×1)+b3),k3×3)),k3×3))
[0022]F4＝
ReLU(conv(MaxPool(F,k3×3),k1×1)+b4)
[0023]F5＝
CBAM(ReLU(conv(F,k1×1)+b5))
[0024]F
′
＝
Add(Concat(F1,F2,F3,F4),F5)
[0025]其中，
F1、F2、F3、F4和
F5分别是经过五条支路后得到的特征图；
k
i
×
i
为
i
×
i
大小的卷积核；
b
i
为偏置
。
[0026]作为本专利技术再进一步的方案：步骤
S4
中，模型预训练过程中设置的网络参数分别为：
[0027]batch size
设置为
32
，激活函数为
ReLu
函数，选择随机梯度下降
(SGD)
的优化方法，采用交叉熵损失函数，训练总轮数为
300
次，学习率从第
80
轮开始每
10
轮进行一次衰减，学习率
a
计算公式如下：
[0028][0029]式中，
a0为初始学习率；
β
为衰减指数；
n
为当前训练轮数；
N
为开始衰减轮数；
c
为衰减间隔；取
a0＝
0.01
，
β
＝
0.85
，
N
＝
80
，
c
＝
10。
[0030]作为本专利技术再进一步的方案：步骤...

【技术保护点】

【技术特征摘要】
1.
一种基于白鲸优化算法和迁移学习的驾驶员表情识别方法，其特征在于：所述驾驶员表情识别方法包括如下步骤：
S1
：获取驾驶员表情数据集；
S2
：对驾驶员表情数据集进行图像预处理和数据增强，得到处理后的驾驶员表情图像数据；
S3
：构建基于多尺度卷积神经网络的驾驶员表情识别网络；
S4
：利用数据集1进行表情识别模型的预训练；
S5
：利用
BWO
算法优化驾驶员表情识别网络的超参数，并在数据集2上进行模型微调
。2.
根据权利要求1所述的驾驶员表情识别方法，其特征在于：所述步骤
S1
中，获取的驾驶员表情数据集包括一个自然场景下的人脸表情数据集和一个自制的小型驾驶员表情数据集
。3.
根据权利要求1所述的驾驶员表情识别方法，其特征在于：所述步骤
S2
中，表情数据集图像预处理和数据增强的步骤为：
S31
：对数据集中的暗光图像进行直方图均衡化；
S32
：将数据集中的驾驶员表情数据进行归一化处理；
S33
：对数据集中的图像进行随机翻转和裁剪操作，扩充数据集
。4.
根据权利要求1所述的驾驶员表情识别方法，其特征在于：所述步骤
S3
中，基于多尺度卷积神经网络的驾驶员表情识别网络主要包括：传统卷积模块
、
多尺度残差注意力模块
、
最大池化层
、
全局平均池化层
、Dropout
层和
Softmax
层
。5.
根据权利要求4所述的驾驶员表情识别方法，其特征在于：所述多尺度残差注意力模块包含3个残差注意力单元，每个单元工作原理如下：首先，将输入的特征图通过1×1卷积调整通道数，经过
CBAM
注意力机制，输出带有通道和空间维度注意力权重的特征图，再与特征提取支路的输出特征图进行对应元素相加，经过多尺度残差注意力单元得到的特征图
F'
可表示为：
F1＝
ReLU(conv(F,k1×1)+b1)F2＝
ReLU(Dw(ReLU(conv(F,k1×1)+b2),k3×3))F3＝
ReLU(Dw(ReLU(Dw(ReLU(conv(F,k1×1)+b3),k3×3)),k3×3))F4＝
ReLU(conv(MaxPool(F,k3×3),k1×1)+b4)F5＝
CBAM(ReLU(conv(F,k1×1)+b5))F
′
＝
Add(Concat(F1,F2,F3,F4),F5)
其中，
F1、F2、F3、F4和
F5分别是经过五条支路后得到的特征图；
k
i
×
i
为
i
×
i
大小的卷积核；
b
i
为偏置
。6.
根据权利要求1所述的驾驶员表情识别方法，其特征在于：所述步骤
S4
中，模型预训练过程中设置的网络参数分别为：
batch size
设置为
32
，激活函数为
ReLu
函数，选择随机梯度下降的优化方法，采用交叉熵损失函数，训练总轮数为
300
次，学习率从第
80
轮开始每
10
轮进行一次衰减，学习率
a
计算公式如下：
式中，
a0为初始学习率；
β
为衰减指数；
n
为当前训练轮数；
N
为开始衰减轮数；
c
为衰减间隔；取
...

【专利技术属性】
技术研发人员：刘新华，祁鹏，郝敬宾，华德正，刘争光，刘晓帆，路和，刘浩，周皓，王晴晴，
申请(专利权)人：中国矿业大学，
类型：发明
国别省市：