一种基于胶囊网络和数据修复的面部表情识别方法技术

本发明专利技术涉及一种基于胶囊网络和数据修复的面部表情识别方法，包括以下步骤：获取面部数据，将面部数据输入训练好的识别模型，得到识别结果，其中，识别模型的训练过程为：获取面部训练数据集，对面部训练数据集中的图像进行预处理和校准，将图像输入ResNet18胶囊网络，得到图像的特征向量，ResNet18胶囊网络包括第一卷积块Conv1_x、第二卷积块Conv2_x、第三卷积块Conv3_x和8D胶囊卷积层；将特征向量输入数据自修复模块，进行数据修复，数据自修复模块包括自注意力重要性加权模块、秩正则化模块和标签修复模块。与现有技术相比，本发明专利技术具有对模糊数据的准确识别等优点。对模糊数据的准确识别等优点。对模糊数据的准确识别等优点。

【技术实现步骤摘要】
一种基于胶囊网络和数据修复的面部表情识别方法


[0001]本专利技术涉及面部表情识别，尤其是涉及一种基于胶囊网络和数据修复的面部表情识别方法。

技术介绍

[0002]船员心理问题是船员管理的常见问题。船员如果出现心理问题会导致工作中情绪暴躁、身体失调、决策失误，严重影响业务和技能的发挥，对工作质量产生严重影响，甚至造成恶劣后果。在航行过程中，船员的心理问题得不到及时疏导和排解，长期必然会引起心理疾病，从而影响船员的工作，破坏船舶的正常运行，甚至引发船舶事故。
[0003]由于人工智能的发展，特别是面部表情识别技术的发展，越来越多的船舶公司采用面部表情识别(FER)技术来监控船员的心理状态。传统的FER方法采用人工特征提取方法，不仅无法提取深层特征且计算代价大。随着大规模FER数据库的建立，计算机性能的提高，基于深度学习的FER技术近几年有了长足的发展，但是仍然有很多问题需要解决。其主要有以下两点：其一，传统CNN特征识别能力有限，对面部结构之间的相对位置关系、特征方向不敏感，不能很好地捕捉面部重点情感表达的特征区域。其二，基于自然场景下的FER数据集中存在较多“模糊现象”，特别是在船舶的数据中，由于海浪和海风的存在，船舶在海洋中的行驶不够平稳以及船员头部姿势的变化，所以很多船舶上的船员面部图像数据存在“模糊现象”，如图像分辨率低、非正面姿态、遮挡或表情二义性造成标注错误等，导致FER模型识别效果差。

技术实现思路

[0004]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供的一种基于胶囊网络和数据修复的面部表情识别方法，使用改进的胶囊网络获取图像的特征向量，并基于数据自修复模块对特征向量进行数据修复，学习数据的自重要性权重并进行分类，修复低重要性权重样本中标注错误的样本，实现对模糊数据的准确识别。
[0005]本专利技术的目的可以通过以下技术方案来实现：
[0006]一种基于胶囊网络和数据修复的面部表情识别方法，包括以下步骤：
[0007]获取面部数据，将面部数据输入训练好的识别模型，得到识别结果，其中，识别模型的具体训练过程为：
[0008]获取面部训练数据集，对所述面部训练数据集中的图像进行预处理和校准，将经过预处理和校准的图像进行切割，得到尺寸大小为224
×
224
×
3的图像，将图像输入ResNet18胶囊网络，得到图像的特征向量，所述ResNet18胶囊网络包括第一卷积块Conv1_x、第二卷积块Conv2_x、第三卷积块Conv3_x和8D胶囊卷积层，所述8D胶囊卷积层的主胶囊为含有8个9
×
9的卷积核的卷积单元，所述8D胶囊卷积层的步幅为2；
[0009]将特征向量输入数据自修复模块，进行数据修复，所述数据自修复模块包括自注意力重要性加权模块、秩正则化模块和标签修复模块，数据修复的具体过程为：
[0010]获取N个图像的对应的N个特征向量，将所述特征向量输入自注意力重要性加权模块，所述自注意力重要性加权模块包括线性全连接层和Sidmoid函数，基于线性全连接层得到每个特征向量的重要性权重，并根据重要性权重组成权重矩阵，对所述权重矩阵和特征向量进行加权求和，基于加权求和结果和sigmoid函数得到N个自注意力权重；
[0011]将自注意力权重输入秩正则化模块，基于预设比例分类得到高重要性权重组和低重要性权重组，计算高重要性权重组的均值α
H
和低重要性权重组的均值α
L
，α
H
和α
L
满足：α
H
＞α
L
+δ1，其中δ1是学习参数；
[0012]将低重要性权重组输入标签修复模块，获取低重要性权重组的最大预测概率，当低重要性权重组的最大预测概率超过第一阈值时，对该低重要性权重组对应的图像的标签进行更新，将更新后的图像加入面部训练数据集，重复上述训练过程直至训练完成。
[0013]进一步地，所述重要性权重的表达式为：
[0014][0015]其中，α为重要性权重，SoftMax为归一化函数，X为特征向量，d
x
为特征向量的维度。
[0016]进一步地，所述自注意力权重的表达式为：
[0017][0018]其中，α
i
′
为第i个特征向量的自注意力权重，W
α
为权重矩阵，X
i
为第i个特征向量，σ为Sidmoid函数。
[0019]进一步地，所述第一卷积块Conv1_x包括一个卷积核大小为7
×
7，步长为2的卷积层。
[0020]进一步地，所述第二卷积块Conv2_x包括四个卷积核大小为3
×
3，步长为1的卷积层。
[0021]进一步地，所述第三卷积块Conv3_x包括三个卷积核大小为3
×
3，步长为1和一个卷积核大小为3
×
3，步长为2的卷积层。
[0022]进一步地，将图像输入ResNet18胶囊网络，得到图像的特征向量具体为：将图像依次输入第一卷积块Conv1_x、第二卷积块Conv2_x、第三卷积块Conv3_x和8D胶囊卷积层，得到大小为10
×
10
×8×
16的胶囊多维实体，基于动态路由算法将所述胶囊多维实体转化为图像的特征向量。
[0023]进一步地，所述基于预设比例分类得到高重要性权重组和低重要性权重组具体为：将自注意力权重按降序排列，以预设比例得到高重要性权重组和低重要性权重组，其中高重要性权重组的样本数为M＝β*N，其中β为预设比例，M为高重要性权重组的样本数，低重要性权重组的样本数为N
‑
M。
[0024]进一步地，所述更新后的图像的标签为最大预测概率的标签。
[0025]进一步地，获取低重要性权重组的最大预测概率具体为：标签修复模块基于归一化函数Softmax获取低重要性权重组对应的图像的标签对应的预测概率，并筛选最大预测概率。
[0026]与现有技术相比，本专利技术具有以下有益效果：
[0027](1)对使用数据自修复机制学习数据的自重要性权重，增强高重要性权重样本的特征表达，抑制低重要性权重样本的特征表达，并修复低重要性权重样本中错误的标签，重新对修复后的低重要性权重样本进行训练，能有效识别模糊的数据，如图像分辨率低、非正面姿态、遮挡或表情二义性的数据。
[0028](2)使用改进的胶囊网络代替传统的CNN，更好地捕捉船员面部的活动单元间的相对位置关系及方向特征，形成特征向量。
附图说明
[0029]图1为本专利技术的流程图；
[0030]图2为本专利技术的框架图；
[0031]图3为本专利技术的表情识别结果示例图。
具体实施方式
[0032]下面结合附图和具体实施例对本专利技术进行详细说明。本实施例以本专利技术技术方案为前提进行实施，给出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于胶囊网络和数据修复的面部表情识别方法，其特征在于，包括以下步骤：获取面部数据，将面部数据输入训练好的识别模型，得到识别结果，其中，识别模型的具体训练过程为：获取面部训练数据集，对所述面部训练数据集中的图像进行预处理和校准，将经过预处理和校准的图像进行切割，得到尺寸大小为224
×
224
×
3的图像，将图像输入ResNet18胶囊网络，得到图像的特征向量，所述ResNet18胶囊网络包括第一卷积块Conv1_x、第二卷积块Conv2_x、第三卷积块Conv3_x和8D胶囊卷积层，所述8D胶囊卷积层的主胶囊为含有8个9
×
9的卷积核的卷积单元，所述8D胶囊卷积层的步幅为2；将特征向量输入数据自修复模块，进行数据修复，所述数据自修复模块包括自注意力重要性加权模块、秩正则化模块和标签修复模块，数据修复的具体过程为：获取N个图像的对应的N个特征向量，将所述特征向量输入自注意力重要性加权模块，所述自注意力重要性加权模块包括线性全连接层和Sigmoid函数，基于线性全连接层得到每个特征向量的重要性权重，并根据重要性权重组成权重矩阵，对所述权重矩阵和特征向量进行加权求和，基于加权求和结果和Sigmoid函数得到N个自注意力权重；将自注意力权重输入秩正则化模块，基于预设比例分类得到高重要性权重组和低重要性权重组，计算高重要性权重组的均值α
H
和低重要性权重组的均值α
L
，α
H
和α
L
满足：α
H
＞α
L
+δ1，其中δ1是学习参数；将低重要性权重组输入标签修复模块，获取低重要性权重组的最大预测概率，当低重要性权重组的最大预测概率超过第一阈值时，对该低重要性权重组对应的图像的标签进行更新，将更新后的图像加入面部训练数据集，重复上述训练过程直至训练完成。2.根据权利要求1所述的一种基于胶囊网络和数据修复的面部表情识别方法，其特征在于，所述重要性权重的表达式为：其中，α为重要性权重，SoftMax为归一化函数，X为特征向量，d
x
为特征向量的维度。3.根据权利要求1所述的一种基于胶囊网络和数据修复的面部表情识别方法，其特征在于，...

【专利技术属性】
技术研发人员：胡炳，刘晋，李怡瑶，
申请(专利权)人：上海海事大学，
类型：发明
国别省市：