基于分层伪三维注意力卷积神经网络的人脸图像分类方法技术

本公开揭示了一种基于分层伪三维注意力卷积神经网络的人脸图像分类方法，包括：对待分类的彩色人脸图像进行预处理；对预处理后的待分类彩色人脸图像进行几何归一化处理；构建分层伪三维注意力卷积神经网络并进行训练，所述分层伪三维注意力卷积神经网络包括3个输入层、1个卷积层、1个最大池化层、16个由伪三维卷积模块、注意力模块和全局上下文模块组成的伪三维注意力模块、1个全局平均化层和1个输出层；将几何归一化处理后的待分类彩色人脸图像输入所述分层伪三维注意力卷积神经网络进行分类。分类。分类。

【技术实现步骤摘要】
基于分层伪三维注意力卷积神经网络的人脸图像分类方法


[0001]本公开属于图像识别领域，具体涉及一种基于分层伪三维注意力卷积神经网络的人脸图像分类方法。

技术介绍

[0002]彩色人脸图像分类是计算机视觉领域的一项重要任务，注意力机制在图像分类中一直占有重要地位。目前，许多学者通过改进注意力机制的方式去改善网络结构，通过挤压和激励注意力网络对通道注意力进行调整，首先使用全局平均池化将全局特征挤压进通道特征中，接着使用一个简单的门机制并使用sigmoid函数激励，最后将对应通道乘积，在不增加计算成本的基础上大幅提升了网络性能，但是该方式并没有考虑全局上下文信息对位置编码的重要性，而位置编码对于在计算机视觉任务中捕获对象结构是至关重要的，而且也能有效提升网络对图像的分类性能。还有学者提出了坐标注意力，通过对不同方向的平均池化操作，以获取位置信息，并结合通道信息，借此来提升网络的分类性能。但是仅仅使用不同方向的池化难以获取全局的感受野，而且通过二维图像数据也难以捕获更深层的特征，三维数据又会使得网络参数过于复杂，导致网络极易过拟合。此外，现有的流行网络中的softmax损失函数并不能很好地对人脸进行高精度识别分类。

技术实现思路

[0003]针对现有技术中的不足，本公开的目的在于提供一种基于分层伪三维注意力卷积神经网络的人脸图像分类方法，能够同时提取到人脸细节部位的高维特征和边缘轮廓的低维特征，从而实现对人脸的精准分类。
[0004]为实现上述目的，本公开提供以下技术方案：
[0005]一种基于分层伪三维注意力卷积神经网络的人脸图像分类方法，包括如下步骤：
[0006]S100：对待分类的彩色人脸图像进行预处理；
[0007]S200：对预处理后的待分类彩色人脸图像进行几何归一化处理；
[0008]S300：构建分层伪三维注意力卷积神经网络并进行训练，所述分层伪三维注意力卷积神经网络包括3个输入层、1个卷积层、1个最大池化层、16个由伪三维卷积模块、注意力模块和全局上下文模块组成的伪三维注意力模块、1个全局平均化层和1个输出层；
[0009]S400：将几何归一化处理后的待分类彩色人脸图像输入所述分层伪三维注意力卷积神经网络进行分类。
[0010]优选的，所述伪三维卷积模块由1个卷积核大小为1
×1×
1的卷积层和2个卷积核大小分别为3
×3×
1和1
×1×
3的卷积层构成。
[0011]优选的，所述注意力模块包括：
[0012]第一单元，通过3
×3×
3和5
×5×
5的卷积核分别对伪三维卷积模块进行卷积处理获得两个特征矩阵，将两个特征矩阵分别进行最大池化和平均池化处理并进行级联操作得到两个级联特征矩阵，对两个级联特征矩阵采用多卷积方式，得到输出特征矩阵；
[0013]第二单元，用于将输出特征矩阵通过全局平均池化的方式挤压进通道中，经过非线性处理后，采用sigmoid函数得到两个权重特征矩阵，且该权重特征矩阵的参数随反向传播更新；
[0014]第三单元，用于将两个权重特征矩阵与第一单元中的两个输出特征矩阵分别进行乘积，得到两个带注意力权重的特征矩阵，最后进行级联和1
×
1的卷积操作，即获得注意力模块的输出特征矩阵。
[0015]优选的，所述注意力模块表示为：
[0016][0017]s＝Fz(z，W)＝δ(BN(z))
[0018]其中，D、H和W为输出特征矩阵的深度、高度和宽度，K为第一单元的输出特征矩阵，i、j、k分别为K的深度、高度和宽度的元素值，z为经过GAP层后得到的、经过挤压的特征矩阵，δ为ReLU非线性激活函数，BN为批归一化处理操作，s为输出权重矩阵。
[0019]优选的，所述全局上下文模块包括：
[0020]第四单元，通过采用卷积核大小为1
×1×
1卷积和Reshape变形函数对注意力模块的输出特征矩阵进行线性变换，获得线性变换后的特征矩阵，然后使用softmax函数对线性变换后的特征矩阵进行处理，以获得该特征矩阵上不同位置的权重，最后将权重与线性变换后的特征矩阵相乘，获得全局上下文特征矩阵；
[0021]第五单元，通过1个由批量归一化和ReLU激活函数组成的非线性变换层、1个卷积核大小为1
×
1的卷积层对全局上下文特征矩阵进行特征变换，获得特征变换后的全局上下文特征矩阵；
[0022]第六单元，用于将特征变换后的全局上下文特征矩阵与注意力模块的输出特征矩阵相加，获得全局上下文模块的输出特征矩阵。
[0023]优选的，全局上下文模块表示为：
[0024][0025]其中，x为全局上下文模块的输出特征矩阵，V为1
×1×
1卷积，ReLU表示激活函数，GN为分组归一化函数，N为特征矩阵中位置的数量，e为自然对数函数的底数，j，m为特征矩阵中所有可能的位置，x
j
，x
m
全局上下文特征矩阵中某一位置的像素值，t表示x矩阵的权重，tx
j
和tx
m
为经过全局平均池化操作后的特征矩阵进行计算处理得到的输出值。
[0026]优选的，步骤S300中，通过以下步骤对分层伪三维注意力卷积神经网络进行训练：
[0027]S301：选取若干彩色人脸图像进行样本划分，划分为训练样本和验证样本；
[0028]S302：对所述训练样本、验证样本依次进行预处理和几何归一化处理，获得新的训练样本和验证样本；
[0029]S303：利用新的训练样本通过前向传播和反向传播的方式对分层伪三维注意力卷积神经网络进行训练，并通过新的验证样本对训练后的分层伪三维注意力卷积神经网络进
行验证。
[0030]优选的，对待分类的彩色人脸图像及对所述训练样本和验证样本均通过直方图均衡法和中值滤波法进行预处理。
[0031]优选的，对待分类的彩色人脸图像及对所述训练样本和验证样本进行归一化处理均通过以下方式进行：
[0032]S3001：标定特征点，通过matlab自带的[x，y]＝ginput(3)函数来标定两眼和鼻子三个特征点；
[0033]S3002：根据两眼的坐标值旋转图像，以保证人脸方向的一致性，其中，设两眼之间的距离为d，中点为O。
[0034]S3003：根据面部特征点和几何模型确定矩形特征区域，以中点O为基准，左右各剪切d，垂直方向各取0.5d和1.5d的矩形区域进行裁剪；
[0035]S3004：对人脸子区域图像进行尺度变换，以获得统一的尺寸，实现图像的几何归一化。
[0036]优选的，所述分层伪三维注意力卷积神经网络的性能通过以下指标进行评价：
[0037]准确率
[0038][0039]精确率
[0040][0041]错误的将其他类预测为本类比例...

【技术保护点】

【技术特征摘要】
1.一种基于分层伪三维注意力卷积神经网络的人脸图像分类方法，包括如下步骤：S100：对待分类的彩色人脸图像进行预处理；S200：对预处理后的待分类彩色人脸图像进行几何归一化处理；S300：构建分层伪三维注意力卷积神经网络并进行训练，所述分层伪三维注意力卷积神经网络包括3个输入层、1个卷积层、1个最大池化层、16个由伪三维卷积模块、注意力模块和全局上下文模块组成的伪三维注意力模块、1个全局平均化层和1个输出层；S400：将几何归一化处理后的待分类彩色人脸图像输入所述分层伪三维注意力卷积神经网络进行分类。2.根据权利要求1所述的方法，其中，优选的，所述伪三维卷积模块由1个卷积核大小为1
×1×
1的卷积层和2个卷积核大小分别为3
×3×
1和1
×1×
3的卷积层构成。3.根据权利要求1所述的方法，其中，所述注意力模块包括：第一单元，通过3
×3×
3和5
×5×
5的卷积核分别对伪三维卷积模块进行卷积处理获得两个特征矩阵，将两个特征矩阵分别进行最大池化和平均池化处理并进行级联操作得到两个级联特征矩阵，对两个级联特征矩阵采用多卷积方式，得到输出特征矩阵；第二单元，用于将输出特征矩阵通过全局平均池化的方式挤压进通道中，经过非线性处理后，采用sigmoid函数得到两个权重特征矩阵，且该权重特征矩阵的参数随反向传播更新；第三单元，用于将两个权重特征矩阵与第一单元中的两个输出特征矩阵分别进行乘积，得到两个带注意力权重的特征矩阵，最后进行级联和1
×
1的卷积操作，即获得注意力模块的输出特征矩阵。4.根据权利要求3所述的方法，其中，所述注意力模块表示为：s＝Fz(z，W)＝δ(BN(z))其中，D、H和W为输出特征矩阵的深度、高度和宽度，K为第一单元的输出特征矩阵，i、j、k分别为K的深度、高度和宽度的元素值，z为经过GAP层后得到的、经过挤压的特征矩阵，δ为ReLU非线性激活函数，BN为批归一化处理操作，s为输出权重矩阵。5.根据权利要求1所述的方法，其中，所述全局上下文模块包括：第四单元，通过采用卷积核大小为1
×1×
1卷积和Reshape变形函数对注意力模块的输出特征矩阵进行线性变换，获得线性变换后的特征矩阵，然后使用softmax函数对线性变换后的特征矩阵进行处理，以获得该特征矩阵上不同位置的权重，最后将权重与线性变换后的特征矩阵相乘，获得全局上下文特征矩阵；第五单元，通过1个由批量归一化和ReLU激活...

【专利技术属性】
技术研发人员：裴炤，万志杨，张艳宁，马苗，郭敏，武杰，陈昱莅，
申请(专利权)人：陕西师范大学，
类型：发明
国别省市：