一种基于信息流通的超交互卷积神经网络的人脸识别方法技术

本发明专利技术提供了一种基于信息流通的超交互卷积神经网络的人脸识别方法，包括：步骤1、采集人脸图片；步骤2、对人脸图片进行对齐；步骤3、对人脸图片进行截取；步骤4、建立超交互卷积神经网络SINet；步骤5、建立人脸数据库：将步骤3得到的人脸图片输入超交互卷积神经网络SINet中，将神经网络SINet最后一层输出的一个一维的特征向量作为输入人脸的特征向量，将人脸的特征向量存入人脸数据库；步骤6、计算人脸相似度；步骤7、输出结果。在人脸识别中采用此改进的小型神经网络端到端的人脸识别过程，能够有效的应用在在嵌入式手机端，拥有更高的运行效率并保证识别的准确度。行效率并保证识别的准确度。行效率并保证识别的准确度。

【技术实现步骤摘要】
核心思想是卷积核的拆解，可以有效减少网络参数以及计算量。其使用深度可分离卷积取代原始卷积，在使用pointwiseconvolution进行通道整合，简单说就是将原来的一个k*k*c的卷积核分解成一个k*k*1的卷积以及一个1*1*c的卷积，其中k是卷积核得大小，c是卷积核得通道数。物理意义就是先对前一层输出的featuremap的每一个channel单独惊醒k*k的卷积来提取空间特征，然后使用1*1的卷积将多个通道的信息线性组合起来。如图2所示，其中上图表示的是depthwiseconvolution，下图表示pointwiseconvolution。
[0010]简单分析一下深度可分离卷积在计算量上与标准卷积的差别。假定输入特征图大小是D
F
×
D
F
×
M，而输出特征图大小是D
F
×
D
F
×
N，其中D
F
是特征图的长和宽，这是假定两者是相同的，而和指的是通道数。这里也假定输入与输出特征图大小(长和宽)是一致的。采用的卷积核大小是尽管是特例，但是不影响下面分析的一般性。对于标准的卷积D
K
×
D
K
，其计算量将是：D
K
×
D
K
×
M
×
N
×
D
F
×
D
F
，而对于depthwiseconvolution其计算量为D
K
×/>D
K
×
M
×
D
F
×
D
F
，pointwiseconvolution计算量是M
×
N
×
D
F
×
D
F
，所以depthwiseseparableconvolution总计算量是D
K
×
D
K
×
M
×
N
×
D
F
×
D
F
+M
×
N
×
D
F
×
D
F
。可以比较深度可分离卷积和标准卷积如下：
[0011]一般情况下D
K
比较大，那么如果采用3
×
3卷积核的话，深度可分离卷积相较标准卷积可以降低大约9倍的计算量。其实，后面会有对比，参数量也会减少很多。
[0012]参考文献：AndrewG.Howard,MenglongZhu,BoChen,DmitryKalenichenko,WeijunWang,TobiasWeyand,MarcoAndreetto,HartwigAdam.:MobileNets:EfficientConvolutionalNeuralNetworksforMobileVisionApplications.In:ComputerVisionandPatternRecognition
[0013]后提出改进版网络结构mobilenetv2。引入残差结构，先升维再降维，增强梯度的传播，显著减少推理期间所需的内存占用。原始的残差结构(InvertedResiduals)如图3中左图所示，因为输入的通道数为256，中间先经过1*1卷积降维到通道数为64的特征图，然后在经过一个3*3卷积，最后用一个1*1卷积升维回到256通道数的特征图，两头大中间小的形状，类似于瓶颈，所以又被称为瓶颈结构。改进的结构输入的通道数为256，中中间先经过1*1卷积降维到通道数为512的特征图，然后在经过一个3*3卷积，最后用一个1*1卷积升维回到256通道数的特征图，被称为倒置残差结构。同时网络去掉使用1*1卷积降低通道数后的ReLU，保留特征多样性，增强网络的表达能力；最后由于网络为全卷积的，使得模型可以适应不同尺寸的图像；使用RELU6(最高输出为6)激活函数，使得模型在低精度计算下具有更强的鲁棒性。
[0014]MobileNetV2若需要下采样，可在DepthWise时采用步长为2的卷积；小网络使用小的扩张系数(expansionfactor)，大网络使用大一点的扩张系数(expansionfactor)，推荐是5～10。
[0015]参考文献：{Sandler,MarkandHoward,AndrewandZhu,MenglongandZhmoginov,AndreyandChen,Liang
‑
Chieh.:Mobilenetv2:Invertedresidualsandlinearbottlenecks.In:ComputerVisionandPatternRecognition
[0016]最后对于卷积神经网络CNN的一些简单结构简单介绍：
[0017]一般CNN中的第一层是卷积层，有多个卷积核(filter)组成。卷积核可以看做一
个滑动的窗口，当输入某张图片时，卷积核自左向右，自上向下进行滑动，每次滑动 对应的区域成为局部感受界，在滑动操作中，卷积核对局部图像不断进行卷积计算， 可以学习到输入图像的特征表示。不同的卷积核可以学习到不同的特征，使用多个卷 积核可以学习到更加丰富的特征表示。卷积层的输入图片一般可以看做是一个四维的 矩阵，依次为：样本数N，图像高度H，图像宽度W，图像通道数C；输出特征图也 可以看做一个矩阵，该矩阵维度意义与输入相同，经过卷积计算后，一般H，W，C 可以会发生变化。
[0018]接下来是网络的池化层，在卷积层之后一般会接上一个池化操作。通过池化操作 来聚合输入特征通道的每个小区域内的信息，从而得到池化层，然后对结果进行下采 样。池化的目的是保持平移、旋转、尺度的不变性，并保留主要特征且实现了降维。 池化层一般有两种，一种是平均池化(avg pooling)，一种是最大池化(max pooling)， 其中最大池化的计算是在每一个区域中寻找最大值，而平均池化则是对每一个区域中 所有值求平均。
[0019]最后是全连接层，在CNN网络的最后一般会连接上一个全连接层，经网络的卷积 层以及池化层产生的所有特征会通过FC层整合成一个特征向量，将输出值送给分类器 (如softmax)用来实现最终的分类任务。

技术实现思路

[0020]专利技术目的：克服使用大规模参数计算量的卷积深度模型的人脸识别应用在嵌入式， 移动端无法正常使用的难题，考虑到卷积神经网络的主要限制来自于其大规模的计算 量以及参数量，主要设计出降低网络计算量以及参数量的网络模块。充分利用深度网 络各层产生的特征图信息，增加判别信息利用率，在不损失网络精度的前提下，减低 网络运行的计算量和参数量。
[0021]为了解决上述技术难题，本专利技术提供一种基于信息流通的超交互卷积神经网络的 人脸识别方法，包括如下步骤：<本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于信息流通的超交互卷积神经网络的人脸识别方法，其特征在于，包括如下步骤：步骤1、采集人脸图片；步骤2、对人脸图片进行对齐；步骤3、对人脸图片进行截取；步骤4、建立超交互卷积神经网络SINet；步骤5、建立人脸数据库：将步骤3得到的人脸图片输入超交互卷积神经网络SINet中，将神经网络SINet最后一层输出的一个一维的特征向量作为输入人脸的特征向量，将人脸的特征向量存入人脸数据库；步骤6、计算人脸相似度；步骤7、输出结果。2.根据权利要求1所述的方法，其特征在于，步骤2包括：步骤2
‑
1，获得人脸特征点m1、m2和m3、m4的坐标值(x1,y1)、(x2,y2)和(x3,y3)、(x4,y4)，其中m
i
指示不同的特征点，对应的(x
i
,y
i
)为其坐标，使用公式求得旋转角度θ；步骤2
‑
2，根据两个人脸特征点坐标点集即m1、m2和m3、m4，对人脸图片进行相似变换，包括对人脸图片进行旋转，平移和缩放，其变换矩阵如下：其中，x
′
,y
′
表示变化后特征点的坐标值，x,y表示变化前特征点的坐标值，t是平移矢量即x轴坐标和y轴坐标为t
x
,t
y
；s是缩放尺度因子，当是s＝1是保向的，s＝
‑
1是逆向的；缩放尺度因子即让缩放后m1特征点和m2特征点的距离为47个像素。3.根据权利要求2所述的方法，其特征在于，步骤3包括：将人脸从背景中分离；以m1特征点为中心，左右上下取(65,65,51,98)，截取一个130
×
149大小的人脸框，最后缩放到224
×
224的尺寸。4.根据权利要求3所述的方法，其特征在于，步骤4包括：所述超交互卷积神经网络SINet包括三种网络基本部件和两种网络组件；其中，所述三种网络基本部件分别是：第一基本部件是交换式跳跃连接；第二基本部件是基于密集连接的降采样层；第三基本部件是基于注意力机制的分层决策层；所述两种网络组件分别是：第一网络组件是SI Unit，SI Unit是组成超交互卷积神经网络SINet整体网络的最小组合单元；第二网络组件是SI Block，SI Block是堆叠形成超交互卷积神经网络SINet网络结构的组成块。5.根据权利要求4所述的方法，其特征在于，步骤4中，通过如下步骤构建第一基本部
件：步骤a1：将原始卷积计算分成g组，g＝2；步骤a2，将g组原始卷积计算中的跳跃连接结构修改成交互跳跃连接结构。6.根据权利要求5所述的方法，其特征在于，步骤a2中，采用如下公式将g组原始卷积计算中的跳跃连接结构修改成交互跳跃连接结构：算中的跳跃连接结构修改成交互跳跃连接结构：算中的跳跃连接结构修改成交互跳跃连接结构：算中的跳跃连接结构修改成交互跳跃连接结构：其中，SPLITE(*)表示特征拆分，将原始特征图均分成g组，H(*)表示的是特征计算，[*]表示的是连接操作，X
l
‑1表示网络第l层的输入特征图，分别表示由输入特征图PLITE(X
l
‑
1)拆分得到的两组特征图，将拆分...

【专利技术属性】
技术研发人员：游辉敏，姚杨，吉琨，
申请(专利权)人：南京优闼智能科技有限公司，
类型：发明
国别省市：