基于多层次特征双线性融合网络的掌纹识别方法及系统技术方案

本发明专利技术提供了一种基于多层次特征双线性融合网络的掌纹识别方法及系统，包括：融合步骤：融合从多层次特征双线性融合网络提取到的掌纹深层次特征和掌纹浅层次特征，再将其进行多感受野双线性池化；轻量化步骤：对所述多感受野双线性池化后的多层次特征双线性融合网络进行轻量化处理；编码位置步骤：根据轻量化处理后的多层次特征双线性融合网络，将坐标注意力机制嵌入到其网络模型中。通过采用多层次特征双线性融合网络，深度挖掘掌纹的细节信息，提升了识别准确率。提升了识别准确率。提升了识别准确率。

【技术实现步骤摘要】
基于多层次特征双线性融合网络的掌纹识别方法及系统


[0001]本专利技术涉及生物特征识别
，具体地，涉及一种基于多层次特征双线性融合网络的掌纹识别方法及系统。

技术介绍

[0002]掌纹图像之间的差异可能会被姿势、角度、位置等因素影响，所以掌纹图像识别对视觉特征表达能力有很高的要求。一般的神经网络只能捕捉单个尺度的感受域，对于掌纹这种多尺度目标进行精确的识别是很困难的。为了解决这些问题，针对掌纹类间差异太小的特点，本专利技术设计了一种多层次特征双线性融合网络。
[0003]申请号为CN110210288A的中国专利技术专利公开了掌纹识别方法及装置，其技术方案是基于掌纹神经网络模型预测所述掌纹区域图像所对应的目标用户ID，将掌纹识别技术和神经网络技术相结合，能够快速准确地识别出与所检测的掌纹相匹配的目标用户，并且还能够在各种拍照条件下都可以较佳地完成对掌纹的识别工作。但是网络层数较多，导致了计算复杂度和参数量大大增加，不利于后续的硬件实现。本申请涉及了多层次特征双线性融合网络，深度挖掘掌纹的细节信息，网络层数较少；而且进行了轻量化处理，大大降低了计算复杂度和参数量；最后嵌入坐标注意力机制，进一步提升了识别准确率，取得了较好的综合性能。

技术实现思路

[0004]针对现有技术中的缺陷，本专利技术的目的是提供一种基于多层次特征双线性融合网络的掌纹识别方法及系统。
[0005]根据本专利技术提供的一种基于多层次特征双线性融合网络的掌纹识别方法，包括：
[0006]融合步骤：将多层次特征双线性融合网络中的掌纹深层次特征和掌纹浅层次特征融合得到融合函数，将融合函数进行多感受野双线性池化；
[0007]轻量化步骤：对所述多感受野双线性池化后的多层次特征双线性融合网络进行轻量化处理；
[0008]编码位置步骤：根据轻量化处理后的多层次特征双线性融合网络，将坐标注意力机制嵌入到多层次特征双线性融合网络模型中。
[0009]优选的，所述多层次特征双线性融合网络包含两条不同感受野网络支路，其中，一条网络支路的卷积膨胀速率设置为1，即为普通卷积；另一条网络支路的卷积膨胀速率设置为2；将所述两条不同感受野网络支路的掌纹浅层次特征和掌纹深层次特征使用concat函数进行特征融合，融合函数公式如下,
[0010]f1＝concat(f(A),f(B))
[0011]f2＝concat(f(C),f(D))
[0012]其中，A表示第一条支路中的深层次特征；B表示第二条支路中的深层次特征；C表示第一条支路的浅层次特征；D表示第二条支路的浅层次特征；f1表示两个深层次特征合并
后的深层次特征，f2表示两个浅层次特征合并后的浅层特征；
[0013]将融合后的掌纹浅层次特征和掌纹深层次特征经过多感受野双线性池化，其中，具体实现公式为,
[0014]b(I,f1,f2)＝f
1T
(I)f2(I)
[0015]x＝∑b(I,f1,f2)
[0016][0017]z＝y/||y||2[0018]b(I,f1,f2)表示f1和f2两个特征相乘后得到的矩阵；f1和f2为上面两个公式得到的特征；x表示对矩阵b进行sum pooling操作得到矩阵x；y表示将x进行矩归一化；z是对特征y进行L2归一化后得到。
[0019]优选的，所述多层次特征双线性融合网络包含浅层网络和深层网络，其中，浅层网络感受野小，浅层次特征包含掌纹细节信息；深层网络感受野增加，深层次特征提取了掌纹的整体轮廓特征。
[0020]优选的，所述网络轻量化使用深度可分离卷积并改变卷积中的膨胀速率来降低计算量；
[0021]所述深度可分离卷积将普通卷积分解成深度卷积和逐点卷积，深度卷积层负责卷积计算，对每个输入通道使用单个卷积核进行卷积；逐点卷积负责结合，使用1
×
1大小的卷积核计算输入通道的线性组合，将深度卷积和输出进行结合；
[0022]设置输入特征图的维度为W
×
H
×
C
I
，卷积核大小为D
K
×
D
K
，数量为C
O
个。
[0023]优选的，所述坐标注意力机制对输入使用池化核(H,1)和(1,W)编码水平方向特征和垂直方向特征；使用1
×
1卷积，batch norm和非线性激活进行特征转化；
[0024]所述坐标注意力机制使每个权重都包含通道信息、横向空间信息和纵向空间信息。
[0025]一种基于多层次特征双线性融合网络的掌纹识别系统，包括：
[0026]融合模块：将多层次特征双线性融合网络中的掌纹深层次特征和掌纹浅层次特征融合得到融合函数，将融合函数进行多感受野双线性池化；
[0027]轻量化模块：对所述多感受野双线性池化后的多层次特征双线性融合网络进行轻量化处理；
[0028]编码位置模块：根据轻量化处理后的多层次特征双线性融合网络，将坐标注意力机制嵌入到多层次特征双线性融合网络模型中。
[0029]优选的，所述多层次特征双线性融合网络包含两条不同感受野网络支路，其中，一条网络支路的卷积膨胀速率设置为1，即为普通卷积；另一条网络支路的卷积膨胀速率设置为2；将所述两条不同感受野网络支路的掌纹浅层次特征和掌纹深层次特征使用concat函数进行特征融合，融合函数公式如下：
[0030]f1＝concat(f(A),f(B))
[0031]f2＝concat(f(C),f(D))
[0032]其中，A表示第一条支路中的深层次特征；B表示第二条支路中的深层次特征；C表示第一条支路的浅层次特征；D表示第二条支路的浅层次特征；f1表示两个深层次特征合并
后的深层次特征，f2表示两个浅层次特征合并后的浅层特征；
[0033]将融合后的掌纹浅层次特征和掌纹深层次特征经过多感受野双线性池化，其中，具体实现公式为：
[0034]b(I,f1,f2)＝f
1T
(I)f2(I)
[0035]x＝∑b(I,f1,f2)
[0036][0037]z＝y/||y||2[0038]b(I,f1,f2)表示f1和f2两个特征相乘后得到的矩阵；f1和f2为上面两个公式得到的特征；x表示对矩阵b进行sum pooling操作得到矩阵x；y表示将x进行矩归一化；z是对特征y进行L2归一化后得到。
[0039]优选的，所述多层次特征双线性融合网络包含浅层网络和深层网络，其中，浅层网络感受野小，浅层次特征包含掌纹细节信息；深层网络感受野增加，深层次特征提取了掌纹的整体轮廓特征。
[0040]优选的，所述网络轻量化使用深度可分离卷积并改变卷积中的膨胀速率来降低计算量；
[0041]所述深度可分离卷积将普通卷积分解成深度卷积和逐点卷积，深度卷积层负责卷积计算，对每个输入通道使用单个卷积核进行卷积；逐点卷本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多层次特征双线性融合网络的掌纹识别方法，其特征在于，包括：融合步骤：将多层次特征双线性融合网络中的掌纹深层次特征和掌纹浅层次特征融合得到融合函数，将融合函数进行多感受野双线性池化；轻量化步骤：对所述多感受野双线性池化后的多层次特征双线性融合网络进行轻量化处理；编码位置步骤：根据轻量化处理后的多层次特征双线性融合网络，将坐标注意力机制嵌入到多层次特征双线性融合网络模型中。2.根据权利要求1所述的基于多层次特征双线性融合网络的掌纹识别方法，其特征在于，所述多层次特征双线性融合网络包含两条不同感受野网络支路，其中，一条网络支路的卷积膨胀速率设置为1，即为普通卷积；另一条网络支路的卷积膨胀速率设置为2；将所述两条不同感受野网络支路的掌纹浅层次特征和掌纹深层次特征使用concat函数进行特征融合，融合函数公式如下,f1＝concat(f(A),f(B))f2＝concat(f(C),f(D))其中，A表示第一条支路中的深层次特征；B表示第二条支路中的深层次特征；C表示第一条支路的浅层次特征；D表示第二条支路的浅层次特征；f1表示两个深层次特征合并后的深层次特征，f2表示两个浅层次特征合并后的浅层特征；将融合后的掌纹浅层次特征和掌纹深层次特征经过多感受野双线性池化，其中，具体实现公式为,b(I,f1,f2)＝f
1T
(I)f2(I)x＝∑b(I,f1,f2)z＝y/||y||2b(I,f1,f2)表示f1和f2两个特征相乘后得到的矩阵；f1和f2为上面两个公式得到的特征；x表示对矩阵b进行sum pooling操作得到矩阵x；y表示将x进行矩归一化；z是对特征y进行L2归一化后得到。3.根据权利要求2所述的基于多层次特征双线性融合网络的掌纹识别方法，其特征在于，所述多层次特征双线性融合网络包含浅层网络和深层网络，其中，浅层网络感受野小，浅层次特征包含掌纹细节信息；深层网络感受野增加，深层次特征提取了掌纹的整体轮廓特征。4.根据权利要求1所述的基于多层次特征双线性融合网络的掌纹识别方法，其特征在于，所述网络轻量化使用深度可分离卷积并改变卷积中的膨胀速率来降低计算量；所述深度可分离卷积将普通卷积分解成深度卷积和逐点卷积，深度卷积层负责卷积计算，对每个输入通道使用单个卷积核进行卷积；逐点卷积负责结合，使用1
×
1大小的卷积核计算输入通道的线性组合，将深度卷积和输出进行结合；
设置输入特征图的维度为W
×
H
×
C
I
，卷积核大小为D
K
×
D
K
，数量为C
O
个。5.根据权利要求1所述的基于多层次特征双线性融合网络的掌纹识别方法，其特征在于，所述坐标注意力机制对输入使用池化核(H,1)和(1,W)编码水平方向特征和垂直方向特征；使用1
×
1卷积，batch norm和非线性激活进行特征转化；所述坐标注意力机制使每个权重都包含通道信息、横向空间信息和纵向空间信息。6.一...

【专利技术属性】
技术研发人员：马斌，汪凯旋，
申请(专利权)人：合肥酷芯微电子有限公司，
类型：发明
国别省市：