基于多尺度Transformer的静脉识别神经网络模型、方法与系统技术方案

本发明专利技术属于生物特征识别技术领域，具体涉及一种基于多尺度Transformer的静脉识别神经网络模型、方法与系统。本发明专利技术对现有的ViT模型进行了多尺度化改进，将输入图片通过尺寸变换化为包括了不同尺寸的子图的图集，且每一子图均被划分/重叠划分为同样数量同样尺寸的位置块，再通过不同尺度间的同一位置的图块的特征序列来进行计算不同尺寸的子图上此处位置间的联系，进而让模型学习到尺寸的联系，间接的消除不同尺寸的敏感性。使得全局信息更加完善，提取的特征更加友好。本发明专利技术通过不同尺度同一位置间以及同一尺度不同位置间的关系去影响分类结果，提高了的模型识别性能。提高了的模型识别性能。提高了的模型识别性能。

【技术实现步骤摘要】
基于多尺度Transformer的静脉识别神经网络模型、方法与系统


[0001]本专利技术属于生物特征识别
，具体涉及一种基于多尺度Transformer的静脉识别神经网络模型、方法与系统。

技术介绍

[0002]现有很多分类模型可以有效的从静脉图片中提取到静脉纹路等特征信息，通常情况下只选取一种尺度下的静脉图像进行特征提取进而分类。但是在静脉识别终端时，由于是非接触式的静脉采集方式，采集到的静脉图像可能由于距离采集终端的远近不同，造成图像尺寸不同，然而，统一尺寸训练的模型对不同尺度的图像是敏感的，尽管可以调整图像大小到一个尺寸，但这样会忽略同一图像在不同尺寸间的相互关系，没有不同尺寸间的相互关系去影响或者补充同一尺寸的不同信息位置块的高级语义，导致模型的识别性能有限。

技术实现思路

[0003]本专利技术的目的之一是提供一种基于多尺度Transformer的静脉识别神经网络模型，以解决现有模型中忽略了多样的尺寸的相关关系，导致识别性能有限的技术问题。
[0004]本专利技术中的基于多尺度Transformer的静脉识别神经网络模型，包括，依次连接的尺度变换模块、多尺度分割模块、线性嵌入模块和多尺度Transformer模块；
[0005]所述尺度变换模块，用于将静脉图片I，缩放为多个不同的尺寸的子图I
n
，n＝1,2
…
N，令h0、w0、c分别为静脉图片I的高、宽和通道数，h
n
、w
n
、c分别为子图Ir/>n
的高、宽和通道数，有：h1＞h2＞
…
h
n
，w1＞w2＞
…
w
n
；
[0006]所述多尺度分割模块用于将各子图I
n
分割为尺寸为P
×
L的位置块(Patch)，其中对于尺寸最大的I1，采用无重叠分割；其余子图均采用有重叠分割，该有重叠分割使得各子图被分割为相同数量的，尺寸为P
×
L的位置块；
[0007]以及，将各子图的各个位置块展平为长度为C＝PLc的序列P
m,n
,m＝1,2
…
M,n＝1,2
…
N；其中M为位置块的数量，有：
[0008]M＝H
×
W
[0009][0010]所述线性嵌入模块，用于通过可学习的映射矩阵E，将各序列P
m,n
映射为长度为D的特征(Token)T
m,n
，并将各子的特征拼接为一维的特征序列I
t,n
；
[0011]以及，对各特征序列I
t,n
分别实施可学习的位置编码；
[0012]以及，增加一可学习的，形式与特征序列I
t,n
相同的尺度嵌入序列E
scale
，与各子图的特征序列共同组成特征序列集I
TE
；
[0013]所述多尺度Transformer模块包括了依次连接的尺度自注意力计算部分和空间自
注意力计算部分；
[0014]所述尺度自注意力计算部分，用于基于输入的特征序列集I
TE
计算不同的子图上对应于同一位置的位置块间的自注意力权重，称尺度自注意力权重，并得到基于特征图块集I
TE
的输出X
new
；
[0015]所述空间自注意力计算部分，用于基于输入X
new
计算同一子图上对应于不同位置的位置块间的自注意力权重，称空间自注意力权重，并得到基于X
new
的输出X
(1)
。
[0016]进一步的，所述多尺度Transformer模块还包括连接在空间自注意力计算部分之后的多层感知部分，包括了依次连接的归一化层(LN)和多层感知子模块(MLP)，该部分中引入有Droppath机制以及残差连接，该部分的输出Y为所述多尺度Transformer模块的输出。
[0017]进一步的，所述尺度自注意力计算部分，包括依次连接的归一化层(LN)、尺度自注意力子模块(Scale Attention)和前馈网络模块(FFN)，该部分中在前馈网络模块之后引入有Droppath机制以及残差连接；
[0018]其中，所述尺度自注意力子模块用于，以输入中的各特征序列/尺度嵌入序列内对应于同一图块位置的共计N+1个特征为一组输入序列，分别计算各组输入序列中的各特征间的自注意力权重。
[0019]进一步的，所述空间自注意力计算部分，包括依次连接的归一化层(LN)和空间自注意力子模块(Space Attention)，该部分中在空间自注意力子模块之后引入有Droppath机制以及残差连接；
[0020]其中，所述空间自注意力子模块用于，以输入中同一子图或尺度嵌入图块所对应的特征序列为一组输入序列，计算各输入序列中各特征序列间的自注意力权重。
[0021]进一步的，所述多尺度Transformer模块中的自注意力计算为多头自注意力计算。
[0022]进一步的，还包括图块卷积模块；
[0023]至少一个所述的多尺度Transformer模块与所述图块卷积模块连接形成多尺度Transformer
‑
卷积模组；
[0024]若所述多尺度Transformer
‑
卷积模组包含多个多尺度Transformer模块，则各个多尺度Transformer模块依次级联，其中最后一级多尺度Transformer模块与所述图块卷积模块连接；
[0025]所述多尺度Transformer模块的输出Y的形式在进入多尺度Transformer
‑
卷积模组时，变换二维特征矩阵集的形式；
[0026]所述图块卷积模块，包括依次连接的第一颗粒卷堆栈块、第二颗粒卷堆栈块和降采样层；
[0027]所述第一粒卷堆栈块用于，一方面令输入Y通过串连的一全连接层和一卷积核为1
×
1，步长为1的二维卷积层得到输出Y
(1)
，其中，全连接层和卷积层的输出通道数均为输入Y的通道数的γ＜1倍；
[0028]令输入Y首先通过一全连接
‑
DW卷积子模块，该子模块中在全连接层的基础上还加入了卷积核为k
×
k步长为1的DW(Depth
‑
wise)卷积层(DW
‑
conv)再经过一卷积核为1
×
1步长为1的二维卷积层，得到输出Y
(2)
，全连接
‑
DW卷积子模块和二维卷积层的输出通道数均为输入Y的通道数的γ＜1倍；
[0029]以及，将所述Y
(1)
、Y和Y
(3)
在通道维度上依次连接，得到输出Z；
[0030]所述第二粒本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多尺度Transformer的静脉识别神经网络模型，其特征在于，包括，依次连接的尺度变换模块、多尺度分割模块、线性嵌入模块和多尺度Transformer模块；所述尺度变换模块，用于将静脉图片I，缩放为多个不同的尺寸的子图I
n
，n＝1,2
…
N，令h0、w0、c分别为静脉图片I的高、宽和通道数，h
n
、w
n
、c分别为子图I
n
的高、宽和通道数，有：h1＞h2＞
…
h
n
，w1＞w2＞
…
w
n
；所述多尺度分割模块用于将各子图I
n
分割为尺寸为P
×
L的位置块，其中对于尺寸最大的I1，采用无重叠分割；其余子图均采用有重叠分割，该有重叠分割使得各子图被分割为相同数量的，尺寸为P
×
L的位置块；以及，将各子图的各个位置块展平为长度为C＝PLc的序列P
m,n
,m＝1,2
…
M,n＝1,2
…
N；其中M为位置块的数量，有：M＝H
×
W所述线性嵌入模块，用于通过可学习的映射矩阵E，将各序列P
m,n
映射为长度为D的特征T
m,n
，并将各子的特征拼接为一维的特征序列I
t,n
；以及，对各特征序列I
t,n
分别实施可学习的位置编码；以及，增加一可学习的，形式与特征序列I
t,n
相同的尺度嵌入序列E
scale
，与各子图的特征序列共同组成特征序列集I
TE
；所述多尺度Transformer模块包括了依次连接的尺度自注意力计算部分和空间自注意力计算部分；所述尺度自注意力计算部分，用于基于输入的特征序列集I
TE
计算不同的子图上对应于同一位置的位置块间的自注意力权重，称尺度自注意力权重，并得到基于特征图块集I
TE
的输出X
new
；所述空间自注意力计算部分，用于基于输入X
new
计算同一子图上对应于不同位置的位置块间的自注意力权重，称空间自注意力权重，并得到基于X
new
的输出X
(1)
。2.根据权利要求1所述的方法，其特征在于，所述多尺度Transformer模块还包括连接在空间自注意力计算部分之后的多层感知部分，包括了依次连接的归一化层和多层感知子模块，该部分中引入有Droppath机制以及残差连接，该部分的输出Y为所述多尺度Transformer模块的输出。3.根据权利要求1所述的方法，其特征在于，所述尺度自注意力计算部分，包括依次连接的归一化层、尺度自注意力子模块和前馈网络模块，该部分中在前馈网络模块之后引入有Droppath机制以及残差连接；其中，所述尺度自注意力子模块用于，以输入中的各特征序列/尺度嵌入序列内对应于同一图块位置的共计N+1个特征为一组输入序列，分别计算各组输入序列中的各特征间的自注意力权重。4.根据权利要求1所述的方法，其特征在于，所述空间自注意力计算部分，包括依次连接的归一化层和空间自注意力子模块，该部分中在空间自注意力子模块之后引入有Droppath机制以及残差连接；其中，所述空间自注意力子模块用于，以输入中同一子图或尺度嵌入图块所对应的特

【专利技术属性】
技术研发人员：秦华锋，巩长庆，王闪闪，吴燚权，熊志鹏，
申请(专利权)人：重庆金融科技研究院，
类型：发明
国别省市：