一种基于自监督神经网络的指纹快速检索方法技术

一种基于自监督神经网络的指纹快速检索方法，构建指纹特征提取器模型并进行预训练；模型主体采用线性投射层加Transformer编码器的结构；将预训练过的指纹特征提取器模型迁移到指纹图片上，用自监督学习的方式再次训练；构建指纹图片重构器模型，然后与自监督学习得到的指纹特征提取器模型连接，利用指纹重构任务使指纹特征提取器模型对指纹特征的抽取能力进一步提升；用指纹图片重构任务训练得到的指纹特征提取器模型对指纹库中的指纹图片逐一进行特征提取，建立指纹索引库；用查询指纹在指纹索引库检索得到候选指纹序列。本发明专利技术可在大规模指纹检索中直接利用原始指纹图片进行自动特征提取，并可提高指纹检索的精度和效率。率。率。

【技术实现步骤摘要】
一种基于自监督神经网络的指纹快速检索方法


[0001]本专利技术属于生物特征识别
，涉及图像处理和指纹检索，特别涉及一种基于自监督神经网络的指纹快速检索方法。

技术介绍

[0002]指纹是目前生物特征识别
中应用较为广泛的一种生物特征。由于指纹具有唯一性和不变性等优良特性，使得自动指纹识别系统在身份鉴别领域得到了广泛的应用。但随着自动指纹识别技术应用的领域越来越广，覆盖的人口越来越多，指纹数据库的规模也在不断扩大，有些指纹数据库的容量甚至达到亿级别，随之而来的挑战就是，从数亿个指纹中找出与查询指纹相似度较高的指纹，即大规模指纹图片的检索问题。以警用系统的指纹系统为例，如果每个公民都要在其数据库中登记存储指纹，则数据量动辄以亿计算，如此巨大的指纹数量必然导致指纹检索的速度降低。因此，针对大规模指纹数据库设计一款高效且精准的指纹检索算法对身份鉴别领域具有重要的意义。
[0003]传统的指纹图片检索方法都是基于人工设计的特征提取算法，对指纹图片进行特征提取，然后再利用该特征来进行指纹的检索和比对。比较常用的人工设计的指纹特征是“细节点”特征。细节点一般采用三元存储格式：(x,y,θ)，x为细节点的横坐标，y为细节点的纵坐标，θ为细节点处纹线的方向。这种人工设计的特征会因为设计者的先验知识等主观因素而有所局限性，从而忽视部分指纹特征，而这些被忽视掉的特征很可能是会对指纹检索起帮助作用的特征。

技术实现思路

[0004]为了克服上述现有技术的缺点，本专利技术的目的在于提供一种基于自监督神经网络的指纹快速检索方法，以期在大规模指纹检索中直接利用原始指纹图片进行自动特征提取，并提高指纹检索的精度和效率。
[0005]为了实现上述目的，本专利技术采用的技术方案是：
[0006]一种基于自监督神经网络的指纹快速检索方法，包括如下步骤：
[0007]步骤1，构建指纹特征提取器模型，然后对其在ImageNet数据集上进行预训练；所述指纹特征提取器模型的主体采用线性投射层加Transformer编码器的结构，将Transformer编码器第一个位置的输出作为全连接层分类器的输入；预训练时，将ImageNet数据集中的每一张图片切割成图像块，当作时间序列输入至线性投射层，然后根据全连接层分类器的输出类别与图片的真实类别计算损失，更新模型参数；
[0008]步骤2，将步骤1中预训练过的指纹特征提取器模型迁移到指纹图片上，用自监督学习的方式在指纹图片上进行再次训练，训练时同样将数据集中的每一张指纹图片切割成图像块，当作时间序列输入至线性投射层；
[0009]步骤3，构建指纹图片重构器模型，然后与步骤2中自监督学习得到的指纹特征提取器模型相连接，利用指纹重构任务使指纹特征提取器模型对指纹特征的抽取能力进一步
提升；
[0010]步骤4，用步骤3中指纹图片重构任务所训练得到的指纹特征提取器模型，对指纹库中的指纹图片逐一进行特征提取，用提取的特征向量建立指纹索引库；
[0011]步骤5，用查询指纹在步骤4中建立的指纹索引库进行快速检索，得到候选指纹序列。
[0012]优选地，所述步骤1中，预训练时，收集整理ImageNet上带有类别标签的图片数据集；将ImageNet中的每一张图片切割为n张16
×
16像素的图像块，按照从上到下和从左到右的顺序排序，将这n个图像块以序列形式输入线性投射层，输出n个token向量；在这n个token之前加入特殊字符<cls>的token，将共计n+1个token输入至Transformer解码器；将Transformer在<cls>位置的输出作为全连接层分类器的输入，该输入代表了整个图片的语义表达。
[0013]优选地，所述步骤2中，自监督学习有两个任务：
[0014]a、从切割好的指纹图片中随机选择一个图像块，对该图像块进行随机旋转，并记录旋转的角度，然后让指纹特征提取器模型预测该图像块的旋转角度；
[0015]b、从切割好的指纹图片中随机选择一个图像块，并将该图像块遮盖，然后让指纹特征提取器模型根据指纹图片的其他区域去预测生成该图像块；
[0016]优选地，根据自监督学习的任务a，对指纹图片进行处理，随机选中指纹图片中的一个窗口区域并将其随机旋转一定角度，生成旋转角度的标签；将得到的每个指纹图片切割为n张16
×
16像素图像块；将这n个图像块按照从上到下和从左到右的顺序排序，将排序后的n个图像块序列输入线性投射层，输出n个token向量；在这n个token之前加入特殊字符<rot>的token代表旋转角度，将共计n+1个token输入Transformer解码器；将Transformer的输出中<rot>位置对应的输出角度与生成的旋转角度的标签计算损失，然后反向传播更新参数；
[0017]根据自监督学习的任务b，对指纹图片进行处理，将每个原始指纹图片切割为n张16
×
16像素图像块；将这n个图像块按照从上到下和从左到右的顺序排序，将排序后的n个图像块序列输入线性投射层，输出n个token向量；在这n个token之前加入特殊字符<cov>的token代表当前任务已经切换为了旋转预测，从这n个token中随机选出一个用<mask>字符代替，并将该位置的图像块作为标签，然后将共计n+1个token输入Transformer解码器；将Transformer的输出中<mask>位置对应的输出与得到的标签计算损失，然后反向传播更新参数。
[0018]优选地，所述步骤3中，指纹重构任务是将指纹图片切割为图像块，当作时间序列输入至指纹特征提取器模型中，根据指纹特征提取器模型所提取的特征向量，指纹图片重构器模型会输出一个图像，计算该图像与原始指纹图片的结构相似性SSIM，判断其相似性，然后更新模型参数。
[0019]优选地，所述指纹图片重构器模型采用全连接层，所述指纹特征提取器模型的第一个token对应的输出与指纹图片重构器模型连接；所述指纹重构任务，是将每个原始指纹图片切割为n张16
×
16像素图像块，然后输入到指纹特征提取器模型中，将提取的图片语义表达作为特征向量，输入到指纹图片重构器模型中，输出一张指纹图片；将输出的该指纹图片与原始图片计算结构相似性指数SSIM，根据SSIM更新指纹特征提取器模型和指纹图片重
构器模型的参数，让指纹图片重构器模型的输出越来越逼近原始指纹图片。
[0020]优选地，所述结构相似性SSIM计算公式如下：
[0021][0022]其中μ
x
是x的平均值，μ
y
是y的平均值，是x的方差，是y的方差，σ
xy
是x和y的协方差，c1＝(k1L)2，c本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于自监督神经网络的指纹快速检索方法，其特征在于，包括如下步骤：步骤1，构建指纹特征提取器模型，然后对其在ImageNet数据集上进行预训练；所述指纹特征提取器模型的主体采用线性投射层加Transformer编码器的结构，将Transformer编码器第一个位置的输出作为全连接层分类器的输入；预训练时，将ImageNet数据集中的每一张图片切割成图像块，当作时间序列输入至线性投射层，然后根据全连接层分类器的输出类别与图片的真实类别计算损失，更新模型参数；步骤2，将步骤1中预训练过的指纹特征提取器模型迁移到指纹图片上，用自监督学习的方式在指纹图片上进行再次训练，训练时同样将数据集中的每一张指纹图片切割成图像块，当作时间序列输入至线性投射层；步骤3，构建指纹图片重构器模型，然后与步骤2中自监督学习得到的指纹特征提取器模型相连接，利用指纹重构任务使指纹特征提取器模型对指纹特征的抽取能力进一步提升；步骤4，用步骤3中指纹图片重构任务所训练得到的指纹特征提取器模型，对指纹库中的指纹图片逐一进行特征提取，用提取的特征向量建立指纹索引库；步骤5，用查询指纹在步骤4中建立的指纹索引库进行快速检索，得到候选指纹序列。2.根据权利要求1所述基于自监督神经网络的指纹快速检索方法，其特征在于，所述步骤1中，预训练时，收集整理ImageNet上带有类别标签的图片数据集；将ImageNet中的每一张图片切割为n张16
×
16像素的图像块，按照从上到下和从左到右的顺序排序，将这n个图像块以序列形式输入线性投射层，输出n个token向量；在这n个token之前加入特殊字符<cls>的token，将共计n+1个token输入至Transformer解码器；将Transformer在<cls>位置的输出作为全连接层分类器的输入，该输入代表了整个图片的语义表达。3.根据权利要求1所述基于自监督神经网络的指纹快速检索方法，其特征在于，所述步骤2中，自监督学习有两个任务：a、从切割好的指纹图片中随机选择一个图像块，对该图像块进行随机旋转，并记录旋转的角度，然后让指纹特征提取器模型预测该图像块的旋转角度；b、从切割好的指纹图片中随机选择一个图像块，并将该图像块遮盖，然后让指纹特征提取器模型根据指纹图片的其他区域去预测生成该图像块。4.根据权利要求3所述基于自监督神经网络的指纹快速检索方法，其特征在于，根据自监督学习的任务a，对指纹图片进行处理，随机选中指纹图片中的一个窗口区域并将其随机旋转一定角度，生成旋转角度的标签；将得到的每个指纹图片切割为n张16
×
16像素图像块；将这n个图像块按照从上到下和从左到右的顺序排序，将排序后的n个图像块序列输入线性投射层，输出n个token向量；在这n个token之前加入特殊字符<rot>的token代表旋转角度，将共计n+1个token输入Transformer解码器；将Transformer的输出中<rot>位置对应的输出角度与生成的旋转角度的标签计算损失，然后反向传播更新参数；根据自监督学习的任务b，对指纹图片进行处理，将每个原始指纹图片切割为n张16
×
16像素图像块；将这n个图像块按照从上到下和从左到右的顺序排序，将排序后的n个图像块序列输入线性投射层，输出n个token向量；在这n个token之前加入特殊字符<cov>的token代表当前任务已经切换为了旋转预测，从这n个token中随机选出一个用<mask>字符代替，并将该位置的图像块作为标签，然后将共计n+1个tok...

【专利技术属性】
技术研发人员：苏依拉，杨佩恒，邱占杰，杨蕾，吉亚图，仁庆道尔吉，
申请(专利权)人：内蒙古工业大学，
类型：发明
国别省市：