基于特征融合的大鱼际掌纹识别方法技术

本发明专利技术提供了一种基于特征融合的大鱼际掌纹识别方法，属于人工智能技术领域。该方法首先通过关键点定位方法，得到大鱼际区域掌纹图像，并对提取的大鱼际掌纹进行数据增强处理；再以ResNet152、VGG

【技术实现步骤摘要】
基于特征融合的大鱼际掌纹识别方法


[0001]本专利技术属于人工智能
，具体地说，涉及一种基于特征融合的大鱼际掌纹识别方法。

技术介绍

[0002]大鱼际掌纹识别研究对于现在的医学来说是至关重要的，下面介绍四种近几年国内外所使用的大鱼际掌纹的识别研究方法。
[0003]Ajay Kumar在2016年提出了将卷积神经网络（convolutional neural network）应用于掌纹识别，以建立沿掌纹折痕的关键点并产生更准确的匹配，这也是CNN第一次应用到掌纹之间的匹配，主要是进行研究了将左手掌纹图像与右手掌纹图像进行匹配的可能性，以此来确定一个人的身份。主要的方法是使用多层卷积的模式来连接每个神经元，包括三个卷积单元和两个完全连接层这个网络的结构由不同层的组合组成，输入的数据首先进入到卷积层，通过三个卷积单元形成三个输出，使用相应的非线性激活函数进行激活，在使用全连接层处理来自三个卷积单元的输出，并将当前层的所有输出连接起来。该网络可以在训练阶段通过前向传播和后向传播自动学习最佳参数集。该方法的实验是在一个公开数据集PolyU数据集上进行了实验评估，得到的结果与使用参考点的BLPOC方法相比，性能有明显的提高。
[0004]R.Ramachandra等人在2018年提出一种基于转移学习的新方法，通过微调预训练的AlexNet架构来提高识别大鱼际掌纹的准确性，优点是在处理小量数据方面的适用性，以及在各种生物识别应用中都表现出了不错的性能。所以Ramachandra对于这一个网络架构进行了能够控制学习率参数的微调操作，其中主要是提高了最后几层网络架构的学习率，以此使得后面几层的网络架构能够变化的更快，然后将该算法所提取的掌纹表征以SVM和Soft max分类器得分之和作为度量标准，提高了识别精度。使用了新生婴儿非接触式掌纹数据库（Contactless Palmprint database of Newborn Babies）得到的实验结果，也是能够证明这样的方法是有用的。
[0005]杨冰等人在2020年提出了一种三维掌纹特征提取算法，通过描述三维掌纹的局部特征用来作为输入完成识别，用来描述的方法主要是采用曲率特征、形状指数、表面类型来进行描述，并将描述出来的上述特征作为后续使用深度学习方法的输入，其中深度学习的方法主要是使用的卷积神经网络（convolutional neural network），与Ajay Kumar的区别是，杨等人使用的卷积层数更多并且进行了不同卷积模型的比较实验，包括AlexNet、GoogleNet、Vgg16、ResNet50：其中AlexNet包含 8 个层，前 5 层为卷积层，后 3 层为全连接层；GoogleNet包含 22 层，采用了 Inception 模块化的结构，额外增加了 2 个Softmax用于梯度前向传导，并且增加了 2 个 loss 来避免梯度回传消失；Vgg16 由 5 个池化层和 13 个卷积层组成，所有的隐藏层都包含RuLU激活函数；ResNet50 与传统的网络结构最大的区别在于ResNet网络结构通过捷径连接的方式，把输入传到输出作为初始结果。最后使用的中国香港香港理工大学三维掌纹数据库进行比较，结果显示四种方法均可以进行有
效的识别且优于其他的方法，所以证明使用深度学习进行掌纹识别是非常有效的。
[0006]吴碧巧等人在2021年提出基于迁移学习的掌纹图像识别算法，该方法主要是以VGG16为基础网络，使用迁移学习将从源域学习到的信息迁移转换到目标域，解决目标域带标签样本数据量较少的识别问题。吴等人主要是将原本的VGG16模型进行了一些更改，将原模型中的 flatten操作换成全局最大池化操作，可以有效的较少参数数量，防止过拟合。将第3个全连接层的softmax激活函数换成relu激活函数，并在其后接一个全连接层160个神经元，代表着160个类别。通过Imagenet比赛中预训练得到的数据集，对高分辨率掌纹识别的准确率能达到96.56%，采用了迁移学习的VGG16网络其在准确率、收敛速度和稳定性都优于随机初始化的模型。
[0007]但是，上述方法虽然已经获得较高的准确率，但是上述方法理论性强，在实际训练过程中存在难以收敛以及模型所得结果不稳定等问题，因此无法在实际应用中得到普及。

技术实现思路

[0008]本专利技术提出了一种基于特征融合的大鱼际掌纹识别方法，以弥补现有技术的不足。
[0009]本专利技术首先对数据进行预处理，然后对处理后的图片进行高层语义特征和局部信息的提取，将提取到的特征进行融合，融合后的信息输入到softmax分类器中进行判断。
[0010]为实现上述专利技术目的，本专利技术采用下述技术方案予以实现：一种基于特征融合的大鱼际掌纹识别方法，包括以下步骤：S1：收集掌纹数据并进行预处理，再使用基于关键点定位的方法对所述掌纹数据进行大鱼际区域提取；分为训练集和测试集；S2：以ResNet152为基础实现模型，将SoftPool软池化操作引入该模型提取高层语义特征，利用等价模式LBP算子提取局部纹理特征；利用训练集对改进后的ResNet152模型进行训练；训练得到分类结果；S3：引入AdaBoost算法，并根据ResNet152的分类结果来调整训练集中数据的权重，利用加权后的训练数据集再训练VGG
‑
19；所述VGG
‑
19中引入RGA来增加该模型对全局特征的提取能力；所述AdaBoost算法将ResNet152、VGG
‑
19两种网络模型进行集成；S4：测试集数据分别通过训练好的ResNet152模型和VGG
‑
19模型进行处理，分别得到预测结果；S5：基于AdaBoost算法，将ResNet152与VGG
‑
19的预测结果进行加权求和，得到最终的分类结果。
[0011]进一步的，所述S1中：S1
‑
1：在YCrCb颜色空间中的Cr分量下结合OSTU阈值分割算法，更精准的实现图像分割：（1）在YCrCb颜色空间中的Cr分量下对采集数据进行手部轮廓提取；（2）结合OSTU阈值分割算法遍历获取Cr分量下的背景与目标区域的分割阈值，提高图像分割精度；S1
‑
2：利用凸包和凸缺陷搜索算法定位手指间谷点，得到大鱼际区域掌纹图像：（1）利用凸包和凸缺陷搜索算法对Cr分量下的手部区域进行轮廓提取；
（2）依据凸包和凸缺陷检测算法定位手指间谷点；S1
‑
3：对倾斜的数据角度校准后进行大鱼际掌纹的提取：（1）依据勾股定理得出旋转角度公式，对倾斜的数据进行角度校准后进行左右手判断；（2）依据左右手大鱼际位置特点进行目标区域标注并截取；（3）依据手指间谷点之间的距离与基准数值之间的比例对标注框进行等比放缩。
[0012]进一步的，所述S2具体如下：S2
‑
1：在ResNet152模型卷积层后引入软池化（SoftPool）方法，对卷积得到的特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征融合的大鱼际掌纹识别方法，其特征在于，包括以下步骤：S1：收集掌纹数据并进行预处理，再使用基于关键点定位的方法对所述掌纹数据进行大鱼际区域提取；分为训练集和测试集；S2：以ResNet152为基础实现模型，将SoftPool软池化操作引入该模型提取高层语义特征，利用等价模式LBP算子提取局部纹理特征；利用训练集对改进后的ResNet152模型进行训练；训练得到分类结果；S3：引入AdaBoost算法，并根据ResNet152的分类结果来调整训练集中数据的权重，利用加权后的训练数据集再训练VGG
‑
19；所述VGG
‑
19中引入RGA；所述AdaBoost算法将ResNet152、VGG
‑
19两种网络模型进行集成；S4：测试集数据分别通过训练好的ResNet152模型和VGG
‑
19模型进行处理，分别得到预测结果；S5：基于AdaBoost算法，将ResNet152与VGG
‑
19的预测结果进行加权求和，得到最终的分类结果。2.如权利要求1所述的大鱼际掌纹识别方法，其特征在于，所述S1中：S1
‑
1：在YCrCb颜色空间中的Cr分量下结合OSTU阈值分割算法，更精准的实现图像分割：在YCrCb颜色空间中的Cr分量下对采集数据进行手部轮廓提取；结合OSTU阈值分割算法遍历获取Cr分量下的背景与目标区域的分割阈值，提高图像分割精度；S1
‑
2：利用凸包和凸缺陷搜索算法定位手指间谷点，得到大鱼际区域掌纹图像：利用凸包和凸缺陷搜索算法对Cr分量下的手部区域进行轮廓提取；依据凸包和凸缺陷检测算法定位手指间谷点；S1
‑
3：对倾斜的数据角度校准后进行大鱼际掌纹的提取：依据勾股定理得出旋转角...

【专利技术属性】
技术研发人员：杨翠云，徐英豪，侯钧译，曹怡亮，吕玉超，朱习军，
申请(专利权)人：青岛科技大学，
类型：发明
国别省市：