基于多模态融合的单幅近红外手掌图像识别方法技术

本发明专利技术公开了一种基于多模态融合的单幅近红外手掌图像识别方法。首先，采用分块模型去除图像中的掌静脉得到掌纹结构，通过自定义隶属度函数对掌纹结构进行模糊化，再进行反锐化掩模增强，突出掌纹结构信息；然后，使用边缘检测加权引导滤波对掌静脉结构进行增强，突出掌静脉结构；最后，将掌纹和掌静脉图像进行自适应融合。在近红外手掌图像识别中，使用香港理工大学提供的近红外掌纹图像数据库进行对比实验，实验结果显示，相比其他同类方法，本申请的方法具有更高的识别率，达到了99.81％。

Single near infrared palm image recognition method based on multi-modal fusion

The invention discloses a single near infrared palm image recognition method based on multi-modal fusion. Firstly, the palmprint structure is obtained by removing the palmprint vein from the image using a block model, and then the palmprint structure is blurred by a self-defined membership function, and then the palmprint structure is enhanced by anti-sharpening mask to highlight the palmprint structure information. Then, the palmprint vein structure is enhanced by using edge detection weighted guidance filter to highlight the palmprint structure. Finally, the palmprint and palm vein images are adaptively fused. In the near-infrared palmprint image recognition, the near-infrared palmprint image database provided by Hong Kong Polytechnic University is used to carry out comparative experiments. The experimental results show that the proposed method has a higher recognition rate of 99.81% than other similar methods.

【技术实现步骤摘要】
基于多模态融合的单幅近红外手掌图像识别方法
本专利技术属于生物特征身份识别
，特别涉及一种基于多模态融合的单幅近红外手掌图像识别方法。
技术介绍
随着社会经济快速发展，人们对识别技术的要求越来越高。由于磁卡，密码等传统身份认证方式存在丢失和盗取的风险，不能满足当今社会的需要，与此同时，生物识别技术的出现，在安全性和便捷性得到了很大的改善，因此，生物识别技术得到了广泛的应用。生物识别技术有单一生物特征识别技术和多特征融合识别技术；人体不同部位生物特征识别技术也存在很大差别。比如：人脸识别技术，其精度相对较低；虹膜识别技术相对更安全可靠但是采集费用比较大。相比于这些生物特征识别技术，基于手部生物识别技术的信息更容易采集且采集花费相对较低。基于手部的单一生物识别技术包括：指纹识别、手指静脉识别、掌纹识别、手背静脉识别、手掌静脉识别等。多特征融合技术包括：基于离散余弦变换的人脸、手掌静脉和掌纹图像特征层融合，该方法采用局部统计方法，用预先定义的DCT系数块计算标准偏差，并将其存储为特征向量。利用测试向量与训练数据集之间的距离进行匹配；手形、掌纹和掌静脉融合识别,该方法在同一设备不同光源下采集掌静脉和掌纹图像。首先，将手指的相对长度作为手形特征进行初次匹配。然后，采用分块纹理基元模型进行掌静脉和掌纹融合图像的特征提取。最后，进行二次匹配并作为最终识别结果；掌纹与手背静脉融合，该方法通过低分辨率数字扫描仪和红外相机拍摄掌纹和静脉图像，采用混合融合规则进行特征融合；多特征融合识别技术需要采集更多的信息，信息量的增多，加大了信息采集、信息融合，识别等的难度，这些问题也给多生物特征识别技术研究带来了新的挑战。目前，大多数研究者在多特征融合时，是采集不同光照下的多个特征图像，然后进行融合，采集过程较为复杂；李俊林等根据近红外手掌图像同时包含掌纹和掌静脉结构信息，尝试从一幅图像中获取掌纹、掌静脉结构，然后进行融合，这样就可以在提高图像识别率的同时减小图像采集和降低系统融合的难度。但是，该融合识别算法未能很好的突出掌纹结构和掌静脉结构。
技术实现思路
本专利技术的目的是针对现有技术的缺陷，提供一种基于多模态融合的单幅近红外手掌图像识别方法。为了实现上述目的，本专利技术采用以下技术方案：一种基于多模态融合的单幅近红外手掌图像识别方法，包括以下步骤：步骤1：输入原始近红外手掌图像并对图像尺寸进行归一化处理；步骤2：对处理后的图像使用分块增强模型提取掌纹的纹理结构同时去除掌静脉信息；步骤3：使用定义的隶属度函数，对步骤2提取的掌纹结构进行模糊反锐化增强得到增强的掌纹图像；步骤4：对步骤1处理后的近红外手掌图像使用自引导滤波去除掌纹信息，然后对掌静脉信息进行自适应滤波增强得到增强的掌静脉图像；步骤5：将步骤3、4得到的掌纹图像和掌静脉图像进行特征自适应融合，得到相似系数；步骤6：选取数据库的近红外手掌图像按照步骤1至5进行训练，获得加权后的相似系数，并将加权相似系数的最小值为识别阈值，对识别的样本的加权相似系数与训练样本的阈值进行比较，若识别的样本的加权相似系数≥训练样本的阈值，则识别正确。进一步的，步骤2具体采用以下步骤：步骤2.1：将归一化处理后的近红外手掌图像I分割成R*R的小块，计算每个小块像素灰度值的均值，得到维度变小的背景矩阵Iback；步骤2.2：对分块处理后得到的背景矩阵Iback进行双三次插值，使背景矩阵的维数和近红外手掌图像矩阵I的维数相同，此时背景矩阵记为I'back；步骤2.3：将近红外手掌图像矩阵I减去双三次插值处理后的背景矩阵I'back，对I-I'back进行直方图均衡化，得到增强的掌纹结构图像。进一步的，步骤3具体采用以下步骤：步骤3.1:定义的隶属度函数如下：优化后的参数如下：其中，δ为论域X的标准差，m为论域X的均值。c1,c2,c3,c4是四个参数，这个四个值是由统计值决定的；步骤3.1：将步骤2处理后的掌纹图像作为输入图像I0；步骤3.2：对输入图像I0进行Ienhance＝I0-μIfuzzy处理，获得增强后的掌纹结构图像；其中，Ifuzzy为I0经过隶属度函数模糊化后的图像矩阵，μ是细节增强系数。进一步的，步骤4具体采用以下步骤：步骤4.1：使用自引导滤波对输入的手掌图像I进行滤波处理，取滤波半径r＝2和规整化因子λ＝0.01，得到滤波后的结果q1；步骤4.2：将q1作为引导滤波的引导图像和输入图像，选取r＝16和λ＝0.01，进行自引导滤波处理后，得到平滑掌纹后的图像q2；步骤4.3：通过线性增强模型I'＝(q1-q2)·t+q2对掌静脉结构进行增强，得到增强后的掌静脉图像I'，线性增强模型中的系数t＝5；步骤4.4：重复步骤4.1至4.3，进一步增强掌静脉结构，输出图像即为掌静脉增强后的图像。进一步的，步骤5具体采用以下步骤：步骤1：输入原始近红外手掌图像并对图像尺寸进行归一化处理；步骤2：对处理后的图像使用分块增强模型提取掌纹的纹理结构同时去除掌静脉信息；步骤3：使用定义的隶属度函数，对步骤2提取的掌纹结构进行模糊反锐化增强得到增强的掌纹图像；步骤4：对步骤1处理后的近红外手掌图像使用自引导滤波去除掌纹信息，然后对掌静脉信息进行自适应滤波增强得到增强的掌静脉图像；步骤5：将步骤3、4得到的掌纹图像和掌静脉图像进行特征自适应融合，得到相似系数；步骤6：选取数据库的近红外手掌图像按照步骤1至5进行训练，获得加权后的相似系数，并将加权相似系数的最小值为识别阈值，对识别的样本的加权相似系数与训练样本的阈值进行比较，若识别的样本的加权相似系数≥训练样本的阈值，则识别正确。进一步的，步骤6中的相似系数采用式4获得：R′s(i)＝w1(i)Rvein(i)+(1-w1(i))Rprint(i)(4)其中Rvein(i)是训练样本中，掌静脉的相似系数的最小值；Rprint(i)是训练样本中，掌纹的相似系数的最小值；w1是掌静脉相似系数的权值，采用式5获得：w1＝1/3*LV1/(LV1+LP1)+1/3*LV2/(LV2+LP2)+1/3*LV3/(LV3+LP3)(5)G是数据库样本，i∈(1,2,3,...,G)；LV1,LV2,LV3,是衡量掌静脉图像质量的三个指标；LP1,LP2,LP3是衡量掌纹图像质量的三个指标。本专利技术无论从识别率还是稳定性上都具有最好的表现。由于本专利技术在掌纹增强时，使用自定义的隶属度函数，将高灰度区域和低灰度区域分开，通过模糊反锐化增强时，可以很好的突出掌纹结构，使得近红外手掌图像掌纹识别率更高。在掌静脉增强时，因为边缘检测加权引导滤波对图像静脉结构区域和平滑区域的进行了自适应处理，使用该引导滤波对掌静脉结构进行增强，更好的突出掌静脉结构信息，使得近红外手掌图像掌静脉识别率更高。因此，在融合后的识别率也提高了；本专利技术应用在近红外手掌图像掌纹、掌静融合识别上，取得了较好的效果。本申请将所提出的掌纹掌静脉融合识别方法应用近红外手掌图像中，在香港理工大学提供的近红外掌纹图像数据库中进行对比实验，实验结果显示，相比其他同类方法，本专利技术具有更高的识别率，达到了99.81％。实验充分说明了本专利技术的掌纹掌静脉融合识别方法的有效性和普适性。附图说明图1是实施例近红外手掌图像掌纹增强本文档来自技高网...

【技术保护点】
1.一种基于多模态融合的单幅近红外手掌图像识别方法，其特征在于包括以下步骤：步骤1：输入原始近红外手掌图像并对图像尺寸进行归一化处理；步骤2：对处理后的图像使用分块增强模型提取掌纹的纹理结构同时去除掌静脉信息；步骤3：使用定义的隶属度函数，对步骤2提取的掌纹结构进行模糊反锐化增强得到增强的掌纹图像；步骤4：对步骤1处理后的近红外手掌图像使用自引导滤波去除掌纹信息，然后对掌静脉信息进行自适应滤波增强得到增强的掌静脉图像；步骤5：将步骤3、4得到的掌纹图像和掌静脉图像进行特征自适应融合，得到相似系数；步骤6：选取数据库的近红外手掌图像按照步骤1至5进行训练，获得加权后的相似系数，并将加权相似系数的最小值为识别阈值，对识别的样本的加权相似系数与训练样本的阈值进行比较，若识别的样本的加权相似系数≥训练样本的阈值，则识别正确。

【技术特征摘要】
1.一种基于多模态融合的单幅近红外手掌图像识别方法，其特征在于包括以下步骤：步骤1：输入原始近红外手掌图像并对图像尺寸进行归一化处理；步骤2：对处理后的图像使用分块增强模型提取掌纹的纹理结构同时去除掌静脉信息；步骤3：使用定义的隶属度函数，对步骤2提取的掌纹结构进行模糊反锐化增强得到增强的掌纹图像；步骤4：对步骤1处理后的近红外手掌图像使用自引导滤波去除掌纹信息，然后对掌静脉信息进行自适应滤波增强得到增强的掌静脉图像；步骤5：将步骤3、4得到的掌纹图像和掌静脉图像进行特征自适应融合，得到相似系数；步骤6：选取数据库的近红外手掌图像按照步骤1至5进行训练，获得加权后的相似系数，并将加权相似系数的最小值为识别阈值，对识别的样本的加权相似系数与训练样本的阈值进行比较，若识别的样本的加权相似系数≥训练样本的阈值，则识别正确。2.根据权利要求1所述的单幅近红外手掌图像识别方法，其特征在于：所述步骤2具体采用以下步骤：步骤2.1：将归一化处理后的近红外手掌图像I分割成R*R的小块，计算每个小块像素灰度值的均值，得到维度变小的背景矩阵Iback；步骤2.2：对分块处理后得到的背景矩阵Iback进行双三次插值，使背景矩阵的维数和近红外手掌图像矩阵I的维数相同，此时背景矩阵记为I'back；步骤2.3：将近红外手掌图像矩阵I减去双三次插值处理后的背景矩阵I'back，对I-I'back进行直方图均衡化，得到增强的掌纹结构图像。3.根据权利要求1所述的单幅近红外手掌图像识别方法，其特征在于：所述步骤3具体采用以下步骤：步骤3.1:定义的隶属度函数如下：优化后的参数如下：其中，δ为论域X的标准差，m为论域X的均值。c1,c2,c3,c4是四个参数，这个四个值是由统计值决定的；步骤3.1：将步骤2处理后的掌纹图像作为输入图像I0；步骤3.2：对输入图像I0进行Ienhance＝I0-μIfuz...

【专利技术属性】
技术研发人员：王华彬，江晓龙，谢张宾，杜梦丽，余程年，陈昱翔，陶亮，
申请(专利权)人：安徽大学，
类型：发明
国别省市：安徽,34