基于部分卷积和掩膜更新的指静脉图像修复方法技术

本发明专利技术公开了一种基于部分卷积和掩膜更新的指静脉图像修复方法，包括：对受损指静脉图像进行异常区域(噪声区域)检测，并标记出异常区域；将带有异常区域标记的所述受损指静脉图像生成为对应的原始掩膜图像；将所述受损指静脉图像和所述原始掩膜图像输入到一预先训练的不规则孔洞图像修复模型中，所述不规则孔洞图像修复模型根据所述原始掩膜图像，采用部分卷积和掩膜更新方式对所述受损指静脉图像上的非异常区域进行特征编解码操作，输出对所述受损指静脉图像的修复图。经本发明专利技术修复后的指静脉图像指静脉纹理清晰，原始的噪声区域边缘过渡自然，修复过程简单、效果明显，并且提高了指静脉图像修复的成功率和修复速度。了指静脉图像修复的成功率和修复速度。了指静脉图像修复的成功率和修复速度。

【技术实现步骤摘要】
基于部分卷积和掩膜更新的指静脉图像修复方法


[0001]本专利技术涉及生物识别
，具体涉及一种基于部分卷积和掩膜更新的指静脉图像修复方法。

技术介绍

[0002]随着人工智能技术的发展，人们越来越注重对个人身份信息等隐私信息的保护。指静脉识别因具有活体检测，难以伪造和复制，安全性高等优点，被广泛应用到许多场景，如门禁系统、保险箱等。指静脉识别主要包含四个步骤：指静脉图像的采集、预处理、特征提取和识别。其中，指静脉特征提取最为关键，直接影响了指静脉识别系统的识别性能。而在图像采集过程中，受设备、环境等因素影响，采集到的指静脉图像上可能存在手指干裂、蜕皮、采集设备镜面脏污块等噪声，这使得该部分的手指静脉特征缺失，严重影响指静脉识别系统的识别性能。
[0003]目前，对于指静脉图像噪声区域的修复采用较多的是基于深度学习技术的图像修复方法。现有的基于深度学习的图像修复方法通常使用标准卷积网络，通过对有效区域(非噪声区域)和无效区域(噪声区域)整体进行特征卷积提取，然后取有效区域的像素值填充到像素缺失区域(无效区域)中，实现对噪声区域的指静本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于部分卷积和掩膜更新的指静脉图像修复方法，其特征在于，包括如下步骤：1)对受损指静脉图像进行异常区域检测，并标记出异常区域；2)将带有异常区域标记的所述受损指静脉图像生成为对应的原始掩膜图像；3)将所述受损指静脉图像和所述原始掩膜图像输入到一预先训练的不规则孔洞图像修复模型中，所述不规则孔洞图像修复模型根据所述原始掩膜图像，采用部分卷积和掩膜更新方式对所述受损指静脉图像上的非异常区域进行特征编解码操作，输出对所述受损指静脉图像的修复图。2.根据权利要求1所述的指静脉图像修复方法，其特征在于，所述步骤1)中，对所述受损指静脉图像进行异常区域检测的步骤具体包括：1.1)对所述受损指静脉图像进行图像平滑处理，以去除所述受损指静脉图像上的随机噪声和指纹形成的噪声；1.2)利用边缘检测算子计算所述受损指静脉图像的图像梯度特征，提取所述异常区域的边缘信息，得到所述异常区域对应的边缘图像；1.3)对所述边缘图像进行图像二值化处理；1.4)对所述步骤1.3)计算得到的二值化图像进行图像形态学处理；1.5)计算经图像形态学处理后的所述二值化图像的前景像素数量与所述二值化图像总像素数量的比值，并根据阈值判断方法判断出所述二值化图像的前景是否为所述受损指静脉图像上的指静脉特征异常区域；1.6)将判定为指静脉特征异常的所述二值化图像的前景标记为所述受损指静脉图像上的所述异常区域。3.根据权利要求2所述的指静脉图像修复方法，其特征在于，所述步骤1.4)中，对所述二值化图像进行图像形态学处理包括对所述二值化图像进行膨胀、腐蚀、闭运算、连通域孔洞填充中的任意一种或多种。4.根据权利要求2所述的指静脉图像修复方法，其特征在于，所述步骤1.5)中，若所述二值化图像中的前景像素数量与所述二值化图像的总像素数量的比值大于10％，则将所述二值化图像的前景判定为所述受损指静脉图像上的指静脉特征出现异常的所述异常区域。5.根据权利要求1所述的指静脉图像修复方法，其特征在于，所述步骤3)中，所述不规则孔洞图像修复模型采用的部分卷积方法可通过以下公式(1)表达：公式(1)中，X表示当前卷积窗口的特征值；x
′
表示部分卷积的结果；W表示卷积滤波器的权重；b为W对应的偏置；M为特征值X对应的二进制掩膜；
⊙
表示逐像素乘法；表示缩放比例；
sum(1)表示卷积窗口中的像素个数；sum(1)中的“1”表示与M大小相同的全1矩阵；sum(M)表示所述受损指静脉图像上卷积窗口内的非噪声区域的像素个数。6.根据权利要求5所述的指静脉图像修复方法，其特征在于，公式(1)中的(X
⊙
M)通过以下公式(2)计算而得：公式(2)中，(i，j)表示当前卷积窗口中的像素坐标位置；7.根据权利要求5所述的指静脉图像修复方法，其特征在于，所述步骤3)中，所述不规则孔洞图像修复模型采用的掩膜更新方法可通过以下公式(3)表达：公式(3)中，m
′
表示更新后的特征值X对应的二进制掩膜的值。8.根据权利要求5所述的指静脉图像修复方法，其特征在于，训练所述不规则孔洞图像修复模型采用的损失函数L
total
可通过以下公式(4)表达：L
total
＝λ1L
hole
+λ2L
valid
+λ3L
perceptual
+λ4L
style
+λ5L
tv 公式(4)公式(4)中，L
hole
为静脉缺失区域的修复损失，表示所述修复图上的原始静脉缺失区域与没有缺失的目标图像上的对应位置区域的差异；L
valid
为静脉未缺失区域的修复损失，表示所述修复图上的原始非静脉缺失区域与目标图像上的对应位置区域的差异；L
perceptual
为感知损失，表示真实图像的卷积特征与经模型修复后的所述指静脉图像的卷积特征的差异；L
style
为风格损失，表示所述修复图与所述真实图像间的纹理颜色差异；L
tv
为平滑损失，表示对修复后的所述指静脉图像的不平滑性的惩罚；λ1、λ2、λ3、λ4、λ5分别是L
hole
、L
valid
、L
perceptual
、L
style
、L
tv
对应的损失权重。9.根据权利要求8所述的指静脉图像修复方法，其特征...

【专利技术属性】
技术研发人员：王丹丹，黄跃珍，魏东，杨芬，苏新铎，
申请(专利权)人：广州广电运通金融电子股份有限公司，
类型：发明
国别省市：