基于编码器-解码器的手指静脉成像时残缺信息复原方法技术

一种基于编码器‑解码器的手指静脉成像时残缺信息复原方法。其包括对手指静脉图像进行ROI提取；构建编码器‑解码器生成网络模型复原残缺信息；采用不同的方法检测手指静脉图像的残缺信息，运用训练集训练好的模型，复原手指静脉成像时的缺损信息；进行相似度匹配等步骤。本发明专利技术提供的基于编码器‑解码器的手指静脉成像时残缺信息复原方法，通过编码器网络充分地学习了手指静脉图像的已知信息，学习的特征表示通过解码器网络复原出残缺信息，增加血管网络的随机性，使静脉网络丰富了，增加类内相似性，增加类间差异性，从而大大提高了识别性能。

【技术实现步骤摘要】
基于编码器-解码器的手指静脉成像时残缺信息复原方法
本专利技术属于手指静脉图像识别
，特别是涉及一种基于编码器-解码器的手指静脉成像时残缺信息复原方法。
技术介绍
由于手指静脉特征具有活体性和唯一性等优点，因此其在生物特征识别领域占据一席之地。手指静脉识别技术是利用手指静脉纹理进行身份鉴别的，这对人没有伤害并且难以伪造。获取手指静脉图像很容易，并且其识别过程是用户友好的。因此，指静脉识别技术被广泛应用于金融和政府机构领域等门禁系统。在某些情况下，如果手指静脉成像时手指自带异物，比如手指上粘有泥点或灰等，这种异物通常称之为斑点或污点，这样会直接造成手指静脉网络的缺损。如果不复原的话，由于手指静脉网络本身是缺损的，那么二值化、骨架化后还是缺损的，因此不利于提取完整的手指静脉网络，并影响识别性能。为了提升识别性能，需要复原手指静脉网络的残缺信息使手指静脉网络更加丰富完整，以增加血管网络的随机性，增加类内相似性，增大类间差异性，从而提升识别性能。因此，探索一种复原成像时的静脉网络残缺方法就成为研究中的关键问题。
技术实现思路
为了解决上述问题，本专利技术的目的在于提供一种基于编码器-解码器的手指静脉成像时残缺信息复原方法。为了达到上述目的，本专利技术提供的基于编码器-解码器的手指静脉成像时残缺信息复原方法包括按顺序进行的下列步骤：1)对采集的原始手指静脉图像进行ROI提取而获得手指静脉ROI图像，然后将手指静脉ROI图像统一归一化为90×200，由所有手指静脉ROI图像构成训练集，并且每张手指静脉ROI图像都设置一个标签而作为标签图像；2)在训练集中每张标签图像上人为随机设定一块残缺区域而获得含有残缺信息的手指静脉ROI图像，构建编码器-解码器生成网络模型，然后将上述含有残缺信息的手指静脉ROI图像输入到编码器-解码器生成网络模型中来对该模型进行训练，以复原残缺信息，获得复原图像；并在训练过程中采用损失函数优化复原图像；3)选取手指静脉成像时手指自带异物的自带污点或斑点的手指静脉图像，然后进行ROI提取而获得自带污点或斑点的手指静脉ROI图像，之后统一归一化为90×200，由这些自带污点或斑点的手指静脉ROI图像构成测试集；4)采用滑窗、自适应阈值和点扩块方法中的任一种检测上述测试集中自带污点或斑点的手指静脉ROI图像上的污点或斑点，获得含有疑似污点或斑点的手指静脉ROI图像，然后输入到上述经训练集训练后的编码器-解码器生成网络模型中，获得自带污点或斑点的手指静脉ROI图像的复原图像；5)将上述自带污点或斑点的手指静脉ROI图像的复原图像作为输入样本，将数据库中完整的手指静脉ROI图像作为模板样本，将输入样本与同一根手指的多个模板样本进行相似度匹配，以判定是否属于同类。在步骤2)中，所述的在训练集中每张标签图像上人为随机设定一块残缺区域而获得含有残缺信息的手指静脉ROI图像，构建编码器-解码器生成网络模型，然后将上述含有残缺信息的手指静脉ROI图像输入到编码器-解码器生成网络模型中来对该模型进行训练，以复原残缺信息，获得复原图像；并在训练过程中采用损失函数优化复原图像的方法是：每训练一次,就在标签图像上人为设定一块残缺区域；残缺区域的设定是从标签图像上随机选择一个固定大小的区域，将此区域像素值统一用一个较大像素值来表示，由此形成一张含有残缺信息的手指静脉ROI图像；然后构建编码器-解码器生成网络模型，该模型由三部分构成，即编码器、通道全连接层和解码器；编码器由三层卷积层构成，用于提取含有残缺信息的手指静脉ROI图像的特征，根据公式(1)计算提取的含有残缺信息的手指静脉ROI图像的特征；通道全连接层用于将提取到的含有残缺信息的手指静脉ROI图像的特征输送给解码器；解码器由三层解卷积层构成，利用提取到的含有残缺信息的手指静脉ROI图像的特征来复原残缺信息，获得复原图像；之后将含有残缺信息的手指静脉ROI图像输入到上述构建的编码器-解码器生成网络模型中来对该模型进行训练，复原出残缺信息，获得复原图像；在训练过程中采用公式(2)所示的损失函数L1优化复原图像，并将复原图像不断地与标签图像进行比较，并计算损失函数L1的损失值，损失值越小，表明复原图像越接近标签图像，复原结果越好；其中，X表示卷积计算过程中的含有残缺信息的手指静脉ROI图像，W表示卷积核的权重，B表示偏置；其中，x表示标签图像，xg表示含有残缺信息的手指静脉ROI图像，G表示编码器-解码器生成网络模型，G(xg)表示复原图像。在步骤4)中，所述的采用滑窗、自适应阈值和点扩块方法中的任一种检测上述测试集中自带污点或斑点的手指静脉ROI图像上的污点或斑点，获得含有疑似污点或斑点的手指静脉ROI图像，然后输入到上述经训练集训练后的编码器-解码器生成网络模型中，获得自带污点或斑点的手指静脉ROI图像的复原图像的方法是：首先，采用滑窗方法检测污点或斑点，获得含有疑似污点或斑点的手指静脉ROI图像的检测步骤是：首先从某幅自带污点或斑点的手指静脉ROI图像的左上角开始，每滑动一个像素计算这一个块的像素均值；然后将这一点的坐标和这一块的像素均值以键值对的形式保存在字典里；最后按像素均值从大到小排序，其中像素均值最小的区域疑似为污点或斑点，获得含有疑似污点或斑点的手指静脉ROI图像；其次，采用自适应阈值方法检测污点或斑点，获得含有疑似污点或斑点的手指静脉ROI图像的检测步骤是：由于手指静脉纹路的像素值较暗，计算疑似手指静脉纹路的像素均值；再遍历整幅自带污点或斑点的手指静脉ROI图像，如果该点像素值小于像素均值，该点就疑似为污点或斑点，并用统一像素值表示，获得含有疑似污点或斑点的手指静脉ROI图像；最后，采用点扩块方法检测污点或斑点，获得含有疑似污点或斑点的手指静脉ROI图像的检测步骤是：由于手指静脉纹路的像素值较暗，计算疑似手指静脉纹路的像素均值；再遍历整幅自带污点或斑点的手指静脉ROI图像，如果该点像素值小于像素均值，该点周围就疑似为污点或斑点，并用统一像素值表示，获得含有疑似污点或斑点的手指静脉ROI图像；将上述含有疑似污点或斑点的手指静脉ROI图像作为输入图像，输送到上述经训练集训练后的编码器-解码器生成网络模型中，复原出污点或斑点位置应有的手指静脉网络，从而得到自带污点或斑点的手指静脉ROI图像的复原图像。在步骤5)中，所述的将上述自带污点或斑点的手指静脉ROI图像的复原图像作为输入样本，将数据库中完整的手指静脉ROI图像作为模板样本，将输入样本与同一根手指的多个模板样本进行相似度匹配，以判定是否属于同类的方法是：进行相似度匹配时，计算输入样本和模板样本的相关系数，用1减去相关系数，若差值小于相似性阈值T，认为与输入样本和模板样本相对应的两张图像是同类，否则为不同类；相似性阈值T是手指静脉ROI图像匹配结果中错误拒绝率为0，且错误允许率最低时所对应的阈值点。本专利技术提供的基于编码器-解码器的手指静脉成像时残缺信息复原方法，通过编码器网络充分地学习了手指静脉图像的已知信息，学习的特征表示通过解码器网络复原出残缺信息，增加血管网络的随机性，使静脉网络丰富了，增加类内相似性，增加类间差异性，从而大大提高了识别性能。附图说明图1本专利技术提供的基于编码器-解码器的手指静脉成本文档来自技高网...

【技术保护点】
1.一种基于编码器‑解码器的手指静脉成像时残缺信息复原方法，其特征在于：所述的残缺信息复原方法包括按顺序进行的下列步骤：1)对采集的原始手指静脉图像进行ROI提取而获得手指静脉ROI图像，然后将手指静脉ROI图像统一归一化为90×200，由所有手指静脉ROI图像构成训练集，并且每张手指静脉ROI图像都设置一个标签而作为标签图像；2)在训练集中每张标签图像上人为随机设定一块残缺区域而获得含有残缺信息的手指静脉ROI图像，构建编码器‑解码器生成网络模型，然后将上述含有残缺信息的手指静脉ROI图像输入到编码器‑解码器生成网络模型中来对该模型进行训练，以复原残缺信息，获得复原图像；并在训练过程中采用损失函数优化复原图像；3)选取手指静脉成像时手指自带异物的自带污点或斑点的手指静脉图像，然后进行ROI提取而获得自带污点或斑点的手指静脉ROI图像，之后统一归一化为90×200，由这些自带污点或斑点的手指静脉ROI图像构成测试集；4)采用滑窗、自适应阈值和点扩块方法中的任一种检测上述测试集中自带污点或斑点的手指静脉ROI图像上的污点或斑点，获得含有疑似污点或斑点的手指静脉ROI图像，然后输入到上述经训练集训练后的编码器‑解码器生成网络模型中，获得自带污点或斑点的手指静脉ROI图像的复原图像；5)将上述自带污点或斑点的手指静脉ROI图像的复原图像作为输入样本，将数据库中完整的手指静脉ROI图像作为模板样本，将输入样本与同一根手指的多个模板样本进行相似度匹配，以判定是否属于同类。...

【技术特征摘要】
1.一种基于编码器-解码器的手指静脉成像时残缺信息复原方法，其特征在于：所述的残缺信息复原方法包括按顺序进行的下列步骤：1)对采集的原始手指静脉图像进行ROI提取而获得手指静脉ROI图像，然后将手指静脉ROI图像统一归一化为90×200，由所有手指静脉ROI图像构成训练集，并且每张手指静脉ROI图像都设置一个标签而作为标签图像；2)在训练集中每张标签图像上人为随机设定一块残缺区域而获得含有残缺信息的手指静脉ROI图像，构建编码器-解码器生成网络模型，然后将上述含有残缺信息的手指静脉ROI图像输入到编码器-解码器生成网络模型中来对该模型进行训练，以复原残缺信息，获得复原图像；并在训练过程中采用损失函数优化复原图像；3)选取手指静脉成像时手指自带异物的自带污点或斑点的手指静脉图像，然后进行ROI提取而获得自带污点或斑点的手指静脉ROI图像，之后统一归一化为90×200，由这些自带污点或斑点的手指静脉ROI图像构成测试集；4)采用滑窗、自适应阈值和点扩块方法中的任一种检测上述测试集中自带污点或斑点的手指静脉ROI图像上的污点或斑点，获得含有疑似污点或斑点的手指静脉ROI图像，然后输入到上述经训练集训练后的编码器-解码器生成网络模型中，获得自带污点或斑点的手指静脉ROI图像的复原图像；5)将上述自带污点或斑点的手指静脉ROI图像的复原图像作为输入样本，将数据库中完整的手指静脉ROI图像作为模板样本，将输入样本与同一根手指的多个模板样本进行相似度匹配，以判定是否属于同类。2.根据权利要求1所述的基于编码器-解码器的手指静脉成像时残缺信息复原方法，其特征在于：在步骤2)中，所述的在训练集中每张标签图像上人为随机设定一块残缺区域而获得含有残缺信息的手指静脉ROI图像，构建编码器-解码器生成网络模型，然后将上述含有残缺信息的手指静脉ROI图像输入到编码器-解码器生成网络模型中来对该模型进行训练，以复原残缺信息，获得复原图像；并在训练过程中采用损失函数优化复原图像的方法是：每训练一次,就在标签图像上人为设定一块残缺区域；残缺区域的设定是从标签图像上随机选择一个固定大小的区域，将此区域像素值统一用一个较大像素值来表示，由此形成一张含有残缺信息的手指静脉ROI图像；然后构建编码器-解码器生成网络模型，该模型由三部分构成，即编码器、通道全连接层和解码器；编码器由三层卷积层构成，用于提取含有残缺信息的手指静脉ROI图像的特征，根据公式(1)计算提取的含有残缺信息的手指静脉ROI图像的特征；通道全连接层用于将提取到的含有残缺信息的手指静脉ROI图像的特征输送给解码器；解码器由三层解卷积层构成，利用提取到的含有残缺信息的手指静脉ROI图像的特征来复原残缺信息，获得复原图像；之后将含有残缺信息的手指静脉ROI图像输入到上述构建的编码器-解码器生成网络模型中来对该模型进行训练，复原出残缺信息，获得复原图像；在训练过程中采用公式(2)所示的损失函数L1优化复原图像...

【专利技术属性】
技术研发人员：杨金锋，李丹，
申请(专利权)人：中国民航大学，
类型：发明
国别省市：天津,12