一种基于神经网络的手指静脉感兴趣区域检测方法技术

本发明专利技术公开了一种基于神经网络的手指静脉感兴趣区域检测方法，包括步骤：1)收集原始手指静脉图像数据，构建原始训练数据集；2)对原始训练数据集中的图像，标定对应采集图像的手指掩膜区域，构建训练数据集的真实掩膜图像输出；3)设计合适的神经网络模型；4)对原始输入图像以及对应手指掩膜图像进行同步的数据增强；5)对设计的模型设定训练参数进行神经网络训练，并保存训练的神经网络模型参数；6)对待检测图像，使用保存的神经网络获取对应手指掩膜输出；7)根据提取的手指掩膜，校正待检测手指静脉图像，并截取感兴趣区域。本发明专利技术能够稳定提取鲁邦性强的手指感兴趣区域。

An area of interest detection method of finger vein based on Neural Network

【技术实现步骤摘要】
一种基于神经网络的手指静脉感兴趣区域检测方法
本专利技术涉及生物特征识别系统的
，尤其是指一种基于神经网络的手指静脉感兴趣区域检测方法。
技术介绍
手指静脉感兴趣区域检测是手指静脉识别过程中的重要环节。手指静脉识别技术是目前安全性最高的生物识别技术，手指静脉识别的特征来自于手指静脉血管中流动血液的血红蛋白，所以指静脉识别具有别的生物特征没有的活体性，防伪性，是一项十分具有应用前景和价值的生物特征识别技术。但是手指静脉图像的采集设备受限于设备成本和时间推移，采集图像的质量参差不齐；同时根据使用者的使用习惯不同，采集图像中手指的位置可能存在偏移或者旋转，将影响识别系统的识别效果。因此，本设计希望能够通过设计一种基于神经网络的手指静脉感兴趣区域检测方法，使得能够在采集设备存在脏污；光照干扰；手指摆放存在差异等异常情况下提取到稳定的手指静脉感兴趣区域。
技术实现思路
本专利技术的目的在于克服现有技术的缺点与不足，提出了一种基于神经网络的手指静脉感兴趣区域检测方法，通过神经网络提取手指区域掩膜图像以及后处理提取手指静脉感兴趣区域，从而实现对手指静脉感兴趣区域稳定提取，提升后续识别方法的准确性。为实现上述目的，本专利技术所提供的技术方案为：一种基于神经网络的手指静脉感兴趣区域检测方法，包括以下步骤：1)通过手指静脉图像采集设备收集原始手指静脉图像数据，构建原始训练数据集；2)对原始训练数据集中的图像，标定对应采集图像的手指掩膜区域，构建训练数据集的真实掩膜图像输出；3)根据训练数据集特点，设计所需的神经网络模型；4)为增大网络训练数据量以及增强方法的适用性，需要使用数据增强方法对原始输入图像以及对应手指掩膜图像进行同步的数据增强；5)对设计的神经网络模型设定训练参数进行神经网络训练，并保存训练的神经网络模型参数；6)使用手指静脉图像采集设备获取待检测的手指静脉原始图像，然后将待检测的手指静脉图像输入保存好的神经网络模型中，得到待检测的手指静脉图像的手指掩膜输出；7)根据提取的手指掩膜，校正待检测手指静脉图像，并截取感兴趣区域。在步骤1)中，为了提升神经网络的性能，模拟日常使用情景，在设备正常使用的范围内随意摆放，允许手指存在旋转和平移，并保存不同受试者的手指静脉图像数据，每位受试者采集3～6张原始手指静脉图像，一共采集80～100张图像。在步骤2)中，使用开源软件labelme人工标注采集到的手指静脉原始图像的准确边缘轮廓，然后将闭合轮廓内部的像素点赋值255，最终得到最后的手指掩膜图像输出，即图像中手指边缘及其内部为白色像素，像素值255，非手指区域为黑色像素，像素值0，并把它作为原始手指静脉图像的对应真实手指掩膜输出。在步骤3)中，设计所需的神经网络模型，包括以下步骤：3.1)结合数据选取构建模型模型主要由多个卷积层、上采样层、池化层和随机失活层这些神经网络模块组成，若未额外声明，所有卷积层的激活函数都是线性整流函数Relu；输入图像大小为原始图像的大小，根据手指静脉图像采集设备的输出大小设定神经网络的输入层大小；第一层为卷积层；第二层为卷积层；第三层为最大池化层；第四层为卷积层；第五层为卷积层；第六层为最大池化层；第七层为卷积层；第八层为卷积层；第九层为最大池化层；第十层为卷积层；第十一层为卷积层；第十二层为随机失活层；公式如下：r(l)～Bernoulli(p)y～(l)＝r(l)·y(l)其中，r(l)服从概率为p的伯努利分布，y(l)为第l层的激活值，y～(l)为第l层的输出值，wi(l+1)为第l+1层的网络权值，bi(l+1)为第l+1层的偏置；zi(l+1)为第l+1层的隐藏层输入，f(·)为激活函数；第十三层为最大池化层；第十四层为上采样层；第十五层为卷积层；第十六层为堆叠层；第十七层为卷积层；第十八层为卷积层；第十九层为上采样层；第二十层为卷积层；第二十一层为堆叠层；第二十二层为卷积层；第二十二层为卷积层；第二十三层为上采样层；第二十四层为卷积层；第二十五层为堆叠层；第二十六层为卷积层；第二十七层为卷积层；第二十八层为上采样层；第二十九层为卷积层；第三十层为堆叠层；第三十一层为卷积层；第三十二层为卷积层；第三十三层为卷积层；第三十四层为卷积层，使用的激活函数是S型函数，即Sigmoid函数，公式如下：其中e代表自然常数，x代表激活函数的输入；第三十四层的输出为最终的手指掩膜输出图像；3.2)设置损失函数设置损失函数为二元交叉熵函数，用于衡量神经网络输出概率分布和真实分布的区别：loss＝-t1log(y1)-(1-t1)log(1-y1)其中，t1为真实输出，y1为神经网络的输出值，log(·)为对数函数。在步骤4)中，使用数据增强方法对原始输入图像以及对应手指掩膜图像进行同步的数据增强，使用的图像增强方法根据实际使用中存在的噪声干扰进行选取，由于设备实际工作过程中，主要存在的噪声干扰是光照不均衡；被采集手指存在平移和旋转；所以使用的数据增强方法主要是平移、旋转、翻转和亮度变化；其中几何形状的图像数据增强需要对输入的原始手指静脉图像和手指掩膜真实输出图像进行同步进行；而像素强度是数据增强只需对原始手指静脉图像进行。在步骤5)中，将步骤4)的数据增强后的数据输入设计好的神经网络模型中，对设计的模型设定训练参数进行神经网络训练，并保存训练的神经网络模型参数，包括以下步骤：5.1)设置训练参数设置实验优化器为Adam，学习率为0.0001、批次大小为2张、随机失活层的失活概率为0.5；5.2)设置训练完成标志训练完成标志为已达到设定的迭代次数或设置验证集实时检测模型训练情况，验证集准确率满足某个条件；5.3)保存神经网络模型训练完成后，将神经网络的结构和权重保存。在步骤7)中，根据步骤6)中提取的手指掩膜，校正待检测手指静脉图像，并截取感兴趣区域，具体操作如下：7.1)对手指掩膜进行旋转校正对待检测的手指静脉图像的手指掩膜输出，通过计算图像一阶统计矩和二阶统计矩，从而计算得到图像的质心和图像的角度，公式如下：其中，I代表图像一共有I行，J代表图像一共有J列，i代表第i行，j代表第j列，iu代表i的u次方，jv代表j的v次方，V(i,j)代表图像位于i行j列的像素值，Muv代表图像的统计矩，u代表行阶数，v代表列阶数，(xc,yc)为图像质心坐标，xc2代表质心行坐标的平方，yc2代表质心列坐标的平方，θ为图像对行所在轴旋转的角度，通过计算下面三个图像中心矩得到：a为通过统计矩计算得到的图像在行方向的二阶中心矩，b为通过统计矩计算得到的图像在行方向和列方向的二阶中心矩，c为通过统计矩计算得到的图像在列方向的二阶中心矩，arctan(·)为反正切函数；然后对手指掩膜图像和待检测的手指静脉图像进行以图像质心(xc,yc)为中心，-θ的角度进行旋转，将旋转手指摆正；7.2)后处理截取感兴趣区域对摆正后的手指掩膜图像和待检测的手指静脉图像，根据采集摄像头到采集平面的空间几何关系，选择一个固定大小的感兴趣区域选取框，避免对图像缩放改变图像像素的分布，选取的ROI框大小通过统计图像中手指的宽度即粗细和采集框的长度的最小值获取，为了留取余量，采取最小值的0.9倍；并以图像质心作为感兴趣区域框的中心，输出最终的本文档来自技高网...

【技术保护点】
1.一种基于神经网络的手指静脉感兴趣区域检测方法，其特征在于，包括以下步骤：1)通过手指静脉图像采集设备收集原始手指静脉图像数据，构建原始训练数据集；2)对原始训练数据集中的图像，标定对应采集图像的手指掩膜区域，构建训练数据集的真实掩膜图像输出；3)根据训练数据集特点，设计所需的神经网络模型；4)为增大网络训练数据量以及增强方法的适用性，需要使用数据增强方法对原始输入图像以及对应手指掩膜图像进行同步的数据增强；5)对设计的神经网络模型设定训练参数进行神经网络训练，并保存训练的神经网络模型参数；6)使用手指静脉图像采集设备获取待检测的手指静脉原始图像，然后将待检测的手指静脉图像输入保存好的神经网络模型中，得到待检测的手指静脉图像的手指掩膜输出；7)根据提取的手指掩膜，校正待检测手指静脉图像，并截取感兴趣区域。

【技术特征摘要】
1.一种基于神经网络的手指静脉感兴趣区域检测方法，其特征在于，包括以下步骤：1)通过手指静脉图像采集设备收集原始手指静脉图像数据，构建原始训练数据集；2)对原始训练数据集中的图像，标定对应采集图像的手指掩膜区域，构建训练数据集的真实掩膜图像输出；3)根据训练数据集特点，设计所需的神经网络模型；4)为增大网络训练数据量以及增强方法的适用性，需要使用数据增强方法对原始输入图像以及对应手指掩膜图像进行同步的数据增强；5)对设计的神经网络模型设定训练参数进行神经网络训练，并保存训练的神经网络模型参数；6)使用手指静脉图像采集设备获取待检测的手指静脉原始图像，然后将待检测的手指静脉图像输入保存好的神经网络模型中，得到待检测的手指静脉图像的手指掩膜输出；7)根据提取的手指掩膜，校正待检测手指静脉图像，并截取感兴趣区域。2.根据权利要求1所述的一种基于神经网络的手指静脉感兴趣区域检测方法，其特征在于：在步骤1)中，为了提升神经网络的性能，模拟日常使用情景，在设备正常使用的范围内随意摆放，允许手指存在旋转和平移，并保存不同受试者的手指静脉图像数据，每位受试者采集3～6张原始手指静脉图像，一共采集80～100张图像。3.根据权利要求1所述的一种基于神经网络的手指静脉感兴趣区域检测方法，其特征在于：在步骤2)中，使用开源软件labelme人工标注采集到的手指静脉原始图像的准确边缘轮廓，然后将闭合轮廓内部的像素点赋值255，最终得到最后的手指掩膜图像输出，即图像中手指边缘及其内部为白色像素，像素值255，非手指区域为黑色像素，像素值0，并把它作为原始手指静脉图像的对应真实手指掩膜输出。4.根据权利要求1所述的一种基于神经网络的手指静脉感兴趣区域检测方法，其特征在于，在步骤3)中，设计所需的神经网络模型，包括以下步骤：3.1)结合数据选取构建模型模型主要由多个卷积层、上采样层、池化层和随机失活层这些神经网络模块组成，所有卷积层的激活函数都是线性整流函数Relu；输入图像大小为原始图像的大小，根据手指静脉图像采集设备的输出大小设定神经网络的输入层大小；第一层为卷积层；第二层为卷积层；第三层为最大池化层；第四层为卷积层；第五层为卷积层；第六层为最大池化层；第七层为卷积层；第八层为卷积层；第九层为最大池化层；第十层为卷积层；第十一层为卷积层；第十二层为随机失活层；公式如下：r(l)～Bernoulli(p)y～(l)＝r(l)·y(l)其中，r(l)服从概率为p的伯努利分布，y(l)为第l层的激活值，y～(l)为第l层的输出值，wi(l+1)为第l+1层的网络权值，bi(l+1)为第l+1层的偏置；zi(l+1)为第l+1层的隐藏层输入，f(·)为激活函数；第十三层为最大池化层；第十四层为上采样层；第十五层为卷积层；第十六层为堆叠层；第十七层为卷积层；第十八层为卷积层；第十九层为上采样层；第二十层为卷积层；第二十一层为堆叠层；第二十二层为卷积层；第二十二层为卷积层；第二十三层为上采样层；第二十四层为卷积层；第二十五层为堆叠层；第二十六层为卷积层；第二十七层为卷积层；第二十八层为上采样层；第二十九层为卷积层；第三十层为堆叠层；第三十一层为卷积层；第三十二层为卷积层；第三十三层为卷积层；第三十四层为卷积层，使用的激活函数是S型...

【专利技术属性】
技术研发人员：田联房，邝东海，杜启亮，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44