一种基于多模型投票机制的虹膜自动分割方法及系统技术方案

本发明专利技术公开了一种基于多模型投票机制的虹膜自动分割方法及系统，方法包括以下步骤：获取数据集进行预处理操作，以得到预处理数据集，将得到的预处理数据集输入训练好的第一个目标检测的卷积神经网络中，以得到每幅人眼虹膜图像中虹膜内外圆的矩形框；通过得到的矩形框拟合获取虹膜外圆的边界轮廓和内圆的边界掩膜，并根据该矩形框将虹膜整体裁剪下来，然后将裁剪下来的虹膜图像放大送入训练好的另外两个分割的深度卷积神经网络中，分别得到虹膜内圆的掩膜；最后通过两个分割模型的掩膜和目标检测模型得到的内圆边界掩膜进行投票得到最终的虹膜内圆结果。有利于虹膜区域内外边界的拟合与定位，为后续的虹膜归一化提供准确的输入参数。的输入参数。的输入参数。

【技术实现步骤摘要】
一种基于多模型投票机制的虹膜自动分割方法及系统


[0001]本专利技术属于图像分割
，更具体地，涉及一种基于多模型投票机制的虹膜自动分割方法及系统。

技术介绍

[0002]虹膜识别由于其具有识别精确的特性，因此，被广泛应用到各个领域中。然而，在实际应用过程中，由于受到虹膜图像采集周围环境的影响，例如，光照和距离等，使得虹膜图像采集的效果不同，部分图像效果较差，后续处理中，很难分割虹膜区域的边界，对虹膜识别产生较大的影响。
[0003]当前使用的分割虹膜图像中虹膜区域的方法包括传统的图像处理方法和基于深度学习的分割方法。然而两种方法在使用中均存在一些缺陷，基于深度学习的分割方法容易出错；传统的方法容易受到干扰，从而影响虹膜图像分割的效果。

技术实现思路

[0004]本申请的目的在于提供一种基于多模型投票机制的虹膜自动分割方法及系统，以提高虹膜分割的准确性。
[0005]为实现本专利技术的目的，本专利技术提供了一种基于多模型投票机制的虹膜自动分割方法，包括以下步骤：
[0006]步骤一：获取虹膜图像数据集并进行预处理操作，以得到预处理数据集；
[0007]步骤二：将步骤一得到的预处理数据集输入训练好的第一个目标检测的深度卷积神经网络中，以得到每幅人眼虹膜图像中虹膜内外圆区域的矩形框坐标、分类及置信度；
[0008]步骤三：将步骤二得到的矩形框拟合得到虹膜内外圆区域的轮廓，并根据所述矩形框将人眼虹膜图像进行裁剪，得到裁剪后的虹膜图像和填充后的内圆边界掩膜图像；<br/>[0009]步骤四：将步骤三得到的裁剪后的虹膜图像输入到训练好的另外两个分割的深度卷积神经网络中，由此得到两个虹膜内圆区域的分割掩膜；
[0010]步骤五：将步骤四得到的两个虹膜内圆区域的分割掩膜和步骤三得到的内圆边界掩膜图像进行投票，得到最终的虹膜内圆的轮廓。
[0011]其中，步骤一中对获取的数据集进行预处理操作包括以下子步骤：
[0012]步骤1
‑
1：对每一幅待分割的人眼虹膜图像进行随机增强操作，以得到随机增强后的图像，构成虹膜目标检测的预处理数据集；
[0013]步骤1
‑
2：对每一幅随机增强后的人眼虹膜图像进行虹膜外圆裁剪操作，以得到随机增强后裁剪的虹膜外圆图像，构成虹膜内圆分割的预处理训练数据集。
[0014]其中，第一个目标检测的深度卷积神经网络，包括顺次连接的骨干网CSPDarkNet53和特征金字塔以及路径聚合网络，其网络结构如下：
[0015]第一层是输入层，其输入为800*800*3像素的矩阵；
[0016]第二层是切片层，其将输入矩阵进行切片操作后变成400*400*12的特征图，再经
过一个卷积核为3*3*64，步长为1且使用SAME模式填充的卷积层后得到的输出为400*400*64；
[0017]之后是特征抽取层，其采用的是公开的特征抽取的骨干网络CSPDarkNet53，CSPDarkNet53是YOLO中DarkNet53网络将其中的残差替换成了跨级分路模块，在该网络中取特征抽取网络CSPDarkNet53中的conv3.x层、conv4.x层和conv5.x层的输出矩阵作为提取的特征C3、C4、C5，其大小分别是100*100*256、50*50*512、25*25*512；
[0018]上采样的特征金字塔网络对骨干网CSPDarkNet53输出的特征C3、C4、C5进行特征融合，上采样的特征金字塔网络的网络结构如下：
[0019]第一层是在特征C5输出上的卷积层，其卷积核尺寸为1*1*512，步长为1，该层使用SAME模式填充，输出矩阵为25*25*512，记为P5；
[0020]第二层是上采样层，其上采样尺寸为2，该层使用SAME模式填充，输出矩阵为50*50*512，记为P5_upsample；
[0021]第三层是增加层，其将输出矩阵P5_upsample和输出矩阵C4通过通道数相加，输出矩阵大小为50*50*1024；
[0022]第四层是和骨干网中一样的模块，由三个跨级分路模块组成，其输出矩阵经过一个卷积核尺寸为1*1*256，步长为1的卷积层后，输出矩阵为50*50*256，记为P4；
[0023]第五层是上采样层，其上采样尺寸为2，该层使用SAME模式填充，输出矩阵为100*100*256，记为P4_upsample；
[0024]第五层是增加层，其将输出矩阵P4_upsample和输出矩阵C3通过通道数相加，输出矩阵大小为100*100*512；
[0025]第六层是同样由三个跨级分路模块组成，其输出矩阵大小为100*100*256，记为P3；
[0026]路径聚合网络是在特征金字塔的基础上建立一个从下往上的增强路径，路径聚合网络的网络结构如下：
[0027]第一层是卷积层，其卷积核尺寸为3*3*256，步长为2，该层使用SAME模式填充，其输出矩阵上采样之后的大小为50*50*256；
[0028]第二层是相加层，其将P4和上一层按通道数相加，输出矩阵大小为50*50*512，记为O2；
[0029]第三层同样是三个跨级分路模块组成，其输出矩阵大小为50*50*512；
[0030]第四层是卷积层，其卷积核尺寸为3*3*512，步长为2，该层使用SAME模式填充，其输出矩阵上采样之后的大小为25*25*512；
[0031]第五层是相加层，其将P5和上一层按通道数相加，输出矩阵大小为25*25*1024，记为O3；
[0032]第六层同样是三个跨级分路模块组成，其输出矩阵大小为25*25*1024；
[0033]最后的输出层是包括了一个卷积核为1*1，步长为1的卷积层，针对P3，O2，O3的256，512，1024三个不同尺寸的通道数的得到的输出。
[0034]其中，除最后一层输出层的卷积层未使用激活函数以外，所有的卷积层都是采用的Hardswish激活函数。
[0035]其中，其中一个分割的深度卷积神经网络为编码
‑
解码分割网络，其网络结构如
下：
[0036]第一层是输入层，其输入为512*512*3像素的矩阵；
[0037]第二层是堆叠的两个卷积层，卷积层的尺寸均为3*3*64和3*3*64，步长均为1，均使用SAME模式填充，其最后输出矩阵的大小为512*512*64，记为U1；
[0038]其后四层均由一个最大池化层与两个卷积层堆叠而成，卷积核大小均为3*3，步长为1，均使用SAME模式填充，最后输出的矩阵大小分别为256*256*128，128*128*256，64*64*512，32*32*512，分别记为U2，U3，U4，U5；
[0039]第七层是由一个上采样层与两个卷积层堆叠而成，卷积核大小均为3*3，步长为1，均使用SAME模式填充，上一层的输出U5先通过上采本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模型投票机制的虹膜自动分割方法，其特征在于，包括以下步骤：步骤一：获取虹膜图像数据集并进行预处理操作，以得到预处理数据集；步骤二：将步骤一得到的预处理数据集输入训练好的第一个目标检测的深度卷积神经网络中，以得到每幅人眼虹膜图像中虹膜内外圆区域的矩形框坐标、分类及置信度；步骤三：将步骤二得到的矩形框拟合得到虹膜内外圆区域的轮廓，并根据所述矩形框将人眼虹膜图像进行裁剪，得到裁剪后的虹膜图像和填充后的内圆边界掩膜图像；步骤四：将步骤三得到的裁剪后的虹膜图像输入到训练好的另外两个分割的深度卷积神经网络中，由此得到两个虹膜内圆区域的分割掩膜；步骤五：将步骤四得到的两个虹膜内圆区域的分割掩膜和步骤三得到的内圆边界掩膜图像进行投票，得到最终的虹膜内圆的轮廓。2.根据权利要求1所述的基于多模型投票机制的虹膜自动分割方法，其特征在于，步骤(1)中对获取的数据集进行预处理操作包括以下子步骤：步骤1
‑
1：对每一幅待分割的人眼虹膜图像进行随机增强操作，以得到随机增强后的图像，构成虹膜目标检测的预处理数据集；步骤1
‑
2：对每一幅随机增强后的人眼虹膜图像进行虹膜外圆裁剪操作，以得到随机增强后裁剪的虹膜外圆图像，构成虹膜内圆分割的预处理训练数据集。3.根据权利要求1所述的基于多模型投票机制的虹膜自动分割方法，其特征在于，第一个目标检测的深度卷积神经网络，包括顺次连接的骨干网CSPDarkNet53和特征金字塔以及路径聚合网络，其网络结构如下：第一层是输入层，其输入为800*800*3像素的矩阵；第二层是切片层，其将输入矩阵进行切片操作后变成400*400*12的特征图，再经过一个卷积核为3*3*64，步长为1且使用SAME模式填充的卷积层后得到的输出为400*400*64；之后是特征抽取层，其采用的是公开的特征抽取的骨干网络CSPDarkNet53，CSPDarkNet53是YOLO中DarkNet53网络将其中的残差替换成了跨级分路模块，在该网络中取特征抽取网络CSPDarkNet53中的conv3.x层、conv4.x层和conv5.x层的输出矩阵作为提取的特征C3、C4、C5，其大小分别是100*100*256、50*50*512、25*25*512；上采样的特征金字塔网络对骨干网CSPDarkNet53输出的特征C3、C4、C5进行特征融合，上采样的特征金字塔网络的网络结构如下：第一层是在特征C5输出上的卷积层，其卷积核尺寸为1*1*512，步长为1，第一层使用SAME模式填充，输出矩阵为25*25*512，记为P5；第二层是上采样层，其上采样尺寸为2，该层使用SAME模式填充，输出矩阵为50*50*512，记为P5_upsample；第三层是增加层，其将输出矩阵P5_upsample和输出矩阵C4通过通道数相加，输出矩阵大小为50*50*1024；第四层是和骨干网中一样的模块，由三个跨级分路模块组成，其输出矩阵经过一个卷积核尺寸为1*1*256，步长为1的卷积层后，输出矩阵为50*50*256，记为P4；第五层是上采样层，其上采样尺寸为2，该层使用SAME模式填充，输出矩阵为100*100*256，记为P4_upsample；第五层是增加层，其将输出矩阵P4_upsample和输出矩阵C3通过通道数相加，输出矩阵
大小为100*100*512；第六层是同样由三个跨级分路模块组成，其输出矩阵大小为100*100*256，记为P3；路径聚合网络是在特征金字塔的基础上建立一个从下往上的增强路径，路径聚合网络的网络结构如下：第一层是卷积层，其卷积核尺寸为3*3*256，步长为2，该层使用SAME模式填充，其输出矩阵上采样之后的大小为50*50*256；第二层是相加层，其将P4和上一层按通道数相加，输出矩阵大小为50*50*512，记为O2；第三层同样是三个跨级分路模块组成，其输出矩阵大小为50*50*512；第四层是卷积层，其卷积核尺寸为3*3*512，步长为2，该层使用SAME模式填充，其输出矩阵上采样之后的大小为25*25*512；第五层是相加层，其将P5和上一层按通道数相加，输出矩阵大小为25*25*1024，记为O3；第六层同样是三个跨级分路模块组成，其输出矩阵大小为25*25*1024；最后的输出层是包括了一个卷积核为1*1，步长为1的卷积层，针对P3，O2，O3的256，512，1024三个不同尺寸的通道数的得到的输出。4.根据权利要求3所述的基于多模型投票机制的虹膜自动分割方法，其特征在于，除最后一层输出层的卷积层未使用激活函数以外，所有的卷积层都是采用的Hardswish激活函数。5.根据权利要求1所述的基于多模型投票机制的虹膜自动分割方法，其特征在于，其中一个分割的深度卷积神经网络为编码
‑
解码分割网络，其网络结构如下：第一层是输入层，其输入为512*512*3像素的矩阵；第二层是堆叠的两个卷积层，卷积层的尺寸均为3*3*64和3*3*64，步长均为1，均使用SAME模式填充，其最后输出矩阵的大小为512*512*64，记为U1；其后四层均由一个最大池化层与两个卷积层堆叠而成，卷积核大小均为3*3，步长为1，均使用SAME模式填充，最后输出的矩阵大小分别为256*256*128，128*128*256，64*64*512，32*32*512，分别记为U2,U3,U4,U5；第七层是由一个上采样层与两个卷积层堆叠而成，卷积核大小均为3*3，步长为1，均使用SAME模式填充，上一层的输出U5先通过上采样层，将其特征图大小扩充至64*64*512，与U4通过通道拼接然后经过第七层包含的两个卷积层后最终的输出大小为64*64*256；第八层与第七层一样，由一个上采样层与两个卷积层堆叠而成，第七层的输出矩阵经过上采样层获得的矩阵大小为128*128*256，然后通过与U3通过通道进行拼接后进入两个卷积层之后得到的最终输出大小为128*128*128；第九层与第八层一样，由一个上采样层与两个卷积层堆叠而成，第八层的输出矩阵经过上采样层获得的矩阵大小为256*256*128，然后通过与U2通过通道进行拼接后进入两个卷积层之后得到的最终输出大小为256*256*64；第十层与第九层一样，由一个上采样层与两个卷积层堆叠而成，第九层的输出矩阵经过上采样层获得的矩阵大小为512*512*64，然后通过与U1通过通道进行拼接后进入两个卷积层之后得到的最终输出大小为512*512*64；最后一层仅一个卷积层，该卷积层卷积核尺寸为1*1*1，步长为1，最终得到的输出为
512*512*1。6.根据权利要求5所述的基于多模型投票机制的虹膜自动分割方法，其特征在于，除最后一层输出层的卷积层未使用激活函数以外，所有的卷积层都是采用的ReLU激活函数。7.根据权利要求1所述的基于多模型投票机制的虹膜自动分割方法，其特征在于，其中一个分割的深度卷积神经网络为基于联合金...

【专利技术属性】
技术研发人员：孙哲南，王云龙，伍湘琼，
申请(专利权)人：天津中科智能识别产业技术研究院有限公司，
类型：发明
国别省市：