一种基于快速人眼语义分割网络的瞳孔精确检测方法技术

本发明专利技术公开了一种基于快速人眼语义分割网络的瞳孔精确测量方法，(a)基于快速人眼语义分割网络，对瞳孔进行精确分割，以获取瞳孔区域；(b)在快速人眼语义分割网络中，膨胀卷积和普通卷积双线并行，扩大感受野同时提升局部精细化能力；(c)引入多个注意力生成模块，充分提取语义特征，获取精细化的语义结果。通过降采样抽取不同层次的特征再结合上采样至原图大小进行推理。其在瞳孔语义特征提取的基础上完成瞳孔的精细化重建，从而进行自动语义分割，避免了在以往算法中存在的一些盲目搜索。

An accurate pupil detection method based on fast human eye semantic segmentation network

The invention discloses an accurate pupil measurement method based on the rapid human eye semantic segmentation network, (a) based on the rapid human eye semantic segmentation network, the pupil is accurately segmented to obtain the pupil area; (b) in the rapid human eye semantic segmentation network, the expansion convolution and the general convolution are parallel, expanding the receptive field and improving the local refinement ability; (c) introducing multiple attention generation It can fully extract semantic features and get refined semantic results. The features of different levels are extracted by downsampling, and then combined with upsampling to the original image size for reasoning. Based on the extraction of pupil semantic features, it completes the fine reconstruction of pupil, so as to carry out automatic semantic segmentation and avoid blind search in the previous algorithms.

【技术实现步骤摘要】
一种基于快速人眼语义分割网络的瞳孔精确检测方法
本专利技术涉及检测领域，特别涉及一种基于快速人眼语义分割网络的瞳孔精确检测方法。
技术介绍
在计算机视觉研究领域，通过提取人眼特征开展人眼相关技术研究一直是该领域的主要研究方向之一。瞳孔检测作为人眼检测中一个重要的中间环节，在眨眼检测、疲劳检测、人机交互等领域有着重要的应用前景。有人提出了一种将Hough圆变换和轮廓匹配相结合的瞳孔检测算法(Hough-Contour)。对每帧图像，首先进行灰度化并滤波去噪；然后提取边缘并利用修改后的Hough梯度法检测出初始圆作为瞳孔参数；最后在滤波后的灰度图上的瞳孔附近用位置和半径在一定范围可变的圆形轮廓去匹配瞳孔，从而计算出瞳孔中心坐标和直径。这类传统图像处理的研究难以克服睫毛和皮肤痣干扰以及不均匀光照干扰，在暗光情况下，难以计算出合适的灰度分割阈值从而导致瞳孔丢失或分割不准确的情况，并且此类算法对于瞳孔不完全漏出或者形变较大的情况，检测成功率较低。还有人提出了一种利用卷积神经网络(ConvolutionalNeuralNetworks，CNN)结合瞳孔不同特征的瞳孔检测算法。该算法首先结合三种瞳孔特征，分别通过图像处理算法独立地找到瞳孔中心，并使用CNN来评估每个结果的质量，选择质量最佳的结果作为输出。实验结果表明，该算法的性能优于目前的传统图像处理方法，但该算法将神经网络用于传统图像处理之后，对图像处理的结果进行运算得出最优中心，无法做到端到端的深度学习，检测结果受到前期图像处理的质量和瞳孔特征选择的影响较大。另外，有人提出了一种基于深度学习的视盘自动分割的通用方法，其采用了FCN[12]与U-Net以及基于U-Net的改进网络的设计思想，通过对U-Net的网络结构进行改进，加深了网络的深度，从而提取出更高的抽象特征，为全局分类提供基础。该研究在青光眼视盘分割中取得了较好的效果，可以对瞳孔语义分割提供借鉴。但是由于瞳孔和上下眼睑之间的距离十分相近，因此单纯的加深U-Net网络可能会导致边界分割不清，因而该方法并不适合瞳孔的语义分割。综上所述，当下研究热点正在逐步从传统图像处理算法向深度学习转移，但仍未出现端到端学习的瞳孔语义分割算法，尽管现有传统图像处理的瞳孔检测方法取得了卓有成效的研究成果，但是对瞳孔检测高精度、高鲁棒性以及高泛化能力的需求仍然为迫切需要解决的问题。
技术实现思路
本专利技术要解决的技术问题是提供一种基于快速人眼语义分割网络的瞳孔精确检测方法，通过降采样抽取不同层次的特征再结合上采样至原图大小进行推理。其在瞳孔语义特征提取的基础上完成瞳孔的精细化重建，从而进行自动语义分割，避免了在以往算法中存在的一些盲目搜索。为了解决上述技术问题，本专利技术的技术方案为：一种瞳孔精确测量方法，包括以下步骤：(a)基于快速人眼语义分割网络，对瞳孔进行精确分割，以获取瞳孔区域；(b)在快速人眼语义分割网络中，膨胀卷积和普通卷积双线并行，扩大感受野同时提升局部精细化能力；(c)引入多个注意力生成模块，充分提取语义特征，获取精细化的语义结果。优选地，所述快速人眼语义分割网络基于深度神经网络，所述深度神经网络包括一收缩路径和一扩展路径。优选地，在所述收缩路径中采用膨胀卷积和普通卷积双线并行，且层层融合。优选地，对所述扩展路径中获得多个特征图分别使用所述注意力生成模块，以生成对应层级的权重图。优选地，所述注意力生成模块的生成步骤为：(c1)对不同尺度和深度的特征输入，采用卷积层进行降维，至与输入层相同的通道数；(c2)利用激活层对特征图中的值进行0-1转换，由此评估重要性，越接近1则越重要；(c3)与输入层的结果进行相乘，从而对输入层中的每一个特征图进行注意力加权。优选地，在所述注意力生成模块中融合在自动通道筛选器。优选地，通过采用所述注意力生成模块计算出每一个通道中目标特征的被激活程度，再通过所述自动通道筛选器来选择出合适的通道来继续向前传播。优选地，所述自动通道筛选器的步骤在于：(d1)对卷积层进行池化，以减小参数量，采用4*4的卷积核进行平均池化，增加全局的语义捕捉能力；(d2)对平均池化后的卷积层，采用全卷积的方法，卷积核为W/4*H/4，生成特征值；(d3)对特征值张量进行激活，将其区间映射到[-1,1]，用以计算每个通道的惩罚因子；(d4)将惩罚因子作用到每一个通道特征图上；(d5)对惩罚后的卷积层进性激活，以避免其在后续的传播过程中，带来误差干扰。优选地，在所述收缩路径中进行4次3层普通卷积后再进行最大池化的操作，原始输入尺寸被缩放16倍，在所述扩张路径中进行4次上采样并与之前的同尺度的卷积层堆叠融合。采用上述技术方案，考虑了人眼结构的复杂度、瞳孔运动速度、瞳孔遮挡等因素，首次提出了一种高效的端到端的深度语义分割网络对人眼图像中瞳孔区域进行语义分割，即基于注意力的深度膨胀卷积U型网络(Attention-baseddeepexpansionconvolutionalU-shapednetwork，ADEU-Net。通过降采样抽取不同层次的特征再结合上采样至原图大小进行推理。其在瞳孔语义特征提取的基础上完成瞳孔的精细化重建，从而进行自动语义分割，避免了在以往算法中存在的一些盲目搜索，实验结果证明了该方法的有效性和可行性。附图说明图1是本专利技术方法中的瞳孔语义分割流程图；图2是本专利技术方法中的DC-Block结构图；图3是本专利技术方法中的膨胀卷积示意图；图4是本专利技术方法中的膨胀卷积的网格效应图；图5是本专利技术方法中的注意力生成结构图；图6是本专利技术方法中的自动通道筛选器示意图；图7是本专利技术方法中的U-Net训练图；图8是本专利技术方法中的ADEU-Net训练过程图；图9是本专利技术方法中的U-Net网络瞳孔分割效果展示图；图10是本专利技术方法中的ADEU-Net网络瞳孔分割效果展示图；图11是本专利技术方法中的传统图像处理算法瞳孔分割效果展示图。具体实施方式下面结合附图对本专利技术的具体实施方式作进一步说明。在此需要说明的是，对于这些实施方式的说明用于帮助理解本专利技术，但并不构成对本专利技术的限定。此外，下面所描述的本专利技术各个实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互组合。本专利技术提供了一种基于深度语义分割网络的瞳孔精确检测方法，可以理解的是，如图1所示，本专利技术方法的具体流程包括：采集人眼图像和深度语义分割两个部分。本方法的采集人眼图像过程中，同时并行了普通卷积和膨胀卷积。进一步地，本专利技术采用一种新的网络结构ADEU-Net，该网络使用DC-Block结构作为特征提取前端，也就是说在采集人眼图像阶段通过DC-Block结构完成采集。在深度语义分割阶段，结合U-net的设计思想通过Deconv反卷积完成特征层的上采样过本文档来自技高网...

【技术保护点】
1.一种基于快速人眼语义分割网络的瞳孔精确测量方法，其特征在于，包括以下步骤：/n(a)基于快速人眼语义分割网络，对瞳孔进行精确分割，以获取瞳孔区域；/n(b)在快速人眼语义分割网络中，膨胀卷积和普通卷积双线并行，扩大感受野同时提升局部精细化能力；/n(c)引入多个注意力生成模块，充分提取语义特征，获取精细化的语义结果。/n

【技术特征摘要】
1.一种基于快速人眼语义分割网络的瞳孔精确测量方法，其特征在于，包括以下步骤：
(a)基于快速人眼语义分割网络，对瞳孔进行精确分割，以获取瞳孔区域；
(b)在快速人眼语义分割网络中，膨胀卷积和普通卷积双线并行，扩大感受野同时提升局部精细化能力；
(c)引入多个注意力生成模块，充分提取语义特征，获取精细化的语义结果。


2.根据权利要求1所述的瞳孔精确测量方法，其特征在于，所述快速人眼语义分割网络基于深度神经网络，所述深度神经网络包括一收缩路径和一扩展路径。


3.根据权利要求2所述的瞳孔精确测量方法，其特征在于，在所述收缩路径中采用膨胀卷积和普通卷积双线并行，且层层融合。


4.根据权利要求2所述的瞳孔精确测量方法，其特征在于，对所述扩展路径中获得多个特征图分别使用所述注意力生成模块，以生成对应层级的权重图。


5.根据权利要求4所述的瞳孔精确测量方法，其特征在于，所述注意力生成模块的生成步骤为：
(c1)对不同尺度和深度的特征输入，采用卷积层进行降维，至与输入层相同的通道数；
(c2)利用激活层对特征图中的值进行0-1转换，由此评估重要性，越接近1则越重要；
(c3)与输入层的结果进行相乘，从而对...

【专利技术属性】
技术研发人员：姚康，付威威，管凯捷，任谊文，朱海龙，潘力，
申请(专利权)人：苏州国科视清医疗科技有限公司，
类型：发明
国别省市：江苏;32