一种基于深度学习的在线泪膜破裂时间检测方法技术

本发明专利技术涉及一种基于深度学习的在线泪膜破裂时间检测方法，属于医学影像技术领域。本发明专利技术提供了一种基于深度学习的泪膜破裂时间的检测方法，相比较传统数字图象处理方法，本发明专利技术技术方案对光照,噪声,环变形，睫毛遮挡，眨眼等情况鲁棒性更强，检测更准。相比于基于原图的深度学习的泪膜破裂时间的检测方法，本发明专利技术在分割之前先用快速定位网络提取环区域，降低分割网络样本空间，减少分割网络输入大小，使分割网络计算量更少，实时性更好，对硬件处理器配置要求更低，能耗更少。

【技术实现步骤摘要】
一种基于深度学习的在线泪膜破裂时间检测方法
本专利技术涉及一种基于深度学习的在线泪膜破裂时间检测方法，属于医学影像

技术介绍
检测泪膜破裂时间确定是否泪液分泌不足，是诊断干眼症的重要手段。在现有的检测技术中，常见的泪膜破裂时间检测是实时获取照射在人眼上的Placido盘图像，然后通过数字图像处理技术分析泪膜破裂位置，检测过程包括应用自适应滤波和闭运算去除睫毛图像,利用椭圆扫描法标记圆环轮廓进行Placido圆环识别,以睁眼后第一帧图像为模板,将后面的每一帧与之分别进行匹配,最后将匹配的图像与第一帧图像做减法运算找到泪膜破裂位置,利用发生破裂图像的帧数计算泪膜破裂时间,并依据此时间对干眼进行诊断。但是这种方法不能很好地处理睫毛遮挡、变形、眨眼等问题。基于原图的深度学习的泪膜破裂，输入大小是原图，没有定位覆盖Placido圆环的有效区域，容易受其他无效区域干扰，并且使用原图会增大样本空间，分割网络复杂度高，从而导致训练难度大，准确性降低，推理时间慢，硬件配置低时不能达到实时。
技术实现思路
本专利技术的目的是为解决目前检测泪膜破裂时间的检测方法中的技术缺陷的技术问题。为达到解决上述问题的目的，本专利技术所采取的技术方案是提供一种基于深度学习的在线泪膜破裂时间检测方法，包括以下步骤：步骤1：实时获取带有Placido盘的人眼视频；步骤2：基于深度卷积网络的分类网络，用来获取最长持续睁眼段作为有效视频段，对步骤1获取的图像识别是否眨眼，并记录眨眼时刻和持续睁眼时间统计；如果遇到下一次眨眼则记录下一次眨眼时刻并开始新的持续睁眼时间统计，循环往复更新最长持续睁眼时间的视频段，直至视频获取结束；步骤3：基于深度卷积网络的快速定位网络，对步骤1获取的图像定位环区域位置，并对环区域进行图像裁剪；本步骤用来提高分割网络输入图像的有效区域占比，减少分割网络的输入分辨率，可以让分割网络的样本空间更小，需求的训练样本更少，分割网络学习更充分高效，可达到在线实时推理目的；步骤4：基于深度卷积网络的快速分割网络，对步骤3获取环区域图像实时分割出泪膜破裂位置，只记录每个位置的首次出现破裂时刻；步骤5：根据步骤2和步骤4的时刻差获取泪膜始破裂时间。优选地，上述步骤2中基于深度卷积网络的分类网络，采用MobileNetV3分类网络，实时对人眼图像进行二分类，识别是否眨眼；分类模型训练采用搭建MobileNetV3分类网络模型；输入图像做灰度化处理；数据扩增采用了旋转、平移、缩放、灰度拉伸、随机模糊的预处理；损失函数采用二分类的交叉熵函数；用MobileNetV3在IMAGENET数据集上的训练权值作为初始权值，然后做微调训练；将数据集分成训练集和验证集，进行迭代训练，最终选取训练集和验证集loss值相差最小的训练权值作为训练结果。优选地，上述步骤3中基于深度卷积网络的快速定位网络，对环边缘进行回归定位，分别取环的最上，最下，最左，最右的点共4个点；采用以MobileNetV3为骨干网络，回归输出4个点的x,y值，然后根据这4点裁剪出环区域图像；搭建MobileNetV3定位网络模型，骨干网络保持不变，只修改最后的输出层；输入图像做了灰度化处理；数据扩增采用了平移、缩放、灰度拉伸、随机模糊预处理；回归损失函数采用均值平方差MSE函数；用MobileNetV3在IMAGENET数据集上的训练权值作为初始权值，然后做微调训练；将数据集分成训练集和验证集，进行迭代训练，最终选取训练集和验证集loss值相差最小的训练权值作为训练结果。优选地，上述步骤4中基于深度卷积网络的快速分割网络,采用DFANet分割网络实时对环区域图像进行分割检测，对每个像素进行二分类，最终得到分割结果；然后对分割结果图像进行Canny边缘提取，叠加到原始图像中显示出来，标记泪膜破裂位置。优选地，所述采用DFANet分割网络实时对环区域图像进行分割检测时，搭建DFANet分割网络模型，骨干网络保持不变，只修改最后的输出层；输入图像做了灰度化处理；数据扩增采用了旋转、平移、缩放、灰度拉伸、随机模糊预处理；损失函数采用二分类的交叉熵函数；用DFANet在Cityscapes数据集上的训练权值作为初始权值，然后做微调训练；将数据集分成训练集和验证集，进行迭代训练；最终选取训练集和验证集loss值相差最小的训练权值作为训练结果。优选地，所述步骤5根据步骤2和步骤4的时刻差获取泪膜始破裂时间，步骤2循环更新最长的持续睁眼时间段，即该持续段的首次睁眼时刻设为t0；步骤4实时获取每个位置的首次破裂时刻，设为t1；所述t1减t0就得到了每个位置的泪膜破裂时间。相比现有技术，本专利技术具有如下有益效果：本专利技术提供了一种基于深度学习的泪膜破裂时间的检测方法，相比较传统数字图象处理方法，本技术方案对光照,噪声,环变形，睫毛遮挡，眨眼等情况鲁棒性更强，检测更准。相比于基于原图的深度学习的泪膜破裂时间的检测方法，本专利技术在分割之前先用快速定位网络提取环区域，降低分割网络样本空间，减少分割网络输入大小，使分割网络计算量更少，实时性更好，对硬件处理器配置要求更低，能耗更少。附图说明图1为带有Placido盘的人眼图像；图2为本专利技术对Placido盘人眼图像环边缘进行定位示意图；图中箭头所示为环的最上，最下，最左，最右的点；图3为本专利技术的根据4点定位裁剪的环区域图像；图4为本专利技术的DFANet分割网络实时对环区域图像进行分割检测得到分割结果图；图5为本专利技术的DFANet分割网络实时对环区域图像进行分割检测图；图6为本专利技术对分割结果图像进行Canny边缘提取，叠加到原始图像中显示标记泪膜破裂位置；图中箭头所示为泪膜破裂位置；具体实施方式为使本专利技术更明显易懂，兹以优选实施例，并配合附图作详细说明如下：本专利技术提供一种基于深度学习的在线泪膜破裂时间检测方法，包括以下步骤：步骤1：实时获取带有Placido盘的人眼视频；步骤2：基于深度卷积网络的分类网络，用来获取最长持续睁眼段作为有效视频段，对步骤1获取的图像识别是否眨眼，并记录眨眼时刻和持续睁眼时间统计；如果遇到下一次眨眼则记录下一次眨眼时刻并开始新的持续睁眼时间统计，循环往复更新最长持续睁眼时间的视频段，直至视频获取结束；步骤3：基于深度卷积网络的快速定位网络，对步骤1获取的图像定位环区域位置，并对环区域进行图像裁剪，如图3所示；本步骤用来提高分割网络输入图像的有效区域占比，减少分割网络的输入分辨率，可以让分割网络的样本空间更小，需求的训练样本更少，分割网络学习更充分高效，可达到在线实时推理目的；步骤4：基于深度卷积网络的快速分割网络，对步骤3获取环区域图像实时分割出泪膜破裂位置，只记录每个位置的首次出现破裂时刻；步骤5：根据步骤2和步骤4的时刻差获取泪膜始破裂时间。其中，上述的步骤1为实时获取的带有Placido盘的人眼图像。如图1示：上述的本文档来自技高网...

【技术保护点】
1.一种基于深度学习的在线泪膜破裂时间检测方法，其特征在于：包括以下步骤：/n步骤1：实时获取带有Placido盘的人眼视频；/n步骤2：基于深度卷积网络的分类网络，用来获取最长持续睁眼段作为有效视频段，对步骤1获取的图像识别是否眨眼，并记录眨眼时刻和持续睁眼时间统计；如果遇到下一次眨眼则记录下一次眨眼时刻并开始新的持续睁眼时间统计，循环往复更新最长持续睁眼时间的视频段，直至视频获取结束；/n步骤3：基于深度卷积网络的快速定位网络，对步骤1获取的图像定位环区域位置，并对环区域进行图像裁剪；本步骤用来提高分割网络输入图像的有效区域占比，减少分割网络的输入分辨率，可以让分割网络的样本空间更小，需求的训练样本更少，分割网络学习更充分高效，可达到在线实时推理目的；/n步骤4：基于深度卷积网络的快速分割网络，对步骤3获取环区域图像实时分割出泪膜破裂位置，只记录每个位置的首次出现破裂时刻；/n步骤5：根据步骤2和步骤4的时刻差获取泪膜始破裂时间。/n

【技术特征摘要】
1.一种基于深度学习的在线泪膜破裂时间检测方法，其特征在于：包括以下步骤：
步骤1：实时获取带有Placido盘的人眼视频；
步骤2：基于深度卷积网络的分类网络，用来获取最长持续睁眼段作为有效视频段，对步骤1获取的图像识别是否眨眼，并记录眨眼时刻和持续睁眼时间统计；如果遇到下一次眨眼则记录下一次眨眼时刻并开始新的持续睁眼时间统计，循环往复更新最长持续睁眼时间的视频段，直至视频获取结束；
步骤3：基于深度卷积网络的快速定位网络，对步骤1获取的图像定位环区域位置，并对环区域进行图像裁剪；本步骤用来提高分割网络输入图像的有效区域占比，减少分割网络的输入分辨率，可以让分割网络的样本空间更小，需求的训练样本更少，分割网络学习更充分高效，可达到在线实时推理目的；
步骤4：基于深度卷积网络的快速分割网络，对步骤3获取环区域图像实时分割出泪膜破裂位置，只记录每个位置的首次出现破裂时刻；
步骤5：根据步骤2和步骤4的时刻差获取泪膜始破裂时间。


2.如权利要求1所述的一种基于深度学习的在线泪膜破裂时间检测方法，其特征在于：所述步骤2中基于深度卷积网络的分类网络，采用MobileNetV3分类网络，实时对人眼图像进行二分类，识别是否眨眼；分类模型训练采用搭建MobileNetV3分类网络模型；输入图像做灰度化处理；数据扩增采用了旋转、平移、缩放、灰度拉伸、随机模糊的预处理；损失函数采用二分类的交叉熵函数；用MobileNetV3在IMAGENET数据集上的训练权值作为初始权值，然后做微调训练；将数据集分成训练集和验证集，进行迭代训练，最终选取训练集和验证集loss值相差最小的训练权值作为训练结果。


3.如权利要求1所述的一种基于深度学习的在线泪膜破裂时间检测方法，其特征在于：所述步骤3中基于深度卷积网络的快速定位网络，对环边缘进行回归定位，分别取环的最上，最下，最左，最右的点共4个点；...

【专利技术属性】
技术研发人员：王崇阳，陈文光，
申请(专利权)人：上海美沃精密仪器股份有限公司，
类型：发明
国别省市：上海;31