一种基于深度学习的泪膜破裂时间检测系统技术方案

本发明专利技术公开了一种基于深度学习的泪膜破裂时间检测系统，包括计算机存储器、计算机处理器以及存储在计算机存储器中并可在计算机处理器上执行的计算机程序，计算机存储器中存有训练好的分类模型和干燥斑分割模型，计算机处理器执行计算机程序时实现以下步骤：将拍摄的泪膜破裂时间检查视频提取出所有帧后输入分类模型，输出每帧图像的分类标签，形成一个0/1序列；提取序列中3～5段睁眼段作为检测段；将每个检测段分别输入干燥斑分割模型进行分割预测，记录每个检查段中首次出现干燥斑的帧的位置，计算出每个检测段的泪膜破裂时间，最后取平均值作为待测者的整体泪膜破裂时间。利用本发明专利技术，可以提高计算机辅助诊断干眼症的适应性和准确率。

A tear film break time detection system based on deep learning

【技术实现步骤摘要】
一种基于深度学习的泪膜破裂时间检测系统
本专利技术属于医疗数据挖掘领域，尤其是涉及一种基于深度学习的泪膜破裂时间检测系统。
技术介绍
干眼症又称角结膜干燥症，是指任何原因造成的泪液质或量异常或动力学异常，导致泪膜稳定性下降，并伴有眼部不适或眼表组织病变特征的多种疾病的总称。该疾病在老年人、计算机使用者和戴隐形眼镜者群体中尤为多发，而我国干眼症一般性的发病率百分之十几以上，同时由于干眼病因复杂，发病机理亦繁杂，不同地区干眼患病情况差异较大，目前尚缺乏该方面的统一诊断标准，但干眼症的准确诊断对正确、早期的治疗意义显著。针对自然环境、生活环境、年龄、性别、药物、疾病和准分子激光矫正屈光不正等多种因素复杂因素所引起的干眼症，其诊断和治疗方式也多种多样。我国由于干眼症研究起步较晚，目前暂无统一标准，而2013年中华医学会眼科学分会角膜学组发布了我国首个正式的干眼共识《干眼临床诊疗专家共识》，共识中明确把BUT检查结果作为干眼诊断必须指标，有干眼六大主观症状之一和BUT<5秒，有干眼六大主观症状之一和5秒<BUT<10秒,同时有角结膜荧光素染色阳性，均可诊断为干眼。泪膜破裂时间(BUT)是指一次完全瞬目后到泪膜上出现第一个干燥斑的时间。泪膜破裂时间检查是眼科最为常用的评价泪膜稳定性的临床检查方法。该检查需要在温度、湿度、照明恒定的条件下，用荧光素钠试纸条，无菌生理盐水，裂隙灯显微镜和电子计时器进行主观测量，同时，很大一部分做该项检查的人都是正常眼，因此也具有一定的客观筛查需求。针对临床使用的BUT测量方法，有变异度大、受泪液量干扰大、主观性强等问题。另外，现有技术出现过的视频分析方法，其在检测段切分上面，均采用了较为传统的方式，而由于实际视频采集过程中，环境因素、眼睛状况和拍摄状况的影响，视频帧的图像对比度、亮度等会出现一定的差异，很可能会影响传统方法的判断，而此时则需要一个更稳定更好，能应对各种复杂变换的方法来进行检测段的切分，针对干燥斑的检测方法上，利用传统方法也同样具有适应性差的问题。从20世纪40年代的感知器，到90年代末期首次提出的卷积神经网络(CNN，特指LeNet)，到2012年深度学习在目标识别应用上的喷发，都对图像分类和分割这一应用带来深远影响。随着技术的进步，应用场景也逐渐增广，但还是要针对应用场景克服不同的困难。
技术实现思路
为解决现有技术中泪膜破裂时间检测方法主观性强、变异度大、受泪液量干扰大、以及传统方法适应性差和准确率有待提升等问题，本专利技术提供了一种基于深度学习的泪膜破裂时间检测系统。一种基于深度学习的泪膜破裂时间检测系统，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，所述计算机存储器中存有训练好的分类模型和干燥斑分割模型，所述的分类模型和干燥斑分割模型分别采用ResNet模型和UNet模型；所述计算机处理器执行所述计算机程序时实现以下步骤：将拍摄的待测者泪膜破裂时间检查视频提取出所有帧后输入分类模型，输出每帧图像的分类标签，形成一个0/1序列，其中，睁眼的标签为1，闭眼的标签为0；提取序列中3～5段时间最长的睁眼段，作为泪膜破裂时间检查的检测段；将每个检测段分别输入干燥斑分割模型进行分割预测，记录每个检查段中首次出现干燥斑的帧的位置，通过与检查段首帧的时间间隔计算出每个检测段的泪膜破裂时间，最后取平均值作为待测者的整体泪膜破裂时间。本专利技术对视频帧首先采用深度学习的分类方法获得检测段，再在检测段中用分割方法检测出干燥斑首次出现的位置，最后利用多次检测段的泪膜破裂时间综合数值得到最终的泪膜破裂时间，解决了BUT检测主观性强等问题。分类模型是针对眼睛开闭状态判断的一个二分类模型，本专利技术采用ResNet系列方法，对其进行精细分割；而分割模型则是采用UNet系列方法进行训练，由于出现干燥斑区域在虹膜边界以内，而眼睛的睫毛和眼睑等部位则时常对遮盖目标区域，因此在实际使用中需要增加一个权重矩阵，该矩阵通过统计方法得到，强调关键目标区域的关键作用(从瞳孔往外，权重逐渐降低)，而这部分的预测损失将会占据最大的部分，通过反向传播的学习得到更佳的分割模型。所述分类模型和干燥斑分割模型的训练过程如下：数据集构造：利用裂隙灯显微镜拍摄受试者的泪膜破裂时间检查视频，将视频分成训练集和测试集并提取出训练集中视频的所有帧，并请专业眼科医生对所有训练集的图片帧进行数据标注，标注包括分类标注和分割标注，分类为对图片分闭眼和睁眼两种，分割为标注出睁眼图片中干燥斑的轮廓；分类模型训练：基于2分类的训练数据，构建ResNet分类模型，输入为标注的分类数据，输出为其对应分类标签；采用该方法进行训练，调节模型参数，直至模型收敛，并保存分类模型；干燥斑分割模型训练：建立以UNet为基础模型的图像分割模型，输入标注的分割数据和权重参数矩阵，输出为其对应标签；采用该方法进行训练，调节模型参数，直至模型收敛，并保存图像分割模型；其中，权重参数矩阵用以控制目标区域的学习，排除单帧图像边缘复杂因素的影响。数据集构造过程中，数据标注的具体方法为：分类标签针对检查视频的单帧图像进行闭眼和睁眼两种标记，若闭眼则分类标注为0，否则为1；单帧图像的分割标注为框出干燥斑所在区域，存在干燥斑的位置为1，其余为0，使用时形成分割的One-hot标注，若分割标注为0，则One-hot标注为(1,0)，反之为(0,1)。数据集构造过程中，按8:2将检查视频分成训练集和测试集，当训练集的数据不均衡情况严重，导致模型的训练效果很差，则手动提取均衡的训练数据集，使得正负样本达到接近1:1的均衡状态。数据集构造完毕后，还包括数据集扩增，采用小角度旋转、翻转、归一化、随机裁剪的方式扩增训练集的图片数据。数据集的多样性的扩增方式是针对泪膜破裂视频而适当选取的。分类模型和干燥斑分割模型在训练过程中的损失函数分别为：Lc＝-[ylogf+(1-y)log(1-f)]Ls＝1-2*(|y^f|+r)/(|y|+|f|+e)其中，Lc是分类损失，Ls是分割损失，y是指真实标签，f是指预测值，y和f均由0和1组成，r和e是一个不超过1的极小数，为了保证分子和分母均不为0。所述分类模型和干燥斑分割模型的最后一层输出均为概率值，将二分类为睁眼或闭眼的阈值以及分割成是否是干燥斑的阈值均设置为0.5。本专利技术针对泪膜破裂时间预测，在视频序列预测的迭代过程中，依次传入训练好的分类、分割网络进行预测，最后整合所有BUT检查检测段得到整个视频的预测结果，解决了BUT检测主观性强等问题。与现有技术相比，本专利技术具有以下有益效果：1、本专利技术将深度卷积神经网络的分类和分割应用到了干眼症的泪膜破裂时间测量上面，提升了计算机辅助诊断的适应性和准确率；2、本专利技术的系统改善了医生BUT检测主观性强、变异度大、受泪液量干扰大等问题，减轻病理医生的工作量。本文档来自技高网...

【技术保护点】
1.一种基于深度学习的泪膜破裂时间检测系统，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，所述计算机存储器中存有训练好的分类模型和干燥斑分割模型，所述的分类模型和干燥斑分割模型分别采用ResNet模型和UNet模型；/n所述计算机处理器执行所述计算机程序时实现以下步骤：/n将拍摄的待测者泪膜破裂时间检查视频提取出所有帧后输入分类模型，输出每帧图像的分类标签，形成一个0/1序列，其中，睁眼的标签为1，闭眼的标签为0；/n提取序列中3～5段时间最长的睁眼段，作为泪膜破裂时间检查的检测段；/n将每个检测段分别输入干燥斑分割模型进行分割预测，记录每个检查段中首次出现干燥斑的帧的位置，通过与检查段首帧的时间间隔计算出每个检测段的泪膜破裂时间，最后取平均值作为待测者的整体泪膜破裂时间。/n

【技术特征摘要】
1.一种基于深度学习的泪膜破裂时间检测系统，包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序，其特征在于，所述计算机存储器中存有训练好的分类模型和干燥斑分割模型，所述的分类模型和干燥斑分割模型分别采用ResNet模型和UNet模型；
所述计算机处理器执行所述计算机程序时实现以下步骤：
将拍摄的待测者泪膜破裂时间检查视频提取出所有帧后输入分类模型，输出每帧图像的分类标签，形成一个0/1序列，其中，睁眼的标签为1，闭眼的标签为0；
提取序列中3～5段时间最长的睁眼段，作为泪膜破裂时间检查的检测段；
将每个检测段分别输入干燥斑分割模型进行分割预测，记录每个检查段中首次出现干燥斑的帧的位置，通过与检查段首帧的时间间隔计算出每个检测段的泪膜破裂时间，最后取平均值作为待测者的整体泪膜破裂时间。


2.根据权利要求1所述的基于深度学习的泪膜破裂时间检测系统，其特征在于，所述分类模型和干燥斑分割模型的训练过程如下：
数据集构造：利用裂隙灯显微镜拍摄受试者的泪膜破裂时间检查视频，将视频分成训练集和测试集并提取出训练集中视频的所有帧，并请专业眼科医生对所有训练集的图片帧进行数据标注，标注包括分类标注和分割标注，分类为对图片分闭眼和睁眼两种，分割为标注出睁眼图片中干燥斑的轮廓；
分类模型训练：基于2分类的训练数据，构建ResNet分类模型，输入为标注的分类数据，输出为其对应分类标签；采用该方法进行训练，调节模型参数，直至模型收敛，并保存分类模型；
干燥斑分割模型训练：建立以UNet为基础模型的图像分割模型，输入标注的分割数据和权重参数矩阵，输出为其对应标签；采用该方法进行训练，调节模型参数，直至模型收敛，并保存图像分割模型；其中，权重参数矩阵用以控制目标区域的学习，排除单帧图像边缘复杂因素的影响。


3.根据权利要...

【专利技术属性】
技术研发人员：吴健，陈晋泰，陈婷婷，应豪超，雷璧闻，刘雪晨，宋庆宇，胡荷萍，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江;33