眼底照片分类方法、眼底图像处理方法和系统技术方案

本发明专利技术的一种眼底照片分类方法、眼底图像处理方法和系统，可解决现有眼底照片分类方法效率低、误差大的技术问题。包括获取眼底照片并进行预处理，生成标准化的眼底图片；把处理后的眼底照片划分为训练集和测试集，并对训练集进行数据扩增；对训练集和测试集进行数据预处理，保证在训练阶段输入模型的每个训练数据集(batch)类别均匀；集成学习策略，并训练分支神经网络模型；进行模型融合，得到最终检测模型，实现对眼底照片的分类。本发明专利技术效果高，自动化程度优秀；提取眼底照片的视杯/视盘比、动静脉比等特征，并结合机器学习的方法进行分类的方法，本发明专利技术计算速度快，运行时占用计算机资源较少。源较少。源较少。

【技术实现步骤摘要】
眼底照片分类方法、眼底图像处理方法和系统


[0001]本专利技术涉及到医疗图像分类检测
，具体涉及一种眼底照片分类方法、眼底图像处理方法和系统。

技术介绍

[0002]慢性肾病(CKD)是一种影响全球公共卫生问题的慢性疾病。慢性肾病的流行率和发病率逐年增加，具有高发病率、治疗困难、死亡率高和知晓率低的特点。慢性肾病往往伴随着高血压、糖尿病等心血管疾病，当慢性肾病逐渐恶化，患者需要肾移植或长期依赖透析来维持生命。
[0003]研究表明，对慢性肾病患者进行早期诊断和治疗能够有效地防止病情的进一步恶化，而防治的其中一个手段是通过眼底照相检查，定期体检观察病情的进展，以便及时干预。但是仅凭医生肉眼观察眼底照片有诸多不便，一来只靠经验很难准确判断和分类，二来需要巨大的阅片工作量。如何把潜在的目标眼底照片分类并挑选出来，供医生参考，提高分类的准确性，是一直以来急需解决的问题。
[0004]近年来，随着计算机视觉技术的发展，许多深度学习模型已经在医疗图像领域得到广泛应用。因此，为了在保证识别准确率的同时减少人工筛查的时间和精力，设计一种可用于慢性肾病检测的眼底照片的图像预处理和深度学习分类方法是十分必要的。
[0005]目前基于眼底照片的分类方法主要分为三类：第一类是通过医生肉眼观察，手动标定疾病相关区域；第二类是使用图像分割、特征提取等手段，提取眼底照片的视杯/视盘比、动静脉比等特征，并结合机器学习的方法进行分类；第三类是使用端对端的深度学习模型，直接进行预测。
[0006]通过医生肉眼观察、手动标定的手段，较为依靠医生的主观经验，且工作量巨大、效率低下；使用图像分割、特征提取等手段，提取眼底照片的视杯/视盘比、动静脉比等特征，并结合机器学习的方法进行分类，一般算法流程设计复杂，计算速度慢，非常考验疾病和提取特征的相关性，如果提取的特征和疾病的相关性不佳或是提取特征的算法不稳定，都可能导致分类效果不理想；使用端对端的深度学习模型进行分类，需要保证输入端眼底照片的质量控制，一旦输入的眼底照片质量不佳，深度学习模型无法达到正常的分类效果。

技术实现思路

[0007]本专利技术提出的一种眼底照片分类方法和系统，可解决现有慢性肾病检测中基于眼底照片的分类方法效率低且准确度低的技术问题。
[0008]为实现上述目的，本专利技术采用了以下技术方案：
[0009]根据本专利技术一方面，提供了一种可用于慢性肾病检测的眼底照片分类方法，
[0010]包括以下步骤：
[0011]S100、获取眼底照片并进行预处理，生成标准化的眼底图片；
[0012]S200、把所述眼底图片划分为训练集和测试集，并对训练集进行数据扩增；
[0013]S300、对S200的训练集和测试集进行数据预处理，保证在训练阶段输入模型的每个batch类别均匀；
[0014]S400、基于S300集成学习策略，并训练分支神经网络模型；
[0015]S500、进行模型融合，得到最终检测模型，实现对眼底照片的分类。
[0016]进一步的，所述S100获取眼底照片并进行预处理，生成标准化的眼底图片；
[0017]包括：
[0018]1.8)对于每张眼底照片，首先提取感兴趣区域(ROI)，提取眼底照片的R通道分量，二值化处理；
[0019]1.9)对二值化之后的R通道分量使用5x5的卷积核进行闭运算，选定种子点(int(h/2),int(w/2))，其中h为图像的高度，w为图像的宽度，int表示对浮点数进行取整，使用连通组件分析算法提取位于眼底照片正中央的圆形/圆形截面区域作为掩模1；
[0020]1.10)求出二值化掩模1图像的最小外接矩形，并向外扩张10个像素点值作为掩模2；
[0021]1.11)基于掩模1图像对原始眼底照片进行pixel
‑
wise操作，即对于原始图像和二值化掩模1图像中相对应的点，若掩模1图像上对应的点值为1，则保留原始图像RGB三通道的值；若掩模1图像上对应的点值为0，则将原始图像RGB三通道的值均置0；
[0022]1.12)基于二值化掩模2图像，剪切原始眼底照片得到中间图像，达到提取ROI区域的目的；
[0023]1.13)提取中间图像的G通道分量，对于相应掩模1图像中像素值不为0的点使用直方图均衡化的方法，增强图像对比度，其中，N为像素点数总数目，v为原始灰度级，s为直方图均衡化处理后的灰度级，取值从0到255，cdf为v的累计分布函数，round表示四舍五入为整数；cdf
min
为cdf的最小值；
[0024]1.14)合并中间图像和R通道分量、直方图均衡化处理后的G通道分量以及B通道分量，得到预处理之后的眼底照片。
[0025]进一步的，所述S200、把处理后的眼底照片划分为训练集和测试集，并对训练集进行数据扩增；
[0026]其中，把处理后的眼底照片划分为训练集和测试集，具体包括：
[0027]按照4:1的比例，使用分层抽样的方法将原始的眼底照片数据集随机划分为训练集和测试集；
[0028]在训练集中，再次使用分层抽样的方法将数据随机划分为训练集1、训练集2、训练集3、训练集4、训练集5一共5个互不相交的子集。
[0029]进一步的，所述S200、把处理后的眼底照片划分为训练集和测试集，并对训练集进行数据扩增；
[0030]其中，并对训练集进行数据扩增，具体包括：
[0031]对于每一个训练集子集中的眼底照片，通过随机使用以下任意一种方法实现数据扩增：
[0032]3.1)左右翻转；
[0033]3.2)以0到0.1之间的随机比例裁剪图像后resize成原始图像尺寸；
[0034]3.3)使用尺寸为5x5，σ随机的高斯滤波器进行平滑处理。
[0035]进一步的，所述S300、对S200的训练集和测试集进行数据预处理，保证在训练阶段输入模型的每个batch类别均匀；
[0036]具体包括：
[0037]4.1)经过图像预处理后的眼底照片维度为：(h,w,c)，其中h为图像的高度，w为图像的宽度，c为通道数；每个通道的像素点取值范围为0～255，对像素点的取值范围进行归一化处理，将其映射到0～1区间；
[0038]4.2)设定模型训练的超参数；
[0039]批处理量batch size和尺寸l，设定各训练集中的batch size＝16，l＝600；
[0040]对于训练集，按阴性样本即无慢性肾病和阳性样本即有慢性肾病以12:4的比例准备输入数据，其中阴性样本为无放回抽样，阳性样本为有放回抽样；测试集的batch size＝1，阴性和阳性样本均为无放回抽样；
[0041]对输入的眼底图像进行resize操作，使其维度为(l,l,c)，进而得到的输入数据格式为m个(l,l,c,n)的张量数据，其中n即batch size，m为总的batch个数。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种眼底照片分类方法，其特征在于：包括以下步骤：S100、获取眼底照片并进行预处理，生成标准化的眼底图片；S200、把眼底图片划分为训练集和测试集，并对训练集进行数据扩增；S300、对S200的训练集和测试集进行数据预处理，保证在训练阶段输入模型的每个训练数据集(batch)类别均匀；S400、基于S300集成学习策略，并训练分支神经网络模型；S500、进行模型融合，得到最终检测模型，实现对眼底照片的分类；所述S400基于S300集成学习策略，并训练分支神经网络模型；其中，S400中训练分支神经网络模型；具体包括：6.1)对于每一个分支模型，都以DenseNet
‑
101为基本网络结构，并去掉DenseNet
‑
101最后的全连接层，添加输出维度为2的全连接层，模型参数使用基于ImageNet预训练好的参数进行迁移学习或重新训练；6.2)深度学习模型的损失函数采用focal loss损失函数，其具体公式为：其中，α和γ为人工设置的超参数，具体的α＝0.6，γ＝0.25，p为softmax输出的图像为阳性样本的概率值，y为图像的真实标签，y＝1表示患有慢性肾病，y＝0表示未患慢性肾病，为了防止过拟合现象，再使用L2正则化对模型进行约束；6.3)模型的优化策略采用Adam优化器进行；Adam优化步骤如下：m
t
＝β1m
t
‑1+(1
‑
β1)g
tt
其中，g
t
为t时刻损失函数L对参数θ的梯度，β1和β2均为超参数，β1＝0.9和β2＝0.999，且m0＝0，v0＝0，α为学习率，e为分母保护参数；α＝0.0001，e＝1*10
‑8，θ
t
为更新后的参数；6.4)Dropout策略，在训练过程中模型后层有40％的随机参数不参与梯度的反向传播；6.5)Early
‑
Stop策略，在分支模型的训练过程中，一旦出现训练集上的loss和测试集上的loss偏差绝对值明显越来越大时，停止训练，保留出现偏差过大情况之前的模型。2.根据权利要求1所述的眼底照片分类方法，其特征在于：所述S100获取眼底照片并进行预处理，生成标准化的眼底图片；包括：1.1)对于每张眼底照片，首先提取感兴趣区域(ROI)，提取眼底照片的R通道分量，二值化处理；
1.2)对二值化之后的R通道分量使用5x5的卷积核进行闭运算，选定种子点(int(h/2),int(w/2))，其中h为图像的高度，w为图像的宽度，int表示对浮点数进行取整，使用连通组件分析算法提取位于眼底照片正中央的圆形或圆形截面区域作为掩模1；1.3)求出二值化掩模1图像的最小外接矩形，并向外扩张10个像素点值作为掩模2；1.4)基于掩模1图像对原始眼底照片进行pixel
‑
wise操作，即对于原始图像和二值化掩模1图像中相对应的点，若掩模1图像上对应的点值为1，则保留原始图像RGB三通道的值；若掩模1图像上对应的点值为0，则将原始图像RGB三通道的值均置0；1.5)基于二值化掩模2图像，剪切原始眼底照片得到中间图像，达到提取ROI区域的目的；1.6)提取中间图像的G通道分量，对于相应掩模1图像中像素值不为0的点使用直方图均衡化的方法，增强图像对比度，其中，N为像素点数总数目，v为原始灰度级，s为直方图均衡化处理后的灰度级，取值从0到255，cdf为v的累计分布函数，round表示四舍五入为整数；cdf
min
为cdf的最小值；1.7)合并中间图像和R通道分量、直方图均衡化处理后的G通道分量以及B通道分量，得到预处理之后的眼底照片。3.根据权利要求2所述的眼底照片分类方法，其特征在于：所述S200、把处理后的眼底照片划分为训练集和测试集，并对训练集进行数据扩增；其中，把处理后的眼底照片划分为训练集和测试集，具体包括：按照4:1的比例，使用分层抽样的方法将原始的眼底照片数据集随机划分为训练集和测试集；在训练集中，再次使用分层抽样的方法将数据随机划分为训练集1、训练集2、训练集3、训练集4、训练集5一共5个互不相交的子集。4.根据权利要求3所述的眼底照片分类方法，其特征在于：所述S200、把处理后的眼底照片划分为训练集和测试集，并对训练集进行数据扩增；其中，并对训练集进行数据扩增，具体包括：对于每一个训练集子集中的眼底照片，通过随机使用以下任意一种方法实现数据扩增：3.1)左右翻转；3.2)以0到0.1之间的随机比例裁剪图像后resize成原始图像尺寸；3.3)使用尺寸为5x5，σ随机的高斯滤波器进行平滑处理。5.根据权利要求4所述的眼底照片分类方法，其特征在于：所述S300、对S200的训练集和测试集进行数据预处理，保证在训练阶段输入模型的每个batch类别均匀；具体包括：4.1)经过图像预处理后的眼底照片维度为：(h,w,c)，其中h为图像的高度，w为图像的宽度，c为通道数；每个通道的像素点取值范围为0～255，对像素点的取值范围进行归一化处理，将其映射到0～1区间；4.2)设定模型训练的超参数；批处理量batch size和尺寸l，设定各训练集中的batch size＝16，l＝600；
对于训练集，按阴性样本即无慢性肾病和阳性样本即有慢性肾病以12:4的比例准备输入数据，其中阴性样本为无放回抽样，阳性样本为有放回抽样；测试集的batch size＝1，阴性和阳性样本均为无放回抽样；对输入的眼底图像进行resize操作，使其维度为(l...

【专利技术属性】
技术研发人员：张冀聪，王雄，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：