基于类别加权网络的眼底照片分类方法与装置制造方法及图纸

本发明专利技术提供一种基于类别加权网络的眼底照片分类方法与装置，属于图片分类及眼科医学技术领域。其中，本发明专利技术的分类方法包括：读取多个眼底照片数据及其标签；将眼底照片数据及其标签输入类别加权网络，训练并构建类别加权网络模型；读取待识别的眼底照片数据；将待识别的眼底照片数据输入类别加权网络模型，将模型输出概率最大的类别作为眼底照片的类型结果。本发明专利技术的类别加权网络模型通过对不同类别数据给予不同的类别权重，实现了不同难易数据间的平衡，以及，还通过计算类型梯度范数来对类别权重提供参考，避免了在所述模型训练阶段，研究人员反复实验来手动调整权重的大量时间、精力上的消耗。精力上的消耗。精力上的消耗。

【技术实现步骤摘要】
基于类别加权网络的眼底照片分类方法与装置


[0001]本专利技术属于图片分类及眼科医学
，具体涉及一种基于类别加权网络的眼底照片分类方法与装置。

技术介绍

[0002]视觉是人们认识世界，获取知识最主要的信息接受器，然而随着社会的发展，人们在工作和生活上的用眼压力日渐增加，此外，不少常见的疾病也会间接对眼部组织造成损害，眼健康成为人们不可忽视的挑战。能够引发眼部并发症的最常见的一种疾病，便是糖尿病(Diabetes Mellitus, DM)，他是我们这个时代最严重和最常见的慢性疾病之一。根据国际糖尿病联合会（International Diabetes Federation, IDF）最新的统计数据显示，2021 年全球 20
‑
79 岁人群的糖尿病患病率估计为10.5%（5.366 亿人），到2045 年将上升至12.2%（7.832 亿人）。由糖尿病引发的眼部并发症被称为糖尿病视网膜病变（Diabetic Retinopathy, DR），他是造成成年人失明的主要原因，其主要的病灶包括微动脉瘤(MAs)、“点状”或“斑点状”出血(HEs)、硬性渗出(Ex)、棉絮斑(CWS)和新生血管(NV)等。而中国糖尿病患者中DR患病率为18.45%，也就是说几乎每5个糖尿病人中，就有一个面临失明的风险。中国乃至世界的防盲治盲工作都十分严峻。
[0003]基于机器学习和人工智能的计算机辅助诊断技术发展至今，已经有大量的研究人员投入到了相关的工作中，涉及的医疗领域也多种多样，能够帮助医生更加精确、高效地诊断病人的病情。这一技术在DR筛查领域的发展就是其中一个重要的方向。例如、（1）糖网病变程度的分级研究；（2）糖网病灶及有关结构的分割研究；（3）糖网病变判断可解释性研究等。加快机器学习技术深入应用到眼科，有可能彻底改变现有的疾病诊断系统，计算机辅助诊断技术将有效缓解眼科医生的工作压力，提高临床工作的效率，也有助于大规模人口疾病的筛查，为缓解医疗资源短缺提供新的解决途径。
[0004]然而在根据眼底视网膜图像来对患病程度进行分类判断的过程中，仍然存在着诸多问题：首先，由于DR数据集有其医学属性的特殊性，我们在数据集的数量和质量上都面临着较大的考验。传统的深度学习算法通常需要大量的数据支撑，但是网络上公开的DR数据集如DDR, APTOS和Messidor
‑
2，都远远达不到足够的规模。同时，不同数据集还存在着分级标准不一致，不统一的问题，较为细致的糖网的分级通常分为五级，分别是正常、轻度，中度、重度和增殖性糖网。即使在相同的标准下，不同组织不同专业水平的医生也会对病情分类的结果做出不同的判断，所以我们无法将不同数据集合并起来使用。在单个数据集中，眼底图片的来源也五花八门，颜色、清晰度、对比度、亮度、尺寸、眼球完整度等各不相同，质量层次不齐。第二，DR数据集存在严重的数据失衡现象，包括数量上的不平衡以及难易程度上的不平衡。通常正常眼底的数量会占到总数据量的一半左右，甚至更高，而占比最少的数据可能只有其1/20~1/30。这种不平衡会导致机器学习模型在训练的过程中忽略对少数类别的特征学习，而更加关注多数类别的样本，最终导致模型效果较差，准确率虚高的问题。DR数据集中，还会遇到某类数据在数量少的同时，还难以被区分，如DR1和DR3，而DR4虽然数量
较少，但是比较容易被区分。
[0005]基于上述DR数据集存在的问题，导致机器学习在DR分类任务中仍不够准确，其存在较大的改进空间。因此，本专利技术提出了一种基于类别加权网络的眼底照片分类方法与装置，以用于辅助筛查糖网病，提高DR分类准确率。

技术实现思路

[0006]本专利技术旨在至少解决现有技术中存在的技术问题之一，提供一种基于类别加权网络的眼底照片分类方法与一种基于类别加权网络的眼底照片分类装置。
[0007]本专利技术的一方面，提供一种基于类别加权网络的眼底照片分类方法，所述方法包括下述步骤：读取多个眼底照片数据及其标签；将所述眼底照片数据及其标签输入类别加权网络，训练并构建类别加权网络模型，包括：对所述眼底照片数据进行初步特征提取，得到初步提取特征图；对所述初步提取特征图分别以通道维度、像素维度、类别维度进行特征提取，分别得到通道特征图，像素特征图和类别特征图；将所述通道特征图，所述像素特征图和所述类别特征图进行融合，得到目标特征图；将所述目标特征图转化为与所述眼底照片标签对应的类别识别结果；读取待识别的眼底照片数据；将所述待识别的眼底照片数据输入所述类别加权网络模型，将所述模型输出概率最大的类别作为所述眼底照片的类别结果。
[0008]可选的，所述对所述眼底照片数据进行初步特征提取，得到初步提取特征图，包括：使用改造的预训练网络对所述眼底照片进行初步的特征提取，得到所述初步提取特征图；其中，所述改造的预训练网络不包括预训练网络最后的全连接层。
[0009]可选的，所述对所述初步提取特征图以通道维度进行特征提取，得到通道特征图，包括：使用像素维度的全局平均池化，以得到忽略像素维度的特征，经过conv_block得到通道权重分布，其中，conv_block的结构的具体关系式如下：其中，CB表示conv_block层，x表示输入conv_block层的特征图，Conv表示1*1的卷积层，作为过渡层，其输出通道数与输入数据x的通道数相同，BN表示Batch Normalization，ReLU和Sigmoid分别表示ReLU激活函数和Sigmoid激活函数，他们为网络引入非线性因素；采用通道特征提取器对初步特征图以通道维度进行特征提取，得到通道特征图，
其中，所述通道特征提取器的结构的具体关系式如下：其中，F
c
表示通道特征图；F
B
表示初步提取特征图；GAP
p
表示在像素维度做全局平均池化；CB表示conv_block层；表示矩阵点乘，经过CB层后得到的通道权重分布与初步提取特征图F
B
相点乘。
[0010]可选的，所述对所述初步提取特征图以像素维度进行特征提取，得到像素特征图，包括：使用通道维度的全局平均池化，以得到忽略通道维度的特征，经过conv_block得到像素权重分布；采用像素特征提取器对初步特征图以像素维度进行特征提取，得到像素特征图，其中，所述像素特征提取器的结构的具体关系式如下：其中，F
p
表示像素特征图；GAP
c
表示通道维度的全局平均池化；F
B
表示初步提取特征图；CB表示conv_block层；表示矩阵点乘，经过CB层后得到的通道权重分布与初步提取特征图F
B
相点乘。
[0011]可选的，所述对所述初步提取特征图以类别维度进行特征提取，得到类别特征图，包括：采用1*1的卷积层，将初步提取特征图F
B
的通道扩充为K层，得到F
K
，K的具体关系式如下：其中，N表示图片的类型数，k
i
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于类别加权网络的眼底照片分类方法，其特征在于，所述方法包括下述步骤：读取多个眼底照片数据及其标签；将所述眼底照片数据及其标签输入类别加权网络，训练并构建类别加权网络模型，包括：对所述眼底照片数据进行初步特征提取，得到初步提取特征图；对所述初步提取特征图分别以通道维度、像素维度、类别维度进行特征提取，分别得到通道特征图，像素特征图和类别特征图；将所述通道特征图，所述像素特征图和所述类别特征图进行融合，得到目标特征图；将所述目标特征图转化为与所述眼底照片标签对应的类型识别结果；读取待识别的眼底照片数据；将所述待识别的眼底照片数据输入所述类别加权网络模型，将所述类别加权网络模型输出概率最大的类别作为所述眼底照片的类别结果。2.根据权利要求1所述的方法，其特征在于，所述对所述眼底照片数据进行初步特征提取，得到初步提取特征图，包括：使用改造的预训练网络对所述眼底照片进行初步的特征提取，得到所述初步提取特征图；其中，所述改造的预训练网络不包括预训练网络最后的全连接层。3.根据权利要求2所述的方法，其特征在于，所述对所述初步提取特征图以通道维度进行特征提取，得到通道特征图，包括：使用像素维度的全局平均池化，以得到忽略像素维度的特征，经过conv_block得到通道权重分布，其中，conv_block的结构的具体关系式如下：其中，CB表示conv_block层，x表示输入conv_block层的特征图，Conv表示1*1的卷积层，作为过渡层，其输出通道数与输入数据x的通道数相同，BN表示Batch Normalization， ReLU和Sigmoid分别表示ReLU激活函数和Sigmoid激活函数，他们为网络引入非线性因素；采用通道特征提取器对初步特征图以通道维度进行特征提取，得到通道特征图，其中，所述通道特征提取器的结构的具体关系式如下：其中，F
c
表示通道特征图；F
B
表示初步提取特征图；GAP
p
表示在像素维度做全局平均池化；CB表示conv_block层；表示矩阵点乘，经过CB层后得到的通道权重分布与初步提取特征图F
B
相点乘。4.根据权利要求3所述的方法，其特征在于，所述对所述初步提取特征图以像素维度进行特征提取，得到像素特征图，包括：使用通道维度的全局平均池化，以得到忽略通道维度的特征，经过conv_block得到像素权重分布；采用像素特征提取器对初步特征图以像素维度进行特征提取，得到像素特征图，其中，所述像素特征提取器的结构的具体关系式如下：
其中，F
p
表示像素特征图；GAP
c
表示通道维度的全局平均池化；F
B
表示初步提取特征图；CB表示conv_block层；表示矩阵点乘，经过CB层后得到的通道权重分布与初步提取特征图F
B
相点乘。5.根据权利要求4所述的方法，其特征在于，所述对所述初步提取特征图以类别维度进行特征提取，得到类别特征图，包括：采用1*1的卷积层，将初步提取特征图F
B
的通道扩充为K层，得到F
K
，K的具体关系式如下：其中，N表示图片的类型数，k
i
表示第i类分配的通道数，K为所有类型的通道总数；对具有K个通道的特征图F
K
按类型通道池化，以得到忽略通道维度特征的特征图F
K
，所述忽略通道维度特征的特征图F
N
共有N层通道，每层通道指示一个类型的特征，具体关系式如下：其中，F
B
表示初步提取特征图，Conv
K
表示K个1*1的卷积层，GMP
K
表示对每层通道执行一次最大池化；对F
N
在像素维度做全局平均池化，以得到忽略像素维度的特征图...

【专利技术属性】
技术研发人员：沈婷，韩志科，洪朝阳，郑青青，杨斌，肖涵瑜，
申请(专利权)人：浙大城市学院，
类型：发明
国别省市：