一种基于眼底图像的病灶图像分类与识别方法技术

本发明专利技术涉及一种基于眼底图像的病灶图像分类与识别方法，属于医学影像处理领域。该方法采用YOLOv5网络结构和目标框加权融合为框架，将采集得到的眼底图像经过Mosaic方法深化数据集，再结合深化后的图像数据集和损失函数训练，图像分类后进入目标框加权融合框架，最后根据分类概率输出不同眼底图像的二值图，分类输出病灶二值图。本发明专利技术采用提高了网络模型对病灶特征的提取能力。对病灶特征的提取能力。对病灶特征的提取能力。

【技术实现步骤摘要】
一种基于眼底图像的病灶图像分类与识别方法


[0001]本专利技术属于医学影像处理领域，涉及一种基于眼底图像的病灶图像分类与识别方法。

技术介绍

[0002]目前，眼底检查主要通过医生利用眼底检眼镜、眼底造影技术、眼底相机成像以及光的相互干涉技术等方式来进行人工检查。利用眼底相机能够清晰的采集到视网膜上主要组织结构。在眼底彩照图像中，血管在视网膜上分布最广且呈现为暗红色的网状结构，其和视觉神经纤维从视神经盘区域进入视网膜。视神经盘的特点是边界较为清晰、高亮的圆盘状结构。此外，如果眼底图像颜色较深可以被称为黄斑区，黄斑区呈椭圆形凹陷，其凹陷的部位称为中央凹。中央凹是人眼结构中最为敏感的区域，一旦该区域发生疾病，视力将受到较大影响。
[0003]现在的医疗环境下，产生了很多眼底图像检测方法和眼底图像血管分割技术。通过这些技术手段能得到很多精准且具备诊疗条件的眼底血管图像，从而进行更深入的病理分析。但是医生对眼底的检测可以不局限于人力本身，更需要智能识别算法进行辅助判断和治疗依据，通过这些血管图像以及相应的算法分析，能够获得较为准确的病灶判断，帮助医生确定病灶位置，分析病灶产生原因以及具体的病症判断。
[0004]在传统的病灶分析中，许多细小的病变组织不能被及时发现，尤其是在眼底检测的过程中。多数的眼底图像是以血管分割图像为基础，病灶往往藏在血管之中，此时仅考眼力发现是非常困难的。因此，亟需一种通过计算机图像视觉处理，以算法的形式，对产生的图像进行处理，能够较为精确的发现微小的病变区域。

技术实现思路

[0005]有鉴于此，本专利技术的目的在于提供一种基于眼底图像的病灶图像分类与识别方法，提升了网络模型对病灶的特殊部位以及微小变化区域的捕获能力。
[0006]为达到上述目的，本专利技术提供如下技术方案：
[0007]一种基于眼底图像的病灶图像分类与识别方法，包括以下步骤：
[0008]S1：采取Mosaic数据增强方法，对输入的四张眼底图像进行任意裁剪、缩放和排版组合；
[0009]S2：构建并训练YOLOv5网络，其中模块Backbone采用CSPDarknet作为图像中提取特征的主干，模块Neck使用路径集合网络生成特征金字塔网络对特征进行集合并传递给Head预测，模块Head生成用于对象检测的描框预测层；
[0010]S3：通过分类和回归后进入目标框加权融合(WBF)预测目标框，为每个预测边框设置不相同的权重，把每个设置的权重进行加权处理，作为融合的最终结果；
[0011]S4：根据分类概率输出不同眼底图像的二值图，分类输出病灶二值图。
[0012]进一步，步骤S1中，为了进一步加深数据集，提高网络训练速度，增强目标识别，采
用在CutMix基础上改进为Mosaic数据增强方法，实现对4张图像进行任意剪切旋转缩放排版组合，其验证误差逐步下降，排除过度拟合情况，深化识别图像背景，缩短遍历图像时间。
[0013]进一步，步骤S2中，构建的YOLOv5网络，使用主层(Backbone)将输入进来的Mosaic数据增强图像进行提取特征信息，依靠跨阶段性部分网络(CSPNet)解决在Backbone中梯度信息重复的问题，且能够实现将梯度变化集成到特征图中，进而减少模块参数保证速度和精度；使用一串无序组合图像的网络层(Neck)，通过特征金字塔网络(FPN)对特征进行集合，有利于图像更简单得缩放比例；所述特征金字塔网络(FPN)采用路径集合网络(PANet)改进从下往上的路径，增加了对最底层的特征提取，提升了底层精确识别信号的利用率，从而提升图像识别的精度，并传递给预测层；使用预测层(Head)作为最终检测部分，根据数据集自适应得出适应的锚点框，将锚框应用于特征且产生特定的最终预测向量，即分类概率、置信度分数和边界框。
[0014]进一步，步骤S2中，YOLOv5网络中的损失函数包括边界框回归损失、分类损失和置信度损失函数；
[0015]边界框回归损失采用GIOU；GIOU计算公式如(1)，损失函数GIOU
loss
公式如(2)
[0016][0017]GIOU
loss
＝1
‑
GIOU
ꢀꢀꢀ
(2)
[0018]其中，IOU为边界框回归损失交并比，A为预测框，B为目标图像框，C为A与B的最小闭合框；
[0019]分类损失和置信度损失采用二元交叉熵损失(BCE loss)，计算公式如(3)
[0020][0021]公式(3)中等式右边第一项表示边界框回归损失，第二、三项表示置信度损失，第四项表示分类损失；为判断第i个栅格第j个箱是否为这个图像目标，为判断第i个栅格第j个箱是否不为这个图像目标，C
i
为相对图像比例，p
i
(c)为图像类别，B为目标图像框数，g(p
i
(c))为该图像类别的边界框回归损失，s
×
s为损失参数。
[0022]进一步，步骤S3具体包括：通过得到的检测向量，分离对比分类概率进行对图像的分类，回归后进入目标框加权融合(WBF)预测目标框，目标框加权融合极大得杜绝保留得分大而舍弃得分小的预测边框问题，将模型的每个预测边框融入到一个单独列表(SL)中，按照获得到的置信度(C)由高到低进行排序，再分别定义两个空列表EL和ELF，空列表EL表示边界框簇，空列表ELF表示融入后的边界框，在EL里每一个表位可以包含一个边界框或一个框集合表示一个簇，ELF里每一个表位只能包含一个从EL中融入出来的边界框，查询单独列表
[0023]SL里的预测框，与ELF中的一个边界框与之匹配，并且将匹配的阈值(IOU)设置为0.5，在未
[0024]查找到的情况下，该SL内框将添加到EL和ELF中的末位；若是查找到的情况下，将EL和
[0025]ELF中的pos位与之对应，之后在所有的簇EL[pos]中的M个边界框重新计算ELF[pos]中边
[0026]界框的坐标和置信度值；当SL中所有的边界框都被处理完毕后，对ELF的置信度值再做一
[0027]次调整：当EL簇中边界框数目少时，则认为不多的边界框预测该融合框，也应该采取将融合框的置信度值降低。
[0028]本专利技术的有益效果在于：
[0029](1)本专利技术将应用YOLOv5网络结构进行机器训练，并在训练前通过随机缩放、随机剪切、随机分部的方式进行合成以及拼接，对于小目标的检测效果提升是显著的。
[0030](2)本专利技术使用加权融合算法通过得到的检测向量，分离对比分类概率进行对图像的分类，回归后进入目标框加权融合预测目标框，为每个预测边框设置不相同的权重，把每个设置的权重进行加权处理，作为融合的最终结果。这样的算法网络训练，得到的结果将更为准确，提升了网络模型对病灶的特殊部位以及微小变化区域的捕获能力。从而在临床上有非常广阔的应用前景。
[0031]本专利技术的其他本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于眼底图像的病灶图像分类与识别方法，其特征在于，该方法包括以下步骤：S1：采取Mosaic数据增强方法，对输入的眼底图像进行任意裁剪、缩放和排版组合；S2：构建并训练YOLOv5网络，其中模块Backbone采用CSPDarknet作为图像中提取特征的主干，模块Neck使用路径集合网络生成特征金字塔网络对特征进行集合并传递给Head预测，模块Head生成用于对象检测的描框预测层；S3：通过分类和回归后进入目标框加权融合预测目标框，为每个预测边框设置不相同的权重，把每个设置的权重进行加权处理，作为融合的最终结果；S4：根据分类概率输出不同眼底图像的二值图，分类输出病灶二值图。2.根据权利要求1所述的病灶图像分类与识别方法，其特征在于，步骤S2中，构建的YOLOv5网络，使用主层Backbone将输入进来的Mosaic数据增强图像进行提取特征信息，依靠跨阶段性部分网络CSPNet将梯度变化集成到特征图中；使用一串无序组合图像的网络层，通过特征金字塔网络对特征进行集合；所述特征金字塔网络FPN采用路径集合网络对最底层的特征提取，并传递给预测层；使用预测层Head作为最终检测部分，根据数据集自适应得出适应的锚点框，将锚框应用于特征且产生特定的最终预测向量，即分类概率、置信度分数和边界框。3.根据权利要求2所述的病灶图像分类与识别方法，其特征在于，步骤S2中，YOLOv5网络中的损失函数包括边界框回归损失、分类损失和置信度损失函数；边界框回归损失采用GIOU；GIOU计算公式如(1)，损失函数GIOU
loss
公式如(2)：GIOU
loss
＝1
‑
GIOU
ꢀꢀꢀꢀꢀꢀꢀ
...

【专利技术属性】
技术研发人员：周雨，周贺凯，袁慧，郭恒睿，刘姝杭，曹恩苓，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：