基于制造技术

本发明专利技术涉及医学影像处理技术领域，具体涉及基于

【技术实现步骤摘要】
基于SwinIR和YOLOv8的FFA图像眼底微动脉瘤检测方法及系统


[0001]本专利技术涉及医学影像处理
，尤其涉及基于
SwinIR
和
YOLOv8
的
FFA
图像眼底微动脉瘤检测方法及系统
。

技术介绍

[0002]糖尿病视网膜病变
(Diabetic Retinopathy
，
DR)
是糖尿病造成的眼底微血管病变之一，是造成全世界人群失明的主要原因
。
糖尿病视网膜病变的主要原因是血糖升高导致血管壁的改变，其最初表现为微小的毛细血管扩张，即微动脉瘤
(Microaneurysm
，
MA)。MA
主要分布于内核层和深部毛细血管层，它常作为多种视网膜或全身疾病的早期临床表现，包括糖尿病视网膜病变
、
视网膜静脉阻塞和感染等
。
在眼底图像中，
MA
表现为细小血管附近的小圆点，在
DR
的早期阶段，它们可能是唯一的病变
。
因此，
MA
的准确检测对
DR
的预防和诊断治疗非常重要
。
[0003]卷积神经网络
(CNN)
是一种深度学习算法，它通过多层卷积和池化操作从图像中提取特征，并利用全连接层进行分类或回归任务
。CNN
在图像处理领域取得了巨大成功，并广泛应用于目标检测和语义分割等任务
。<br/>目前已经有很多基于深度学习的方法被用于微动脉瘤的自动检测
。Haloi
提出了一种具有
softmax
输出层和
maxout
激活函数的神经网络模型
。Dai
提出了一种临床报告引导的多尺度卷积神经网络
。
该网络利用来自临床报告的少量监督信息，在特征空间中将图像映射到文本，以识别潜在的微动脉瘤
。Eftekhari
提出了一种两阶段卷积神经网络检测微动脉瘤
。Wang
利用基于区域的全卷积网络
(R
‑
FCN)
进行糖尿病视网膜病变检测
。
他们应用了特征金字塔网络和改进的区域建议网络，增强了对微动脉瘤等小物体的检测能力
。Reguant
提出了一种基于
CNN
的无监督
DR
检测方法
。Kumar
训练了一个径向基函数神经网络模型用于
MA
检测
。
[0004]然而，目前对于微动脉瘤的自动检测依然存在一些挑战
。
首先，微动脉瘤的面积相对较小，在眼底图像中往往表现出微小而模糊的病变
。
这在低分辨率的眼底图像中更加显著，因为
MA
往往被混杂在背景噪声中，很难被准确地检测和识别
。
此外，由于眼底图像的低分辨率，微动脉瘤的微小特征很容易在图像采样中丢失，从而降低了检测精度
。
其次，由于
MA
的数据集非常有限，目前可用于训练和评估的标注样本数量非常少
。
这限制了深度学习方法在
MA
检测中的应用，因为它们通常需要大量的数据来建立准确的模型
。

技术实现思路

[0005]为了解决上述现有技术中存在的技术问题，本专利技术提供了一种基于
SwinIR
和
YOLOv8
的
FFA
图像眼底微动脉瘤检测方法
、
系统
、
计算机设备及存储介质
。
[0006]为实现上述目的，本专利技术实施例提供了如下的技术方案：
[0007]第一方面，在本专利技术提供的一个实施例中，提供了基于
SwinIR
和
YOLOv8
的
FFA
图像眼底微动脉瘤检测方法，该方法包括以下步骤：
[0008]获取样本
FFA
眼底图像，并对样本
FFA
眼底图像进行预处理以获得样本图像数据；
[0009]利用
SwinIR
对样本图像数据进行两次超分辨率重建，以获得不同分辨率的第一图像数据和第二图像数据；
[0010]利用样本图像数据
、
第一图像数据和第二图像数据对
YOLOv8
模型进行迁移学习训练；其中，所述
YOLOv8
模型增加有
MA
检测层；且
YOLOv8
模型中的
CIoU
边界框回归损失使用
Wise
‑
IoU
边界框回归损失替换；
[0011]使用训练好的
YOLOv8
模型对待检测
FFA
图像中的微动脉瘤进行检测，并计算微动脉瘤的实际面积
。
[0012]作为本专利技术的进一步方案，所述获取样本
FFA
眼底图像，并对样本
FFA
眼底图像进行预处理以获得样本图像数据，包括：
[0013]获取糖尿病视网膜病变患者的荧光素钠血管造影检查的样本
FFA
眼底图像；
[0014]对样本
FFA
眼底图像进行去噪处理，以获得第一样本图像数据；
[0015]对第一样本图像数据上的微动脉瘤进行标注处理；
[0016]将标注处理后的第一样本图像数据中的原始图像的像素调整为第一预设像素，以获得样本图像数据
。
[0017]作为本专利技术的进一步方案，第一预设像素为
768*768
像素
。
[0018]作为本专利技术的进一步方案，所述利用
SwinIR
对样本图像数据进行两次超分辨率重建，以获得不同分辨率的第一图像数据和第二图像数据，包括：
[0019]获取样本图像数据；
[0020]使用
SwinIR
对样本图像数据进行第一超分辨率重建，以获得第一图像数据；
[0021]使用
SwinIR
对样本图像数据进行第二超分辨率重建，以获得第二图像数据
。
[0022]作为本专利技术的进一步方案，
YOLOv8
模型增加
MA
检测层的具体步骤包括：
[0023]利用最近邻插值进行上采样获得来自
YOLOv8
的
FPN
结构中具有更强语义特征的深层特征图，并将深层特征图与来自骨干网络
P2
层的浅层特征图进行堆叠，得到融合特征图
f1
；
[0024]使用
c2f
模块对融合特征图
f1
进行特征提取，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
SwinIR
和
YOLOv8
的
FFA
图像眼底微动脉瘤检测方法，其特征在于，该方法包括：获取样本
FFA
眼底图像，对样本
FFA
眼底图像进行预处理以获得样本图像数据；利用
SwinIR
对样本图像数据进行两次超分辨率重建，以获得不同分辨率的第一图像数据和第二图像数据；利用样本图像数据
、
第一图像数据和第二图像数据对
YOLOv8
模型进行迁移学习训练；其中，所述
YOLOv8
模型增加有
MA
检测层；且
YOLOv8
模型中的
CIoU
边界框回归损失使用
Wise
‑
IoU
边界框回归损失替换；使用训练好的
YOLOv8
模型对待检测
FFA
图像中的微动脉瘤进行检测，并计算微动脉瘤的实际面积
。2.
如权利要求1所述的基于
SwinIR
和
YOLOv8
的
FFA
图像眼底微动脉瘤检测方法，其特征在于，所述获取样本
FFA
眼底图像，并对样本
FFA
眼底图像进行预处理以获得样本图像数据，包括：获取糖尿病视网膜病变患者的荧光素钠血管造影检查的样本
FFA
眼底图像；对样本
FFA
眼底图像进行去噪处理，以获得第一样本图像数据；对第一样本图像数据上的微动脉瘤进行标注处理；将标注处理后的第一样本图像数据中的原始图像的像素调整为第一预设像素，以获得样本图像数据
。3.
如权利要求2所述的基于
SwinIR
和
YOLOv8
的
FFA
图像眼底微动脉瘤检测方法，其特征在于，第一预设像素为
768*768
像素
。4.
如权利要求2所述的基于
SwinIR
和
YOLOv8
的
FFA
图像眼底微动脉瘤检测方法，其特征在于，所述利用
SwinIR
对样本图像数据进行两次超分辨率重建，以获得不同分辨率的第一图像数据和第二图像数据，包括：获取样本图像数据；使用
SwinIR
对样本图像数据进行第一超分辨率重建，以获得第一图像数据；使用
SwinIR
对样本图像数据进行第二超分辨率重建，以获得第二图像数据
。5.
如权利要求1所述的基于
SwinIR
和
YOLOv8
的
FFA
图像眼底微动脉瘤检测方法，其特征在于，所述利用样本图像数据
、
第一图像数据和第二图像数据对
YOLOv8
模型进行迁移学习训练，包括：利用样本图像数据对
YOLOv8
模型进行一次训练，以获得
YOLOv8
模型的第一训练权重；保留第一训练权重，利用第一图像数据对
YOLOv8
模型进行二次训练，以获得
YOLOv8
模型的第二训练权重；保留第二训练权重，利用第二图像数据对
YOLOv8
模型进行三次训练，以获得最终的检测模型
。6.
如权利要求1所述的基于
SwinIR
和
YOLOv8
的
FFA
图像眼底微动脉瘤检测方法，其特征在于，
YOLOv8
模型增加
MA
检测层的具体步骤包括：利用最近邻插值进行上采样获得来自
YOLOv8
的
FPN
结构中具有更强语义特征的深层特征图，并将深层特征图与来自骨干网络
P2
层的浅层特...

【专利技术属性】
技术研发人员：王振华，张博为，蒋沁，商卫红，颜标，白云，李秀苗，
申请(专利权)人：南京医科大学眼科医院，
类型：发明
国别省市：