一种眼底图像的分析方法技术

本发明专利技术涉及一种眼底图像的分析方法

【技术实现步骤摘要】
一种眼底图像的分析方法、系统及设备


[0001]本专利技术涉及视网膜眼底照的图像分析领域，更具体地，涉及一种眼底图像的分析方法
、
系统
、
设备
、
计算机可读存储介质及其应用
。

技术介绍

[0002]视网膜血管阻塞
(Retinal vascular occlusions,RVO)
是视力障碍和丧失的常见原因，反映了全身性的血管疾病，视网膜静脉阻塞和视网膜动脉阻塞是视网膜血管阻塞
RVO
的两种形式
。
根据阻塞部位的不同，视网膜静脉阻塞可分为视网膜分支静脉阻塞
、
视网膜中央静脉阻塞，视网膜动脉阻塞分为视网膜分支动脉阻塞和视网膜中央动脉阻塞
。
不同视网膜血管阻塞分型的病理生理学
、
系统性影响和管理有显著差异，其预后甚至局部治疗方面也都是不同的临床实体
。
因此，
RVO
的精准识别和差异化诊断是制定合理治疗和保健方案以正确管理眼部状况并最大限度地减少未满足医疗需求的关键性因素
。
与糖尿病视网膜病变
、
青光眼等眼科疾病的辅助诊断问题不同，
RVO
各亚型中的数量相对有限，分布严重不均
。
目前，还没有研究可以同时对上述
RVO
各亚型进行筛查和诊断
。
[0003]此外，深度学习模型通常需要大量数据进行训练，以学习有效的判别特征
。
然而，由于
RVO
复杂的内在特性和有限的样本量，不可能一步精确地从有限的数据中提取足够深的判别特征来处理各视网膜血管阻塞疾病和正常样本之间的层次特征
。Vision Transformer(ViT)
作为计算机视觉领域的一项新的里程碑式工作，在医学图像处理方面具有巨大的潜力
。
因此，使用基于高性能深度学习模型来自动筛查和诊断眼底图像中的
RVO
各亚型成为一种很有前景的解决方案
。

技术实现思路

[0004]本申请的目的在于，针对上述问题本申请实施例提供一种眼底图像分级模型的构建方法
、
眼底图像的分析方法
、
系统及设备
、
计算机可读存储介质及其应用，其旨在通过眼底图像分级模型，融合粗粒度特征和细粒度特征实现视网膜血管阻塞的二次分类预测，发掘其在眼底图像中的分析能力和潜在应用价值
。
[0005]根据本申请的第一方面，本申请一实施例提供了一种眼底图像分级模型的构建方法，其包括：
[0006]S1
：获取眼底图像及其分类标签，使用基于生成对抗网络构建的样本生成器生成合成眼底图像，得到样本均衡化的眼底图像数据；
[0007]S2
：构建基于注意力机制构建的第一眼底图像分级模型，具体的实现步骤：对所述样本均衡化的眼底图像数据进行多尺度特征提取和特征选择，通过分类器得到第一分类结果，将第一分类结果与分类标签进行比对，根据比对结果优化分类器，构建得到基于注意力机制构建的第一眼底图像分级模型，所述第一分类结果包括视网膜静脉阻塞
、
视网膜动脉阻塞和正常样本；
[0008]S3
：构建第二眼底图像分级模型，所述第二眼底图像分级模型包括视网膜静脉阻
塞分类模型
、
视网膜动脉阻塞分类模型，具体的实现步骤：
[0009]构建视网膜静脉阻塞分类模型：对第一分类结果为视网膜静脉阻塞的眼底图像进行深度关联特征的学习，得到分类结果为视网膜分支静脉阻塞
、
视网膜中央静脉阻塞的第二分类结果，将第二分类结果与分类标签进行比对，根据比对结果优化分类器，构建得到视网膜静脉阻塞分类模型；
[0010]构建视网膜动脉阻塞分类模型：对第一分类结果为视网膜动脉阻塞的眼底图像进行深度关联特征的学习，得到分类结果为视网膜分支动脉阻塞
、
视网膜中央动脉阻塞的第二分类结果，将第二分类结果与分类标签进行比对，根据比对结果优化分类器，构建得到视网膜动脉阻塞分类模型
。
[0011]进一步，所述样本生成器由两对生成对抗网络组成，即第一对生成对抗网络和第二对生成对抗网络
。
[0012]其中，所述第一对生成对抗网络的网络结构包括第一生成器
G
I
和第一鉴别器
D
I
，用于生成所述合成眼底图像；
[0013]具体的，所述第一对生成对抗网络构建过程：随机生成一个噪声向量具体的，所述第一对生成对抗网络构建过程：随机生成一个噪声向量
z
～
N(0,1)
作为由许多转置卷积层组成的第一生成器
G
I
的输入，得到合成图像，然后使用第一鉴别器
D
I
来区分真实图像和合成图像，同时使用交叉熵损失优化生成器和鉴别器，最终生成合成眼底图像；
[0014]另一点，所述第二对生成对抗网络的网络结构包括第二生成器和第二鉴别器用于优化合成眼底图像的分辨率，得到样本均衡化的高清眼底图像；
[0015]可选的，所述第二生成器的组成结构包括残差块和上采样块，所述第二鉴别器使用融合损失函数的方法进行优化
[0016]可选的，所述第二鉴别器基于卷积神经网络作为主干网络；
[0017]优选的，所述融合损失函数的计算如下
:
[0018][0019]其中，
r,W,H
分别表示上采样因子以及图像宽度和高度；
W
i,j
,H
i,j
，分别是指在最大池化层
i
之前的卷积层
j
激活后获得的特征映射及其所在
VGG
主干网络内的对应维度；
[0020]优选的，所述优化所述合成眼底图像的超分辨率大小为
1024
×
1024
×3；
[0021]优选的，所述第二对生成对抗网络基于图像超分辨率生成对抗网络构建
。
[0022]在一些实施例中，所述深度关联特征的学习是通过掩码策略来挖掘所述第一分类结果和第二分类结果内的深度关联得到，所述掩码策略是基于注意力构建的眼底图像分级模型在进行图像块划分后随机采样部分图像块进行遮盖，经过线性嵌入构成
T
m
＝
[t1,
…
,tM2],k∈{1,
…
,M2}
来表示每个局部窗口的令牌，
t
k
是指从图像块
k
转换的令牌，然后基于窗口计算多头自注意力
W
‑
MSA
，所述多头自注意力
W
‑
MSA
的具体计算如下：
...

【技术保护点】

【技术特征摘要】
1.
一种眼底图像分级模型的构建方法，所述方法通过下列步骤实现：
S1
：获取眼底图像及其分类标签，基于生成对抗网络构建的样本生成器生成合成眼底图像，得到样本均衡化的眼底图像数据；
S2
：构建基于注意力机制构建的第一眼底图像分级模型，具体的实现步骤：对所述样本均衡化的眼底图像数据进行多尺度特征提取和特征选择，通过分类器得到第一分类结果，将第一分类结果与分类标签进行比对，根据比对结果优化分类器，构建得到基于注意力机制构建的第一眼底图像分级模型，所述第一分类结果包括视网膜静脉阻塞
、
视网膜动脉阻塞和正常样本；
S3
：构建第二眼底图像分级模型，所述第二眼底图像分级模型包括视网膜静脉阻塞分类模型
、
视网膜动脉阻塞分类模型，具体的实现步骤：构建视网膜静脉阻塞分类模型：对第一分类结果为视网膜静脉阻塞的眼底图像进行深度关联特征的学习，得到分类结果为视网膜分支静脉阻塞
、
视网膜中央静脉阻塞的第二分类结果，将第二分类结果与分类标签进行比对，根据比对结果优化分类器，构建得到视网膜静脉阻塞分类模型；构建视网膜动脉阻塞分类模型：对第一分类结果为视网膜动脉阻塞的眼底图像进行深度关联特征的学习，得到分类结果为视网膜分支动脉阻塞
、
视网膜中央动脉阻塞的第二分类结果，将第二分类结果与分类标签进行比对，根据比对结果优化分类器，构建得到视网膜动脉阻塞分类模型
。2.
根据权利要求1所述的眼底图像分级模型的构建方法，其特征在于，所述样本生成器由两对生成对抗网络组成，即第一对生成对抗网络和第二对生成对抗网络；所述第一对生成对抗网络的网络结构包括第一生成器
G
I
和第一鉴别器
D
I
，用于将所述眼底图像生成合成眼底图像；具体的，所述第一对生成对抗网络构建过程：获取所述眼底图像进行采样一个噪声向量
z
～
N(0,1)
作为由许多转置卷积层组成的第一生成器
G
I
的输入，得到合成图像，然后使用第一鉴别器
D
I
来区分真实图像和合成图像，同时使用交叉熵损失优化生成器和鉴别器，最终生成合成眼底图像；所述第二对生成对抗网络的网络结构包括第二生成器
G
IHR
和第二鉴别器
D
IHR
，用于优化所述合成眼底图像的超分辨率，得到样本均衡化的眼底图像；可选的，所述第二生成器的组成结构包括残差块和上采样块，所述第二鉴别器使用融合损失函数的方法进行优化可选的，所述第二鉴别器
D
I
HR
基于卷积神经网络作为主干网络；优选的，的计算如下
:
其中，
r,W,H
分别表示上采样因子以及图像宽度和高度；
W
i,j
,H
i,j
，分别是指在最大池层
i
之前的卷积层
j
激活后获得的特征映射及其所在主干网络内的对应维度；优选的，所述优化所述合成眼底图像的超分辨率大小为
1024
×
1024
×3；优选的，所述第二对生成对抗网络基于图像超分辨率对抗生成网络构建
。3.
一种眼底图像的分析方法，包括：获取眼底图像；基于粗粒度特征对所述眼底图像进行分类，得到第一分类结果，所述第一分类结果包括视网膜静脉阻塞
、
视网膜动脉阻塞和正常样本；基于细粒度特征将第一分类结果为视网膜动脉阻塞的眼底图像进行分类得到分类结果为视网膜分支动脉阻塞
、
视网膜中央动脉阻塞的第二分类结果，或基于细粒度特征将第一分类结果为视网膜静脉阻塞的眼底图像进行分类得到分类结果为视网膜分支静脉阻塞
、
视网膜中央静脉阻塞的第二分类结果
。4.
根据权利要求3所述的眼底图像的分析方法，其特征在于，所述基于粗粒度特征对所述眼底图像进行分类，通过基于注意力机制构建的第一眼底图像分级模型实现，具体的实现过程是将所述眼底图像输入到基于注意力机制构建的第一眼底图像分级模型进行分类，输出第一分类结果；优选的，所述基于注意力机制构建的第一眼底图像分级模型对所述眼底图像进行多尺度特征提取，再通过计算所述眼底图像的自注意力值进行特征选择，然后将特征选择后的特征结果输入分类器，输出第一分类结果；可选的，所述第一眼底图像分级模型基于下列模型中的任意一种或几种实现：
SwinTransformer、HaloNet、Point
‑
BERT、ViT
；优选的，所述第一眼底图像分级模型基于
SwinTransformer
实现
。5.
根据权利要求4所述的眼底图像的分析方法，其特征在于，所述特征选择的过程包括：将所述眼底图像输入到第一眼底图像分级模型，所述眼底图像被划分为多个图像块，再以不重叠方式将所述眼底图像均匀划为多个窗口区域，基于每个窗口区域包含的图像块计算得到注意力值，然后根据注意力值实现特征选择；优选的，所述自注意力的计算过程：基于
SwinTransformer
构建的第一眼底图像分级模
型将眼底图像均匀划分为4×4图像块，每个图像块被视为一个令牌，其特征被设置为其原始像素
RGB
值的连接，每个图像块的特征维...

【专利技术属性】
技术研发人员：孙杰，杨子健，周猛，
申请(专利权)人：温州医科大学附属眼视光医院，
类型：发明
国别省市：