眼底图像分割模型训练方法、设备和青光眼辅助诊断系统技术方案

本发明专利技术涉及计算机图像处理领域，提供了眼底图像分割模型训练方法、设备和青光眼辅助诊断系统。首先，设计一种多尺度沃瑟斯坦块判别器（MWPD）网络用于在多尺度上提取领域特定特征，从而增强领域分类性能并为分割网络提供有价值的指导。其次，设计一种自适应加权领域约束（AWDC）模块，在训练过程中，该模块为不同尺度动态分配变化的权重，使模型能够自适应地关注大量信息性特征。最后，设计一种像素级特征增强（PFE）模块，该模块通过融合精细的高层特征来增强浅层网络提取的浅层特征确保保留不变域信息。在两个公开可用的眼底图像数据库上进行全面的实验，验证了本发明专利技术的方法具有解决模型退化和改善分割性能的能力。模型退化和改善分割性能的能力。模型退化和改善分割性能的能力。

【技术实现步骤摘要】
眼底图像分割模型训练方法、设备和青光眼辅助诊断系统


[0001]本专利技术涉及计算机图像处理领域，具体涉及眼底图像分割模型训练方法、设备以及青光眼辅助诊断系统。

技术介绍

[0002]青光眼是一种日益普遍的眼部疾病，将会导致不可逆转的视觉损伤。早期和精确的筛查对于预防视力受损至关重要。在大规模青光眼筛查中，视神经盘（ONH）评估是一种常规检测方法，其中杯盘比（CDR）作为诊断标准起着非常重要的作用。CDR值是通过计算垂直视杯直径（VCD）和垂直盘直径（VDD）比值来确定的，它有助于诊断青光眼病例，当其值超过0.65时，视为指示性阈值。因此，如何准确地分割视盘和视杯是青光眼有效筛查的关键。
[0003]近年来，卷积神经网络（CNNs）在自动化视盘和视杯分割方面展现出较好的效果。然而，这些方法的性能通常依赖于符合一致分布的大量带有标注的训练数据。在实际场景中，若要在医学影像领域获取广泛而精确的标注数据，既开销高又具有挑战性。此外，不同医疗机构使用各种各样的成像设备和协议，导致眼底图像存在外观差异，包括分辨率、色调、对比度和亮度的差异（如图1所示），这些问题将会导致在训练的分割模型与实际临床应用之间存在域偏移的重要挑战。
[0004]解决上述域偏移问题的最直接方法就是使用来自源域和目标域的数据训练网络。然而，在实际应用中，特别是在医学图像分割环境中，标注目标域数据可能是非常困难的。此时，无监督域自适应（UDA）方法作为一种新的方案被引入用于解决此问题，使得能够在具有标注的源域上进行学习，并将其应用于具有不同外观的未标注的目标域。但是，传统的单尺度或单层对抗适应方法无法有效地考虑眼底图像中视盘（OD）和视杯（OC）之间在亮度、颜色、形状等方面的差异，从而导致模型的域适应性差。为此，最近大量多尺度域自适应方法被提出，这些方法通常涉及在不同尺度上提取特征并将其纳入自适应框架中；尽管这些方法在解决域偏移方面展现出优越性，但仍然存在相关挑战：（1）目前大量基于多尺度域自适应方法通常依赖于基于CNNs的分割模型，可能无法完全捕捉空间信息；（2）现有方法需要引入额外的判别器，导致模型复杂性增加和训练困难，而对抗学习本身也面临着训练不稳定和缺乏适当距离度量等问题；（3）现有方法为不同尺度的特征分配相等的权重或手动设置权重，对于多尺度特征的利用来说并不理想，因为每个不同尺度对域自适应过程的贡献是不同的；（4）来自浅层的底层特征易受域偏移的影响，因为它们既包含不变域的信息，也包含特定域的信息，完全忽略这些特征将忽视它们在语义分割任务中的潜力。

技术实现思路

[0005]为了解决上述的至少一个技术问题，本专利技术提供眼底图像分割模型训练方法以及相关设备或系统，来实现视盘和视杯联合分割。
[0006]第一方面，本专利技术提供一种眼底图像分割模型训练方法，其包括以下步骤：获取带标注的源域数据集和无标注的目标域数据集，所述源域数据集包含源域图像和与所述源域图像对应的标注图像，所述目标域数据集包含目标域图像；构建分割网络和判别网络，所述分割网络包含AWDC模块和PFE模块；使用所述源域图像和目标域图像对所述分割网络进行训练，其中，由所述PFE模块将所述分割网络提取的高级特征整合到低级特征中，并由所述分割网络生成多尺度输出；由所述AWDC模块根据所述多尺度输出生成加权多尺度输出；使用所述加权多尺度输出对所述判别网络进行训练，由所述判别网络判断所述多尺度输出源自所述源域图像或目标域图像的概率；计算所述分割网络的总损失和所述判别网络的总损失，根据所述分割网络的总损失更新所述分割网络的参数，根据所述判别网络的总损失更新所述判别网络的参数。
[0007]在一些优选的实施例中，所述分割网络为基于Transformer的语义分割模型SegFormer
‑
B5，而且采用LeakyReLU激活函数替换原始的ReLU激活函数，采用层归一化层替换批归一化层。
[0008]在一些优选的实施例中，所述判别网络为多尺度沃瑟斯坦图像块判别器，其包括五个卷积层，卷积核大小为4，步长为2，所述五个卷积层的通道数分别设置为N
×
2、N
×
4、N
×
6、N
×
8和1，其中N为32、64、128或256。
[0009]在一些优选的实施例中，所述由所述PFE模块将所述分割网络提取的高级特征整合到低级特征中包括以下步骤：对具有H
×
W
×
C维度的高级特征图进行MLP操作，将H和W维度进行组合，其中H、W和C分别表示高度、宽度和通道数；在所有通道上应用平均池化操作来计算每个像素的权重，生成像素级权重图；将所述像素级权重图在维度上扩展，并与所述高级特征图进行逐元素乘法，然后进行重塑操作。
[0010]在一些优选的实施例中，所述由所述AWDC模块根据所述多尺度输出生成加权多尺度输出包括以下步骤：将所述多尺度输出中的特征图在通道维度上连接成特征块F；对所述特征块F执行全局平均池化操作；由式（5）计算权重：其中，α和β分别表示Sigmoid和LeakyReLU激活函数，和分别表示1
×
1卷积操作；将计算得到的权重应用于所述特征块F，得到加权多尺度输出。
[0011]在一些优选的实施例中，所述判别网络的总损失和分割网络的总损失分别由式（6）和式（7）计算得到：（6）和式（7）计算得到：
其中，所述、L
adv
(x
t
)和L
adv
(x
s
)分别由式（1）、式（4
‑
1）和式（4
‑
2）计算得到：到：到：其中，和分别由式（2）和式（3）计算得到：分别由式（2）和式（3）计算得到：其中，L
D
表示所述判别网络的总损失，L
S
表示所述分割网络的总损失，λ和γ分别表示平衡系数；x
s
和y
s
分别表示所述源域图像和与所述源域图像对应的标注图像，x
t
表示所述目标域图像，表示将x
s
输入到所述分割网络后输出的概率；H
p
和W
p
分别表示所述判别网络输出特征图的高度和宽度，B表示批量大小，h
p
和w
p
分别表示所述判别网络输出特征图的维度且h
p
∈[1,H
p
]、w
p
∈[1,W
p
]；S(
·
)表示所述分割网络，D(
·
)表示所述判别网络；K表示所述分割网络中分割任务的类别数，k表示正整数；h表示标签的高，w表示标签的宽。
[0012]在一些优选的实施例中，所述λ为0.001，所述γ为0.1，所述K为3。
[0013]第二方面，本专利技术提供一种眼底图像分割模型训练设备，其包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种眼底图像分割模型训练方法，其特征在于，包括以下步骤：获取带标注的源域数据集和无标注的目标域数据集，所述源域数据集包含源域图像和与所述源域图像对应的标注图像，所述目标域数据集包含目标域图像；构建分割网络和判别网络，所述分割网络包含AWDC模块和PFE模块；使用所述源域图像和目标域图像对所述分割网络进行训练，其中，由所述PFE模块将所述分割网络提取的高级特征整合到低级特征中，并由所述分割网络生成多尺度输出；由所述AWDC模块根据所述多尺度输出生成加权多尺度输出；使用所述加权多尺度输出对所述判别网络进行训练，由所述判别网络判断所述多尺度输出源自所述源域图像或目标域图像的概率；计算所述分割网络的总损失和所述判别网络的总损失，根据所述分割网络的总损失更新所述分割网络的参数，根据所述判别网络的总损失更新所述判别网络的参数。2.根据权利要求1所述的眼底图像分割模型训练方法，其特征在于，所述分割网络为基于Transformer的语义分割模型SegFormer
‑
B5，而且采用LeakyReLU激活函数替换原始的ReLU激活函数，采用层归一化层替换批归一化层；所述判别网络为多尺度沃瑟斯坦图像块判别器，其包括五个卷积层，卷积核大小为4，步长为2，所述五个卷积层的通道数分别设置为N
×
2、N
×
4、N
×
6、N
×
8和1，其中N为32、64、128或256。3.根据权利要求1所述的眼底图像分割模型训练方法，其特征在于，所述由所述PFE模块将所述分割网络提取的高级特征整合到低级特征中包括以下步骤：对具有H
×
W
×
C维度的高级特征图进行MLP操作，将H和W维度进行组合，其中H、W和C分别表示高度、宽度和通道数；在所有通道上应用平均池化操作来计算每个像素的权重，生成像素级权重图；将所述像素级权重图在维度上扩展，并与所述高级特征图进行逐元素乘法，然后进行重塑操作。4.根据权利要求1所述的眼底图像分割模型训练方法，其特征在于，所述由所述AWDC模块根据所述多尺度输出生成加权多尺度输出包括以下步骤：将所述多尺度输出中的特征图在通道维度上连接成特征块F；对所述特征块F执行全局平均池化操作；由式（5）计算权重：其中，α和β分别表示Sigmoid和LeakyReLU激活函数，和分别表示1
×
1卷积操作；将计算得到的权重应用于所述特征块F，得到加权多尺度输出。5.根据权利要求1所述的眼底图像分割模型训练方法，其特征在于，所述判别网络的总损失和分割网络的...

【专利技术属性】
技术研发人员：易玉根，周唯，纪鉴航，喻鹏，赵晶，胡扬涛，
申请(专利权)人：江西师范大学，
类型：发明
国别省市：