基于特征重构的无监督域自适应OCT图像分割方法及系统技术方案

本发明专利技术提供一种基于特征重构的无监督域自适应OCT图像分割方法及系统，涉及图像分割技术领域。该方法包括采集不同OCT图像构建数据集，将数据集划分为源域图像数据和目标域图像数据；对所述源域图像和所述目标域图像进行预处理；构建基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型，并将预处理后的源域图像和目标域图像输入到网络中进行训练，得到训练好的基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型；将待分割图像输入到训练好的基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型中，得到分割结果。本发明专利技术可有效提升跨域视网膜OCT图像分割的性能。升跨域视网膜OCT图像分割的性能。升跨域视网膜OCT图像分割的性能。

【技术实现步骤摘要】
基于特征重构的无监督域自适应OCT图像分割方法及系统


[0001]本专利技术涉及图像分割
，尤其涉及一种基于特征重构的无监督域自适应OCT图像分割方法及系统。

技术介绍

[0002]光学相干断层扫描(Optical Coherence Tomography，OCT)凭借高分辨率、非接触性与高速成像等优势广泛运用于视网膜疾病的诊断。实现OCT图像中组织层次与病灶自动精准分割对视网膜疾病的临床诊断与治疗有着重大的意义。随着深度学习技术的发展，基于深度学习的分割方法在OCT图像分割领域取得了优异的结果。然而，OCT图像数据往往来自不同设备或不同成像方式，这导致了不同OCT图像数据间存在严重的域偏移，进而导致分割模型在不同领域OCT图像数据上的性能急剧下降。
[0003]传统域自适应方法都是基于卷积神经网络分类器开发的，这些方法主要是通过对齐源图像和目标图像之间的特征分布来解决问题。此外，采用损失函数约束网络的方式也被广泛使用，通过线性变换将目标域数据的特征分布映射到源域的特征分布上，从而使得源域与目标域的数据特征在统计意义上相似，进而提高模型在目标域上的泛化性能。在损失函数约束的基础上，对抗学习也被引入用以解决该类问题，CYCADA使用CycleGAN，通过像素对齐将源域图像传输到目标域，从而生成额外的训练数据，并结合特征空间的对抗学习方法进行训练以实现域自适应，通过同时对风格转化后的图片与分割预测空间使用对抗损失进行对齐以实现域自适应的目标。此外，也有一些利用非对抗的方法：课程学习根据源样本推断目标图像的重要属性并指导模型分割目标图像对应区域；基于非对抗模型的自训练方法通过不断地去优化训练过程中生成的目标图像伪标签来传递语义表示。此外，还有方法通过开发一个伪像素标签生成器专注于难以转移的目标样本。虽然这些方法取得一定的效果，但仍然存在以下不足：
[0004](1)基于深度学习的分割方法，使用带标注的源域对模型进行训练，并直接在目标域数据上进行测试，当源域和目标域数据存在分布差异时，模型分割性能发生显著地下降。
[0005](2)特征无监督域自适应方法通过在源域和目标域之间对齐从网络中提取的特征，虽然对齐了边缘分布但却不强制任何语义的一致性，导致特征映射存在误差的可能；
[0006](3)对抗无监督域自适应方法虽然在特征空间上减少了不同数据的分布差异，从而增强了特征的迁移性，但同时也牺牲了特征的判别性。
[0007](4)基于统计方法的无监督域自适应方法通过在再生核希尔伯特空间中计算两个域数据的分布差异损失来解决数据的域偏移问题，虽然能够在一定程度上缓解模型在跨域数据上性能下降的问题，但随着数据量的增多，其计算量也呈几何倍地增长。

技术实现思路

[0008]本专利技术所要解决的技术问题是，针对由不同仪器或同一仪器采用不同扫描方式获取的OCT图像在噪声分布、对比度以及分辨率等方面存在着较大的差异。提出一种基于特征
重构的无监督域自适应OCT图像分割方法及系统，目的在于减小跨域OCT数据分布差异，用源域图像及其金标准训练，而不需要目标域图像金标准，获得在目标域图像上较高的分割性能。
[0009]为了解决上述问题，本专利技术实施例提供一种基于特征重构的无监督域自适应OCT图像分割方法，所述方法包括：
[0010]S1：采集不同OCT图像构建数据集，将数据集划分为源域图像数据和目标域图像数据；
[0011]S2：对所述源域图像和所述目标域图像进行预处理；
[0012]S3：构建基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型，并将预处理后的源域图像和目标域图像输入到网络模型中进行训练，得到训练好的基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型；
[0013]S4：将待分割图像输入到训练好的基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型中，得到分割结果。
[0014]优选地，所述基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型采用U形网络结构，包括分割器模块和特征重构模块；
[0015]所述分割器模块由编码器与解码器组成，所述编码器用于分别对带标注的源域图像和无标注的目标域图像进行特征提取，并通过所述解码器对特征进行恢复以获得图像的分割结果；
[0016]所述特征重构模块添加在解码器部分的次顶层，所述特征重构模块用于对输入的源域与目标域特征进行重构，在保留各自原有域自信息的基础上，融入域间的类别互信息。
[0017]优选地，所述编码器包含4层，每层由卷积核、批归一化操作以及Relu激活函数构成，在编码器每一层后使用最大池化对图像进行一次下采样，在增大感受野的同时降低图像的分辨率，所述编码器共下采样4次，特征图输出通道数分别为64、128、256、512。
[0018]优选地，所述解码器包括4层，每层由卷积核、反卷积构成，解码器的每一层都会对上一层特征进行上采样，并将上采样的深层特征图和跳跃连接的浅层特征图进行拼接，得到该层的输出特征图。
[0019]优选地，所述特征重构模块的结构为：
[0020]特征重构模块的输入分别为解码器次顶层的源域特征f
s
∈R
C
×
H
×
W
与目标域特征f
t
∈R
C
×
H
×
W
，其中C、H和W分别代表特征图的通道数、高度和宽度；
[0021]首先，将源域特征f
s
与目标域特征f
t
分别经过σ(
·
)函数得到源域图像与目标域图像的粗分割结果与对各自域的粗分割结果和特征进行宽度与高度维度的合并，得到重塑后的源域粗分割结果p
s
∈R
M
×
HW
、目标域粗分割结果p
t
∈R
M
×
HW
、源域特征f
s
∈R
C
×
HW
和目标域特征f
t
∈R
C
×
HW
，其中，σ(
·
)函数由1
×
1卷积与Sigmoid激活函数构成，M代表分割的类别数；
[0022]接着，将重塑后的源域和目标域的粗分割结果p
s
和p
t
分别与各自重塑后的特征f
s
和f
t
相乘，即对每个批次的图像属于同类的像素点概率求和取平均作为该类别像素点的类别原型，分别得到源域的类别原型K
s
∈R
M
×
C
以及目标域的类别原型K
t
∈R
M
×
C
；
[0023]然后，为了提升模型的分割性能，将源域的原始特征f
s...

【技术保护点】

【技术特征摘要】
1.一种基于特征重构的无监督域自适应OCT图像分割方法，其特征在于，包括：S1：采集不同OCT图像构建数据集，将数据集划分为源域图像数据和目标域图像数据；S2：对所述源域图像和所述目标域图像进行预处理；S3：构建基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型，并将预处理后的源域图像和目标域图像输入到网络模型中进行训练，得到训练好的基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型；S4：将待分割图像输入到训练好的基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型中，得到分割结果。2.根据权利要求1所述的基于特征重构的无监督域自适应OCT图像分割方法，其特征在于，所述基于特征重构与双向选择机制的端到端OCT分割无监督域自适应网络模型采用U形网络结构，包括分割器模块和特征重构模块；所述分割器模块由编码器与解码器组成，所述编码器用于分别对带标注的源域图像和无标注的目标域图像进行特征提取，并通过所述解码器对特征进行恢复以获得图像的分割结果；所述特征重构模块添加在解码器部分的次顶层，所述特征重构模块用于对输入的源域与目标域特征进行重构，在保留各自原有域自信息的基础上，融入域间的类别互信息。3.根据权利要求2所述的基于特征重构的无监督域自适应OCT图像分割方法，其特征在于，所述编码器包含4层，每层由卷积核、批归一化操作以及Relu激活函数构成，在编码器每一层后使用最大池化对图像进行一次下采样，在增大感受野的同时降低图像的分辨率，所述编码器共下采样4次，特征图输出通道数分别为64、128、256、512。4.根据权利要求2所述的基于特征重构的无监督域自适应OCT图像分割方法，其特征在于，所述解码器包括4层，每层由卷积核、反卷积构成，解码器的每一层都会对上一层特征进行上采样，并将上采样的深层特征图和跳跃连接的浅层特征图进行拼接，得到该层的输出特征图。5.根据权利要求2所述的基于特征重构的无监督域自适应OCT图像分割方法，其特征在于，所述特征重构模块的结构为：特征重构模块的输入分别为解码器次顶层的源域特征f
s
∈R
C
×
H
×
W
与目标域特征f
t
∈R
C
×
H
×
W
，其中C、H和W分别代表特征图的通道数、高度和宽度；首先，将源域特征f
s
与目标域特征f
t
分别经过σ(
·
)函数得到源域图像与目标域图像的粗分割结果与对各自域的粗分割结果和特征进行宽度与高度维度的合并，得到重塑后的源域粗分割结果p
s
∈R
M
×
HW
、目标域粗分割结果p
t
∈R
M
×
HW
、源域特征f
s
∈R
C
×
HW
和目标域特征f
t
∈R
C
×
HW
，其中，σ(
·
)函数由1
×
1卷积与Sigmoid激活函数构成，M代表分割的类别数；接着，将重塑后的源域和目标域的粗分割结果p
s
和p
t
分别与各自重塑后的特征f
s
和f
t
相乘，即对每个批次的图像属于同类的像素点概率求和取平均作为该类别像素点的类别原型，分别得到源域的类别原型K
s
∈R
M
×
C
以及目标域的类别原型K
t
∈R
M
×
C
；然后，为了提升模型的分割性能，将源域的原始特征f
s
与本域的类别原型K
s
相融合，得到代表源域的自信息特征f
s
′
；同样的，将目标域的原始特征f
t
与本域的类别原型K
t
相融...

【专利技术属性】
技术研发人员：石霏，刁胜勇，陈新建，
申请(专利权)人：苏州大学，
类型：发明
国别省市：