一种基于OCTA图像的血管分割方法技术

本发明专利技术提供了一种基于OCTA图像的血管分割方法，涉及图像处理技术领域，本方法包括步骤：S1：通过预训练的自编码器网络对标签图像进行编码，得到标签隐向量特征；S2：采用SwinTransformer模块对输入图像进行隐向量特征的提取，并通过最小二乘生成对抗网络，将原始图像的隐空间和分割标签的隐空间进行特征对齐；S3：将对齐后的隐向量特征由解码器网络进行上采样并得到分割结果。本方法能够实现对OCTA图像中复杂血管系统进行精准自动分割。OCTA图像中复杂血管系统进行精准自动分割。OCTA图像中复杂血管系统进行精准自动分割。

【技术实现步骤摘要】
一种基于OCTA图像的血管分割方法


[0001]本专利技术涉及图像处理
，具体而言，涉及一种基于OCTA图像的血管分割方法。

技术介绍

[0002]血管系统作为视网膜中最重要的生物组织结构之一，它的形态学变化与系统性、代谢性和血液性疾病密切相关，能够帮助眼科医生了解疾病的发展情况以及评估效果。
[0003]目前，基于OCTA图像的工作受到了广泛的关注，包括图像去伪影、图像去噪、动静脉分类和疾病分类等。但基于OCTA图像的血管自动分割任务的研究较少，特别是基于深度学习的OCTA图像血管分割仍然是一项极具挑战性的任务。其难点主要包括：首先，在OCTA成像过程中，不可避免地受到OCT系统固有的散斑噪声的干扰，从而生成低信噪比的图像，这对视网膜血管的自动分割带来极大不利影响；其次，不同深度层的血管外观变化、运动和阴影伪影，以及潜在的病理结构都显著增加了视网膜血管精准分割的难度。大多数深度学习的方法都是基于区域的学习，这种技术对于那些紧密连接的毛细血管，很容易产生不连续、不精确的分割结果，这意味着，当需要检测粗细、成像深度都不相同的血管结构时，这些方法难以满足现阶段的临床需求。

技术实现思路

[0004]本专利技术解决的问题是如何实现对OCTA图像中复杂血管系统的精准自动分割。
[0005]为解决上述问题，本专利技术提供一种基于OCTA图像的血管分割方法，包括步骤：
[0006]S1：通过预训练的自编码器网络对标签图像进行编码，得到标签隐向量特征；
[0007]S2：采用Swin Transformer模块对输入图像进行隐向量特征的提取，并通过最小二乘生成对抗网络，将原始图像的隐空间和分割标签的隐空间进行特征对齐；
[0008]S3：将对齐后的隐向量特征由解码器网络进行上采样并得到分割结果。
[0009]在上述方法中，构建了一个用于OCTA血管分割的端到端U形编码器
‑
解码器网络，有效融合了三种OCTA对应层面的横断面图像进行血管的自动精准提取。融合Swin Transformer模块和残差模块作为OCTA血管分割网络的编码器层，有效提升了模型的特征提取能力。通过特征级的隐向量对齐损失函数，以实现在隐空间特征层次对分割模型进行优化。采用Swin Transformer编码器从输入图像中提取丰富的特征，并从隐空间层次设计了一个特征对齐损失函数，以获得更精准的整体分割结果。
[0010]进一步地，所述步骤S1中预训练的自编码器网络包括：编码器结构和解码器结构；
[0011]每层编码器结构和解码器结构将残差模块和最大池化层作为基本架构；自编码器网络通过将输入的分割标签图像的特征编码到隐向量空间，然后再经过解码器进行恢复；
[0012]其中，自编码器网络的重建损失L
recon
为均方误差损失。
[0013]在上述方法中，首先训练自编码器网络对标签图像进行编码，得到标签隐向量特征，仅包括编码器结构与解码器结构，每层编码器和解码器将残差模块和最大池化层作为
基本架构。与常见分割网络不同，自编码器网络舍弃了解码器与编码器之间的跳跃连接，而是通过将输入的分割标签图像的特征编码到隐向量空间，然后直接经过解码器进行恢复。通过这种做法，使得标签隐向量具备丰富的标签特征信息。
[0014]进一步地，所述步骤S2中隐空间特征包括两个损失函数：像素级的dice系数损失和特征级的隐向量对齐损失函数；
[0015]像素级的dice系数损失函数是一种计算重叠区域的度量函数，定义为：
[0016][0017]其中，N表示像素的个数；p(k，i)∈[0，1]和g(k，i)∈[0，1]分别表示对应于第k个类别，预测的概率以及真实的像素类别；K表示需要分割的类别数；ω
k
表示第k个类别的权重。
[0018]在上述方法中，通过训练好的自编码器所提取的隐向量空间包含了丰富的分割标签特征，并且能够通过解码器成功恢复标签图像。
[0019]进一步地，所述最小二乘把交叉熵损失函数换做为最小二乘损失函数，最小二乘损失函数的目标函数为：
[0020][0021][0022]其中，和P分别表示期望和概率分布，D和G分别表示判别器和分割网络的编码器，x表示标签编码的隐向量特征，z表示输入的原始图像。
[0023]在上述方法中，为了从原始输入图像中获得丰富的与血管相关的隐空间信息，本专利技术采用最小二乘生成对抗网络对原始图像的隐空间和分割标签的隐空间进行特征对齐。
[0024]进一步地，所述步骤S3包括：
[0025]S31：通过卷积块将输入的三种OCTA对应层面的横断面图像进行图像融合，得到图像特征信息；
[0026]S32：编码器提取融合后图像的浅层和深层特征，并通过跳跃连接与解码器相结合，将编码器提取的各个层次的特征与解码器上采样得到的特征相融合，得到最终的血管分割结果。
[0027]在上述方法中，通过卷积块将输入的三种OCTA对应层面的横断面图像，即SVC、DVC和SVC结合DVC，进行图像融合，从而能够为编码器提供丰富的图像信息，并在一定程度上缓解了OCTA图像中的散斑噪声和伪影对分割的干扰。
[0028]进一步地，将ResU
‑
Net网络作为基础网络，将Swin Transformer引入ResU
‑
Net中组成新的编码器结构，特征编码器的编码步骤包括四个不同阶段，每个阶段都由多个堆叠在一起的Swin Transformer模块组成的Transformer层和残差模块级联而成。
[0029]进一步地，所述Swin Transformer模块由一个基于窗口的多头自注意力模块和一个基于移位窗口的多头自注意力模块以及两个多层感知器组成；
[0030]在每个多头自注意力模块和多层感知器之前应用层标准化层，并在相应模块之后
应用残差连接。
[0031]在上述方法中，在相应模块之后应用残差连接，从而能够有效提升编码模块的表征能力。
[0032]进一步地，所述三种OCTA对应层面的横断面分别包括SVC、DVC以及SVC结合DVC。
[0033]在上述方法中，融合了SVC、DVC和SVC结合DVC这三种OCTA对应层面的横断面图像进行血管的自动精准提取。
[0034]本专利技术采用上述技术方案包括以下有益效果：
[0035]本专利技术针对OCTA图像视网膜血管系统精准分割所遇到的问题，提出了一种端到端的视网膜血管分割网络，包括用于融合三种OCTA对应层面的横断面图像的卷积块，基于Swin Tranformer的特征编码器以及隐向量对齐模块。首先对SVC、DVC和SVC结合DVC这三种OCTA对应层面的横断面图像进行融合并输入分割网络中，丰富输入网络的图像特征信息，并在一定程度上缓解OCTA图像存在的散斑噪声和伪影对分割的干扰。然后采用Swin Transformer编码器从输入图像中提取丰富的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于OCTA图像的血管分割方法，其特征在于，包括步骤：S1：通过预训练的自编码器网络对标签图像进行编码，得到标签隐向量特征；S2：采用Swin Transformer模块对输入图像进行隐向量特征的提取，并通过最小二乘生成对抗网络，将原始图像的隐空间和分割标签的隐空间进行特征对齐；S3：将对齐后的隐向量特征由解码器网络进行上采样并得到分割结果。2.根据权利要求1所述的基于OCTA图像的血管分割方法，其特征在于，所述步骤S1中预训练的自编码器网络包括：编码器结构和解码器结构；每层编码器结构和解码器结构将残差模块和最大池化层作为基本架构；自编码器网络通过将输入的分割标签图像的特征编码到隐向量空间，然后再经过解码器进行恢复；其中，自编码器网络的重建损失L
recon
为均方误差损失。3.根据权利要求1所述的基于OCTA图像的血管分割方法，其特征在于，所述步骤S2中隐空间特征包括两个损失函数：像素级的dice系数损失和特征级的隐向量对齐损失函数；像素级的dice系数损失函数是一种计算重叠区域的度量函数，定义为：其中，N表示像素的个数；p(k，i)∈[0，1]和g(k，i)∈[0，1]分别表示对应于第k个类别，预测的概率以及真实的像素类别；K表示需要分割的类别数；ω
k
表示第k个类别的权重。4.根据权利要求3所述的基于OCTA图像的血管分割方法，其特征在于，所述最小二乘把交叉熵损失函数换做为最小二乘损失函数，最小二乘损失函数的目标函数为：交叉熵损失函数换做为最小二乘损失函...

【专利技术属性】
技术研发人员：张炯，许聪，郝华颖，马煜辉，顾愿愿，赵一天，
申请(专利权)人：中国科学院宁波材料技术与工程研究所，
类型：发明
国别省市：