一种基于动态可变形卷积与滑窗自适应互补注意力机制的医学图像分割方法技术

本发明专利技术公开了一种基于动态可变形卷积与滑窗自适应互补注意力机制的医学图像分割方法，提高对医学图像中微小病灶与形变较大的目标感知以及对分割目标与背景之间的判别能力。动态可变形卷积通过任务自适应学习，可以灵活改变权重系数和形变偏置，增强对图像局部特征的表达能力，实现对空间特征的自适应提取。滑窗自适应互补注意力机制通过权重系数自适应学习的自注意力分支实现对医学图像跨维度的全局建模，滑窗自适应互补注意力机制弥补了常规对空间与通道之间跨维度关系建模不足的缺陷，能够捕获图像中跨维度的长距离关联特征。且并行交互的方式结合不同分辨率下的局部与全局特征来增强表征学习，最大限度的保留医学图像中的局部特征与全局特征。图像中的局部特征与全局特征。图像中的局部特征与全局特征。

【技术实现步骤摘要】
一种基于动态可变形卷积与滑窗自适应互补注意力机制的医学图像分割方法


[0001]本专利技术属于图像处理
以及模式识别领域，具体涉及一种基于动态可变形卷积与滑窗自适应互补注意力机制的医学图像分割方法。

技术介绍

[0002]医学图像分割在医学图像处理领域扮演着十分重要的角色，同时也是计算机辅助诊断和治疗系统的核心技术之一。传统方法依靠专业且经验丰富的医生对大量的医学图像数据进行手工标注与分割，不仅费时费力，而且容易受到主观因素的影响。近年来，随着人工智能，计算机技术的快速发展，研究人员在大量实验的基础上，开发出了许多新的医学图像自动分割算法。现有的医学图像分割方法主要是基于深度学习的方法，这些方法大致可以分为基于CNNs和基于Transformer网络两大类。
[0003]基于深度学习的算法能够通过多层网络结构学习医学图像的高维特征信息。在各种与医学图像分割相关的深度学习网络中，卷积神经网络(Convolutional Neural Networks，CNNs)的表现极具出色。CNNs能够有效的从大规模医学数据集中学习到区分特征和提取先验知识的能力，使其成为了现代智能医学影像分析系统的重要组成部分。2015年，Ronnebreger等人受到FCN网络的启发，在ISBI cell tracking challenge中设计出了第一个用于医学图像分割的端到端网络U
‑
Net。U
‑
Net网络是一种对称的编解码结构，其独特的设计结构可以充分利用医学图像的局部细节信息，降低网络对训练数据集的依赖。因此，在数据集较小的情况下，U
‑
Net网络仍然能够取得好的医学图像分割效果。Alom等人通过将U
‑
Net、ResNet和循环神经网络(RCNN)相结合的方式，设计出了R2U
‑
Net，该网络在血管、视网膜等多个医学图像分割数据集中都获得了很好的表现。紧接着Gu等人将动态卷积引入到U
‑
Net中，提出了CA
‑
Net。经过在医学数据集中的实验证明，CA
‑
Net不仅能够提升医学图像的分割精度，而且能够减小模型的训练时间。在U
‑
Net的基础上，Yang等人借鉴了残差连接和可变形卷积的思想，在U
‑
Net中增加了一个残差可变形卷积(residual deformable convolution)，提出了DCU
‑
Net。DCU
‑
Net在DRIVE医学数据集上表现出了比U
‑
Net更加先进的分割效果。Lei等人在U
‑
Net基础上设计出了SGU
‑
Net，提出的超轻卷积模块和additional adversarial shape
‑
constraint可以通过自监督训练显著提高腹部医学图像的分割精度。CNNs虽然在网络结构上取得了很大的进步，但是其成功的主要因素归功于处理不同尺度时的不变性和局部建模时的归纳偏置。这种固定的感受野虽然提高了CNNs的计算效率，但是限制了其捕获医学图像中远距离像素点之间关系的能力，缺乏对医学图像的长程建模能力。
[0004]2017年，Vaswani等人提出了首个Transformer网络，因为其独特的设计结构，使Transformer具有不定长输入、建立长程依赖建模和捕获全局信息的能力。Transformer的成功主要归功于自注意力机制(self
‑
attention mechanism，SA)，因为其能够捕捉长距离依赖关系。随着Transformer在NLP任务中取得了优异的表现，ViT将Transformer首次应用
于图像处理领域，通过多个级联的Transformer层来捕获输入图像的全局上下文信息，使得Transformer在图像分类任务中取得了巨大成功。紧接着Chen等人提出了TransUNet，该网络的出现迎来了Transformer用于医学图像分割领域的全新局面。由于TransUNet直接将NLP中的Transformer模型用于图像分割领域，所以导致输入的图像块大小固定且计算量大。Valanarasu等人针对TransUNet存在的缺陷，结合门控机制提出了MedT，该网络加入门控机制后使得模型在训练不同大小的医学数据集时可以自动调节门控参数，获得适合当前数据集的位置嵌入权重。由于图像比文本更多样，且分辨率高。Cao等人结合Swin Transformer中的滑窗多头自注意力(shifted window multi
‑
head self attention,SW
‑
MSA)提出了用于医学图像分割的纯Transformer网络Swin
‑
Unet。Swin
‑
Unet在Synapse和ACDC多器官分割数据集中都取得了当时最先进的分割性能。为了更好的将Transformer用于处理皮肤病变图像数据，Wang等人融合边缘检测思想设计出了BAT网络。所提出的boundary
‑
wise attention gate(BAG)能够充分利用图像边界的先验知识捕获医学图像更多的细节信息。使得BAT在皮肤病变数据集上取得了惊人的分割效果，超过了许多最新的医学图像分割网络。
[0005]尽管上述网络在医学图像分割领域获得了巨大成功，但是这些网络仍然存在以下两个问题：首先，这些网络在对图像的局部特征建模时忽略了器官的形变和病灶的不规则问题，导致对形变较大的器官和病灶的局部特征表达能力较弱。其次，这些网络在对图像进行全局特征建模时忽略了特征图空间与通道之间的相关性，导致自注意力表达不充分。

技术实现思路

[0006]为了解决现有技术中的问题，本专利技术提供了一种基于动态可变形卷积与滑窗自适应互补注意力机制的医学图像分割方法，通过基于CNNs和Transformer融合架构的动态可变形卷积和滑窗自适应互补注意力机制，从有限的人体医学标注数据中探索目标器官的几何形状特征、局部细节特征和全局语义特征，并通过CNNs和Transformer并行交互的方式紧密结合不同分辨率下的局部与全局特征，来增强表征学习，最大限度的保留医学图像中的局部特征和全局特征。
[0007]为了实现以上目的，本专利技术所采用的技术方案包括：
[0008]1)加载医学图像数据集并进行预处理；
[0009]2)构建CNNs与Transformer融合网络并进行训练，CNNs与Transformer融合网络由双支路网络并行交互组成，动态可变形卷积操作在CNNs分支内，滑窗自适应互补注意力机制在Transformer分支内；动态可变形卷积能够根据特定的医学图像分割任务和数据分布，自适应地学习卷积核形变偏移量和卷积核权重系数，同时通过网络的反向传播实现端到端的训练，从而实现卷积核形状与权重的双重变化；滑窗自适应互补注意力机制具本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态可变形卷积与滑窗自适应互补注意力机制的医学图像分割方法，其特征在于，包括：1)加载医学图像数据集并进行预处理；2)构建CNNs与Transformer融合网络并进行训练，CNNs与Transformer融合网络由双支路网络并行交互组成，动态可变形卷积操作在CNNs分支内，滑窗自适应互补注意力机制在Transformer分支内；动态可变形卷积能够根据特定的医学图像分割任务和数据分布，自适应地学习卷积核形变偏移量和卷积核权重系数，同时通过网络的反向传播实现端到端的训练，从而实现卷积核形状与权重的双重变化；滑窗自适应互补注意力机制具有四个可学习参数的Transformer自注意力分支，能够提取空间内的图像全局信息，并捕获空间与通道之间跨维度的长距离相关特征；3)输出CNNs分支和Transformer分支各自的分割预测结果；对分割预测结果进行融合判别，输出最终优化的分割结果。2.根据权利要求1所述的一种基于动态可变形卷积与滑窗自适应互补注意力机制的医学图像分割方法，其特征在于，所述预处理包括：将数据集原始图像尺寸统一调整为224
×
224；对原始数据集中的图像进行随机缩放操作，缩放比例在0.9到1.5之间；按0.5的比例对原始数据集中的图像进行随机垂直翻转、水平翻转、90
°
旋转或270
°
旋转。3.根据权利要求1所述的一种基于动态可变形卷积与滑窗自适应互补注意力机制的医学图像分割方法，其特征在于，所述动态可变形卷积中卷积核的形状变化是基于网络对形变偏移量的学习，网络首先利用方形卷积核S对输入特征图X进行采样，接着与权重矩阵M进行加权求和；形变偏移量的学习中3
×
3的卷积核表示为：S＝{(0，0)，(0，1)，(0，2)，...，(2，1)，(2，2)}此时输出特征图Y中的每个位置坐标表示为：当在权重矩阵M中引入形变偏移量后，N为S的总长度，则：通过网络学习，最终得到一个与输入特征图相同尺寸的偏移量矩阵，矩阵维度是输入特征图的2倍。4.根据权利要求1或3所述的一种基于动态可变形卷积与滑窗自适应互补注意力机制的医学图像分割方法，其特征在于，所述动态可变形卷积中卷积核权重变化是通过引入权重系数来决定，对于权重系数的学习，常规卷积的特征图输出结果表示为：y＝σ(W
×
x)其中σ为激活函数，W为卷积核权重矩阵，引入权重系数之后，特征图经过动态可变形卷积后的输出结果为：y＝σ((α1×
W1+
…
+α
n
×
W
n
)
×
x)n为权重系数的个数，α
n
是具有可学习参数的权重系数。5.根据权利要求1所述的一种基于动态可变形卷积与滑窗自适应互补注意力机制的医
学图像分割方法，其特征在于，所述滑窗自适应互补注意力机制采用滑窗计算方式只计算局部窗口内的自注意力，同时设置了紧致卷积投影，包括：首先通过滑窗操作降低医学图像的局部尺寸，然后通过紧致卷积投影对医学图像的通道维度进行压缩，最后计算自注意力。6...

【专利技术属性】
技术研发人员：雷涛，孙瑞，杜晓刚，杨子瑶，薛明园，闵重丹，
申请(专利权)人：陕西科技大学，
类型：发明
国别省市：