【技术实现步骤摘要】
本专利技术涉及计算机视觉与模式识别，尤其涉及一种基于上下文驱动的边缘增强医学图像分割方法。
技术介绍
1、图像分割对于医学图像来说异常重要，其主要目的是为了实现在像素级别和细粒度的病变识别。随着现代智慧医疗的快速发展，医学图像分割涉及的影像种类越来越多，因此也对深度学习模型的准确性和通用性提出了更高的要求。医学图像领域的主要挑战之一是缺乏训练数据，因为只有专业的医生才可以标记数据，并且非常耗时。其次，医学图像通常具有不均匀和低对比度的外观，以及一些结构的尺度和形状变化很大，并且存在边缘模糊和复杂的情况，因此许多深度学习网络很容易导致过拟合或者欠拟合。近些年来在医学图像分割中使用最广泛的编码器解码器网络架构：u-net，unet是众多cnn中特别成功的一个，其结构中编码器的浅层部分主要致力于捕获低级特征，随着网络层次的加深，空间语义信息变得更加丰富。在解码器部分，将提取的抽象特征映射还原为原始输入的维度，同时采用跳跃连接将编码器与解码器的特征进行融合。跳跃连接可以帮助在网络下采样路径中由于池化操作引起的信息丢失，从而保留更多的原始信息。这种设计使得u-net在许多的分割任务上取得了巨大的成功。
技术实现思路
1、本专利技术的目的在于提供一种基于上下文驱动的边缘增强医学图像分割方法，该方法能够将编码器最深层的高级语义信息与浅层的边缘、纹理等信息相互融合，利用丰富的语义信息来指导模型更好的提取图像的边界。并且我们还在此基础上增加了边界增强模块(pee),帮助解码器更加精准的恢复我们的分割
2、为实现上述目的，本专利技术的技术方案是：一种基于上下文驱动的边缘增强医学图像分割方法，包括以下步骤：
3、步骤s1、给定一个图像，在输入训练模型之前进行包括裁剪、翻转的数据预处理操作，医学分割任务的数据集由训练图像和对应的训练分割真实值图像组成，并对这两部分图像数据进行相同的在线数据预处理操作；
4、步骤s2、设计分割网络fbeunet中改进的ghpa模块，它在多个轴向上对输入数据进行哈达玛积操作，用于提取输入数据中的关键信息特征；
5、步骤s3、设计分割网络fbeunet中的fusion block，采用fusionblock改进unet网络中的跳跃连接，融合步骤s2提取的关键信息特征；
6、步骤s4、对步骤s3所得到的特征进行边界增强操作，在跳跃连接过程中加入pee金字塔边缘增强模块，用于在编码器子网络的每个阶段挖掘边缘周围的多粒度信息；
7、步骤s5、将步骤s3、s4所得到的特征图送入拼接模块，将深层的特征经过上采样后与编码器输出的特征图进行拼接得到最终特征图；
8、步骤s6、利用步骤s1经过数据预处理的医学分割任务的数据集输入步骤s3、s4、s5所搭建的分割网络fbeunet，并送进解码器恢复最终的分割结果图。
9、在本专利技术一实施例中，在步骤s1中，数据预处理操作步骤如下：
10、针对训练图像，对每张图像进行尺寸缩放、随机裁剪、水平镜像、随机裁剪的数据增强操作；
11、针对训练分割真实值图像，采用与训练图像一样的数据增强方法。
12、在本专利技术一实施例中，在步骤s2中，为克服多头自注意力机制mhsa带来的二次复杂度问题，提出具有线性复杂度的哈达玛积注意力机制hpa；给定输入x和随机初始化的可学习张量p，首先使用双线性插值来调整p的大小以匹配x的大小；然后，在p上采用深度可分离卷积(dw)，在x和p之间进行哈达玛乘积运算以获得输出；引入基于hpa的ghpa，将输入沿通道维度平均分为四组，并分别对前三组的高度-宽度、通道-高度和通道-宽度上执行hpa；对于最后一组，只在特征图上使用dw；最后，沿着通道维度将这四个组连接起来，并应用另一个dw来整合不同角度的信息；dw中使用的所有内核大小均为3。
13、在本专利技术一实施例中，所述步骤s3具体实现如下：
14、设计fusion block，给定两个编码器输出的特征分别为fi和fj，首先将fi和fj拼接在一起，然后送到两个卷积层中，以获取来自不同尺度但在相同通道中配对特征的相关重要性；通道重要性或注意力权重w计算如下：
15、w＝gap(sigmoid(convs(cat(fi,fj))))
16、其中cat(*)是通道拼接操作，convs(*)是一个卷积块，包含一个1×1的卷积层和一个3×3的卷积层，sigmoid(*)是sigmoid函数，gap(*)表示全局平局池化操作；w值越高，表示第j个尺度的相应特征通道比第i个尺度的相应特征通道更重要，反之亦然；根据通道重要性权重，计算出融合后的特征如下：
17、ff＝fusion(fi,fj)＝fi×(1-w)+fj×w。
18、在本专利技术一实施例中，所述步骤s4具体实现如下：
19、首先将编码器提取得到的特征使用多尺度平均池化的操作，通过从局部特征图经过注意力卷积操作后的特征图减去平均池化得到的特征图，得到边缘附近的多粒度响应。
20、在本专利技术一实施例中，步骤s5中，首先，得到五个层级的特征图f1、f2、f3、f4、f5，其中f4首先与解码器d1进行跳跃连接操作，在经过步骤s3，s4之后，f5经过上采样与f4进行拼接之后将特征图传入解码器d1，解码器d1的特征图将与f3经过步骤s3，s4之后进行拼接。
21、在本专利技术一实施例中，所述步骤s6具体实现如下：
22、经过数据增强预处理之后的医学图像送入分割网络fbeunet中，经过五层的ghpa模块，将原始的图片大小h×w分别降到原始图片大小的其中将第一层f1、第二层f2的浅层特征送入步骤s3的fusion block进行特征融合，再将融合后的特征与第五层f5高级的语义特征进行融合，紧接着通过融合得到的特征分别传输给解码器d3、d4，编码器f3、f4与fusion block得到的特征图拼接之后分别送入解码器d1、d2，最终将解码器d1、d2、d3、d4所得特征图统一尺度后经过1×1卷积再经过sigmoid激活函数得到最终分割后的图像。
23、相较于现有技术，本专利技术具有以下有益效果：本专利技术方法能够将编码器最深层的高级语义信息与浅层的边缘、纹理等信息相互融合，利用丰富的语义信息来指导模型更好的提取图像的边界。并且我们还在此基础上增加了边界增强模块(pee)，该模块是一种简单有效的金字塔特征提取方案，用于在编码器子网络的每个阶段挖掘边缘周围的多粒度信息，帮助解码器更加精准的恢复我们的分割图，该网络有效的提高了模型特征融合能力，进而提高模型的分割精准性；
24、本专利技术方法具有的优点包括：
25、(1)通过结合低级特征和高级语义信息的角度提出了一种全新特征融合方式，既能获取高级别的上下文语义信息又能够有效的保留边缘信息。
26、(2)通过设计的一个金字塔边缘增强模块pee，有效的利用边界信息为更好的分割预测提供补本文档来自技高网...
【技术保护点】
1.一种基于上下文驱动的边缘增强医学图像分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于上下文驱动的边缘增强医学图像分割方法，其特征在于，在步骤S1中，数据预处理操作步骤如下：
3.根据权利要求1所述的一种基于上下文驱动的边缘增强医学图像分割方法，其特征在于，在步骤S2中，为克服多头自注意力机制MHSA带来的二次复杂度问题，提出具有线性复杂度的哈达玛积注意力机制HPA；给定输入x和随机初始化的可学习张量p，首先使用双线性插值来调整p的大小以匹配x的大小；然后，在p上采用深度可分离卷积(DW)，在x和p之间进行哈达玛乘积运算以获得输出；引入基于HPA的GHPA，将输入沿通道维度平均分为四组，并分别对前三组的高度-宽度、通道-高度和通道-宽度上执行HPA；对于最后一组，只在特征图上使用DW；最后，沿着通道维度将这四个组连接起来，并应用另一个DW来整合不同角度的信息；DW中使用的所有内核大小均为3。
4.根据权利要求1所述的一种基于上下文驱动的边缘增强医学图像分割方法，其特征在于，所述步骤S3具体实现如下：
5.根据
6.根据权利要求1所述的一种基于上下文驱动的边缘增强医学图像分割方法，其特征在于，步骤S5中，首先，得到五个层级的特征图F1、F2、F3、F4、F5，其中F4首先与解码器D1进行跳跃连接操作，在经过步骤S3，S4之后，F5经过上采样与F4进行拼接之后将特征图传入解码器D1，解码器D1的特征图将与F3经过步骤S3，S4之后进行拼接。
7.根据权利要求1所述的一种基于上下文驱动的边缘增强医学图像分割方法，其特征在于，所述步骤S6具体实现如下：
...【技术特征摘要】
1.一种基于上下文驱动的边缘增强医学图像分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于上下文驱动的边缘增强医学图像分割方法，其特征在于，在步骤s1中，数据预处理操作步骤如下：
3.根据权利要求1所述的一种基于上下文驱动的边缘增强医学图像分割方法，其特征在于，在步骤s2中，为克服多头自注意力机制mhsa带来的二次复杂度问题，提出具有线性复杂度的哈达玛积注意力机制hpa；给定输入x和随机初始化的可学习张量p，首先使用双线性插值来调整p的大小以匹配x的大小；然后，在p上采用深度可分离卷积(dw)，在x和p之间进行哈达玛乘积运算以获得输出；引入基于hpa的ghpa，将输入沿通道维度平均分为四组，并分别对前三组的高度-宽度、通道-高度和通道-宽度上执行hpa；对于最后一组，只在特征图上使用dw；最后，沿着通道维度将这四个组连接起来，并...
【专利技术属性】
技术研发人员：章欣欣，陈煜，王大寒，吴嘉骅，朱顺痣，王继伟，
申请(专利权)人：厦门理工学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。