【技术实现步骤摘要】
本专利技术涉及医学图像处理，特别涉及一种具有丰富信息交互机制的双路径医学图像分割方法。
技术介绍
1、在计算机视觉领域，主要挑战之一是医学图像分割，如皮肤镜图像中的皮肤病变分割。医学图像分割的结果可被提供给医生用于描绘解剖结构、组织定量分析、监测疾病进展、制定诊疗计划等任务。随着医学人工智能算法需求的日益增长，高精度和鲁棒要求的图像分割方法变得越来越重要。
2、针对医学图像分割任务，目前已提出了多种具有编码器-解码器结构的深度学习算法。它们通常用编码器提取图像特征，解码器将提取的特征恢复到原始图像大小，并输出最终的分割结果。u-net作为编码器-解码器网络的代表，在许多医学分割任务中证明了其有效性；基于u-net网络衍生出来大量的深度学习网络，如attention u-net、res-unet及u-net++，也广泛的应用于医学图像语义分割任务，且取得了优异的成果。例如专利号为cn111951286a的专利技术公开了基于u形网络的心室瘢痕分割方法，由于心室瘢痕数据的采集很困难，数据难以大量获取，因此实验选用lge-mri数据集及u-net网络模型对医学图像进行分割，但是，尽管这些u形网络在医学图像分割中得到了广泛的应用，但它们仍然存在一个不可忽视的问题：对于边界模糊、形状不规则的病变，分割效果不理想。造成这一结果的主要原因是u形网络的编码器提取的特征几乎被抽象的语义特征所占据，丢失了大量的细节特征描述，使得解码器难以成功地恢复边界和纹理信息。随着网络的加深，详细信息(如边界、形状、纹理)越来越少，这显然不利于密集的预
技术实现思路
1、为了解决现有技术中存在的问题，本专利技术的目的在于提出了一种具有丰富信息交互机制的双路径医学图像分割方法，一条路径像传统的u-nets那样使用医学图像作为输入提出图片特征，另一条路径使用零初始化向量作为输入通过沿深度方向的共享卷积核来存储隐藏状态信息，这种方法称为i2u-net，允许i2u-net类似于展开的rnn的工作方式，优点在于对层次间的时间顺序关系进行建模，并充分利用历史特征。
2、为了实现上述目的，本专利技术采用的技术方案是：
3、一种具有丰富信息交互机制的双路径医学图像分割方法，包括以下步骤：
4、(1)构建具有信息交互的双路径i2u-net网络，所述双路径i2u-net网络的特征编码器有两条输入路径，分别为图像特征输入路径和隐藏状态输入路径；
5、所述的图像特征输入路径使用医学图像作为输入；
6、所述的隐藏状态路径的输入是一个零初始化向量；
7、表示如下：
8、
9、表示输入的图像特征；表示输入的隐藏状态特征；
10、表示输出的图像特征；表示输出的隐藏状态特征；
11、(2)将步骤(1)输出的图像特征路径和隐藏状态路径实现多功能信息交互，其输入为旧图像特征xt-1与旧隐藏状态特征ht-1，将图像特征与隐藏状态特征进行串联操作，然后在残差块f1中进行残差计算，将提取的特征再次输入到通道注意力单元f2中，从而提取出新的特征yt，公示如下：
12、yt＝f2(f1(concat(xt-1,ht-1)))；
13、(3)在图像特征路径中，将步骤(2)的新特征yt映射的一个副本与输入的旧图像特征xt-1连接，生成新的图像特征xt；
14、xt＝yt+xt-1；
15、(4)在隐藏状态路径中，将步骤(2)的新特征yt通过1×1的共享卷积g1压缩其特征通道，与输入的旧隐藏状态特征ht-1求和，再通过激活单元g2，产生新的隐藏状态特征ht：
16、ht＝g2(g1(yt)+ht-1)；
17、(5)在双路径i2u-net网络的桥接器中将步骤(3)、步骤(4)的特征再进行整体信息融合与增强，具体操作如下：
18、在桥接器的hifa模块中输入特征x∈rh×w×c，h、w、c分别表示空间高度、空间宽度、通道数；两个1×1的卷积wq、wk将x转换为不同的嵌入向量和其中向量φ被平展到大小为n×c，其中n＝h×w，表示空间位置总数，被称为“query”(q)，对于其他嵌入θ，分别使用空间金字塔池化模型和多尺度空洞卷积操作分别捕获其全局和局部上下文表示，然后，捕获到的表示被平方化并连接到一个新的嵌入中，记录为“key”(k)，其中n表示空间金字塔池操作采样的点数；将“key”复制一份，记录为“value”(v)，注意机计算如下：
19、
20、将获得的注意重塑大小为然后使用wo(1×1的卷积)将其通道数扩展为c，最后得到输出如下：
21、x'＝wo(reshape(attention(q,k,v)))+x；
22、(6)由于双路径i2u-net网络的特征编码器有两条输入路径，因此最后步骤(5)增强后的特征在解码器中也有两条路径，亦为图像特征路径和隐藏状态路径；特征解码器使用反卷积操作来恢复高分辨率的特征，首先使用1×1的卷积来压缩特征通道的数量，然后使用3×3的反卷积来放大图像大小，再使用1×1的卷积来扩展特征通道的数量，即完成了医学图像的分割。
23、最后对步骤(1)-(6)进行全局优化，采用损失函数ltotal优化，损失函数ltotal由交叉熵损失函数lce和dice损失函数ldice组成，计算过程如下：
24、
25、
26、ltotal＝ldice+lce
27、其中，gi和pi分别表示真实标注图和概率图，ε∈r提供数值稳定性以防止被0整除，n＝h×w为像素数。
28、与现有技术相比，本专利技术至少具有以下有益效果：
29、1、本专利技术提出了一种具有丰富信息交互机制的双路径医学图像分割方法(i2u-net)，可以对跨路径信息交互、跨层信息交互以及跨路径与层之间的信息交互进行建模，允许深层网络学习包括低层次的细节描述特征和高层次的语义抽象特征的综合特征；该方法通过双路径多层面的信息交互机制，可以有效地学习包含低级细节描述和高级语义抽象的综合特征。
30、2、本专利技术提出了整体信息融合与增强操作，将局部卷积操作和池化操作嵌入到全局注意力块中构建了一个全新的整体信息融合与增强模块(hifa)，整体信息融合与增强操作能够对双编码路径提取的信息进行选择性和敏感地集成，可以更有效地桥接编码器和解码器，可以对跨路径信息交互、跨层信息交互以及跨路径与层之间的信息交互进行建模，允许深层网络学习包括低层次的细节描述特征和高层次的语义抽象特征的综合特征，具有可以融合局部运算(擅长提取高频信息，如边界、纹理)和全局运算(擅长提取低频信息，如结构、语义)的优势，实验表明该网络具有良好的分割性能和泛化能力。
本文档来自技高网...【技术保护点】
1.一种具有丰富信息交互机制的双路径医学图像分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种具有丰富信息交互机制的双路径医学图像分割方法，其特征在于，对步骤(1)-(6)进行全局优化，采用损失函数Ltotal优化，损失函数Ltotal由交叉熵损失函数LCE和Dice损失函数LDice组成，计算过程如下：
3.根据权利要求1所述的一种具有丰富信息交互机制的双路径医学图像分割方法，其特征在于，步骤(5)的整体信息融合与增强具体操作如下：
【技术特征摘要】
1.一种具有丰富信息交互机制的双路径医学图像分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种具有丰富信息交互机制的双路径医学图像分割方法，其特征在于，对步骤(1)-(6)进行全局优化，采用损失函数ltotal优...
【专利技术属性】
技术研发人员：徐颂华，刘帆，代笃伟，李宗芳，
申请(专利权)人：西安交通大学医学院第二附属医院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。