【技术实现步骤摘要】
本专利技术属于医学检测领域，具体涉及一种融合频域感知的医学图像中多器官分割方法及对应的融合频域感知的多器官分割系统和设备。
技术介绍
1、随着医疗水平的提高，各类先进的医学诊断设备和仪器能够帮助医生对病患进行深层次的检查，发现很多无法人工诊断的早期疾病。这种新技术的发展也实现了与人们日益增长的健康意识和需求相适配。目前，基于各类医疗设备获取的医学影像已经成为医生进行辅助诊断和术前术后评估的主要手段。
2、在基于医学图像的诊断中，为了节省医生的精力，通过由计算机先进行辅助分析，在计算机辅助分析过程，医学图像分割是其中的一个关键步骤，医学图像分割是为了从包含多种器官的医学图像(如腹腔检查和胸腔检查的医学图像)中准确分辨出每一类器官，以便有针对性地对各个器官进行进一步的检查分析。医学图像中的器官分割的精确性能够为后续的分析和治疗奠定良好的基础。
3、医学图像分割是一项密集的预测任务，它对给定的医学图像(如ct、mri、内镜、oct等)中的器官或病变的像素进行分类。u-net及其变体因其更好的性能和复杂的体系结构而被广泛应用于医学图像分割任务中。其中，多器官的医学图像分割一直是医学图像中一项具有挑战性的任务。器官之间或器官与周围组织之间的边界纹理难以区分，其大小和形状因个体而迥异，在分割任务中经常存在相似器官间误分或者错分等现象。u-net是一种编码器-解码器架构，其中编码器的特征与解码器的上采样特征聚合，以产生高分辨率的分割图。随着计算机视觉的发展，resnet体系结构已被广泛采用作为医学图像分割的骨干。金字塔
4、在此基础上，基于transformer的方法在医学图像分割中也取得了巨大的成功。因此，各种卷积和transformer的结合体被开发出来。例如transunet，它使用混合cnn转换器编码器来捕获远程依赖关系，并使用级联cnn上采样器作为解码器来捕获像素之间的局部上下文关系。例如swin-unet，这是一个基于swin transformer的纯变压器架构。swin-unet在编码器和解码器中都使用了变压器，这不会导致性能改进。
5、但是，现有的各类方法均依赖医学图像中空间域中的尺寸、颜色、纹理等特征实现器官分类和图像分割，这导致图像分割的精度非常容易受到医学图像质量的影响。另外，器官之间或器官与周围组织之间的边界纹理难以区分，大小、形状各异，错分、漏分现象普遍。例如，图1展示了在synapse数据集的腹部多器官医学图像上的部分典型分割案例，在腹部多器官中，由于左肾和右肾形状极为相似，采用目前一些流行的图像分割方法进行分割的时候，极容易出现将两者错认的现象(即：将左肾误认为右肾，将右肾误认为左肾)。此外，不同病患的生理特征差异也会影响到最终分割结果的精度，例如部分病患的器官因疾病或手术后发生占位改变，也会导致器官分割精度显著下降。
技术实现思路
1、为了解决现有技术医学图像分割技术在多器官分割场景下仍存在精度不足的问题，本专利技术提供一种融合频域感知的医学图像中多器官分割方法及对应的融合频域感知的多器官分割系统和设备。
2、本专利技术采用以下技术方案实现：
3、本实施例提供一种融合频域感知的医学图像中多器官分割方法，其用于对包含多个器官的医学图像中的各个器官进行识别和图像分割。其包括如下步骤：
4、s1：构建一个融合图像特征和频域感知的用于对医学图像中多个器官进行分割的图像分割网络，过程如下：
5、s11：设计一个采用pvt模块作为初始骨干的u型网络，u型网络中的编码器采用四层的pvt模块进行下采样，解码器采用四层pe模块进行上采样。
6、s12：在编码器中四层pvt模块构成分支以外增加一个由五层taf模块构成的特征融合分支，taf模块用于提取频域特征并将其与空间特征融合。
7、改进后的编码器将每一层的pvt模块提取的空间特征与上一层taf模块提取到频域特征交叉融合，并经n次迭代后传递到下一层taf。
8、s13：在解码器中增加3层sra模块，sra模块用于在相邻pe模块间对上采样结果添加相对位置编码后，再通过两层注意力计算得到细化后的特征；
9、改进后的解码器中的pe模块和taf模块各阶段的输出通过跳跃连接在通道上级联，然后输入到对应尺度的sra模块中处理；所述sra模块用于在传统注意力计算的基础上，引入相对位置编码和语义引导的相对位置嵌入。
10、s2：获取大量包含多个器官的医学图像样本，对每张医学图像样本中的器官进行人工标记，构成所需的数据集；并将数据集分为训练集和测试集。
11、s3：利用图像分割网络构建一个待训练的多器官分割模型。
12、多器官分割模型的输入为原始医学图像，输入的原始医学图像在多器官分割模型中分为两个分支，一路经过stem模块处理后输入到图像分割网络第一层的taf模块中，另一路经裁切、卷积和归一化处理后输入到图像分割网络第一层的pvt模块中。图像分割网络的解码器中的最后一层sra模块的输出经pe模块上采样后，再经分类头形成分类掩码，进而输出生成的器官分割结果。
13、s4：采用包含交叉输入损失和像素级约束损失的损失函数作为训练阶段的损失函数l，并采用训练集、测试集和验证集对多器官分割模型进行训练和测试。
14、s5：保存经过训练且验证最佳的多器官分割模型的模型参数，并利用该多器官分割模型对医学图像进行处理，实现对医学图像中的各个器官进行识别和分割。
15、作为本专利技术进一步的改进，步骤s1中构建的图像分割网络中的5个taf模块分别为taf1～taf5，其中，taf2～taf5模块中的数据处理过程如下：
16、(1)将上一层taf提取的融合特征tafi-1分成两路并进行3×3卷积处理。
17、(2)将上一层taf提取的空间特征pvti-1分成两路，一路进行3×3卷积处理，另一路经spectral transform模块处理。
18、(3)将3×3卷积处理后的tafi-1和pvti-1相加，然后经ln标准化处理后得到频域特征mi-1。
19、(4)将3×3卷积处理后的tafi-1和经spectral transform模块处理后的pvti-1相加；然后经ln标准化处理后得到空间特征ti-1。
20、(5)对从特征tafi-1到特征mi-1，以及从特征pvti-1到特征ti-1的两路特征变换过程迭代n次，然后对结果进行通道连接；
21、(6)将上步骤通道连接后的特征输入到前馈网络ffn中处理，得到下一层所需的融合特征tafi。
22、第一层的taf1模块中采用与taf2～taf5模块相同数据处理策略，区别在于：将stem模块输出的特征在通道上分为两等份，然后将二者经卷积处理后作为taf1模块所需的两个原始输入。
23、作为本专利技术进一步的改进，taf模块中的数本文档来自技高网...
【技术保护点】
1.一种融合频域感知的医学图像中多器官分割方法，其用于对包含多个器官的医学图像中的各个器官进行识别和图像分割，其特征在于，其包括如下步骤：
2.如权利要求1所述的融合频域感知的医学图像中多器官分割方法，其特征在于：步骤S1中构建的所述图像分割网络中的5个TAF模块分别为TAF1～TAF5，其中，TAF2～TAF5模块中的数据处理过程如下：
3.如权利要求2所述的融合频域感知的医学图像中多器官分割方法，其特征在于：所述TAF模块中的数据处理过程的表达式为：
4.如权利要求2所述的融合频域感知的医学图像中多器官分割方法，其特征在于：所述Spectral Transform模块中依次包括快速傅里叶变换层、卷积归一化激活函数层和反快速傅里叶变换层；在Spectral Transform模块中，原始特征图像首先被从空间域转换到频域，然后在频域中更新权重，最后再将权重更新后的频域特征转换回空间域。
5.如权利要求4所述的融合频域感知的医学图像中多器官分割方法，其特征在于：图像特征在所述Spectral Transform模块的三个不同功能层中的
6.如权利要求1所述的融合频域感知的医学图像中多器官分割方法，其特征在于：步骤S1中构建的所述图像分割网络中的3个SRA模块分别为SRA1～SRA3，所述SRA模块由用于提取相对位置编码和相对位置嵌入的位置索引单元和自注意力机制构成；SRA模块的数据处理过程如下：
7.如权利要求1所述的融合频域感知的医学图像中多器官分割方法，其特征在于：步骤S4中损失函数L的表达式如下：
8.如权利要求7所述的融合频域感知的医学图像中多器官分割方法，其特征在于：步骤S11中，所述编码器中的四层PVT模块采用中带有金字塔结构的Transformer，每层PVT模块都对输入图像进行下采样处理，并进行注意力的计算；
9.一种融合频域感知的多器官分割系统，其特征在于，其采用如权利要求1-8中任意一项所述的融合频域感知的医学图像中多器官分割方法，对包含多个器官的医学图像中的各个器官进行识别和图像分割；所述多器官分割系统包括：
10.一种融合频域感知的多器官分割设备，其包括存储器、处理器以及存储在存储器上并在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序时，创建出如权利要求9所述的融合频域感知的多器官分割系统，进而实现对输入的原始医学图像进行目标识别和图像分割，输出按照器官进行图像分割后的医学图像。
...【技术特征摘要】
1.一种融合频域感知的医学图像中多器官分割方法，其用于对包含多个器官的医学图像中的各个器官进行识别和图像分割，其特征在于，其包括如下步骤：
2.如权利要求1所述的融合频域感知的医学图像中多器官分割方法，其特征在于：步骤s1中构建的所述图像分割网络中的5个taf模块分别为taf1～taf5，其中，taf2～taf5模块中的数据处理过程如下：
3.如权利要求2所述的融合频域感知的医学图像中多器官分割方法，其特征在于：所述taf模块中的数据处理过程的表达式为：
4.如权利要求2所述的融合频域感知的医学图像中多器官分割方法，其特征在于：所述spectral transform模块中依次包括快速傅里叶变换层、卷积归一化激活函数层和反快速傅里叶变换层；在spectral transform模块中，原始特征图像首先被从空间域转换到频域，然后在频域中更新权重，最后再将权重更新后的频域特征转换回空间域。
5.如权利要求4所述的融合频域感知的医学图像中多器官分割方法，其特征在于：图像特征在所述spectral transform模块的三个不同功能层中的尺度变换过程如下：
6.如权利要求1所述的融合频域感知的医学图像中多器官分割方法，其特...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。