【技术实现步骤摘要】
本专利技术属于多模态图像处理，特别是涉及一种多模态脑瘤图像分割方法。
技术介绍
1、mri（magnetic resonance imaging）是一种非侵入性的医学成像技术，广泛应用于脑部疾病的诊断和治疗。在脑瘤图像分割领域，mri图像的处理和分析是至关重要的。然而，传统的脑瘤图像分割方法存在一些限制。首先，多模态mri脑图像的处理受到低对比度、噪声干扰等因素的影响，导致分割结果的准确性不高。其次，由于脑图像的复杂性和多样性，传统的图像分割算法往往无法充分利用多模态信息，从而限制了分割的效果。此外，传统的池化操作在降低分辨率的同时，也会过多丢失一些重要的细节信息，影响分割的精度。
技术实现思路
1、本专利技术的目的在于提供一种多模态脑瘤图像分割方法，以解决上述
技术介绍
所提出的问题。
2、为解决上述技术问题，本专利技术是通过以下技术方案实现的：
3、本专利技术为一种多模态脑瘤图像分割方法，包括以下步骤：
4、步骤一、数据预处理，对采集而来的多模态图像进行数据预处理；
5、步骤二、脑瘤图像分割，将预处理后的图像输入到脑瘤图像分割网络中，经网络处理输出得到脑瘤的区域。
6、进一步地，所述数据预处理包括图像裁剪、重采样数据和数据标准化。
7、进一步地，所述图像裁剪包括以下步骤：
8、a、根据多模态图像数据生成非零模板，用以标示图像中非零的区域；利用不同模态的图像得到不同的三维非零模板；之后将得到的不同的非
9、b、根据生成的非零模板，确定用于裁剪的bounding_box大小和位置，即要找到非零模板在x，y，z三个轴上值为1的最小坐标值以及最大坐标值；
10、c、根据bounding_box对该被试的每个模态依次进行裁剪；
11、将训练数据中的所有被试执行以上操作，得到裁剪后的多模态图像数据。
12、进一步地，所述重采样数据包括以下步骤：
13、i、确定重采样的目标空间大小，统计并计算所有被试数据的维度大小的中值和每个维度spacing的中值；根据中值spacing判断数据集是否存在各向异性的问题；其判断标准，中值spacing中三个维度，是否有一个维度spacing大于另一个维度spacing的3倍，并且该维度的大小的中值小于另一个维度大小的中值的1/3；如果该数据集是各向异性的，对spacing值特别大的维度，取该数据集中该维度spacing值的10%分位点作为该维度的目标空间大小；
14、ii、根据第一步确定的目标空间来确定图像的目标尺寸，每张图像的spacing和shape之间的乘积为一个定值，表示整个图像在实际空间中的大小；
15、iii、对每张图像进行resize，当使用的数据集不存在各向异性时，对三维图像数据执行3阶样条插值；否则，假设z轴为spacing大的维度，则仅在图像的x，y平面执行3阶样条插值，而在z轴执行最近邻插值；对于标注图像仅采用最近邻插值。
16、进一步地，所述数据标准化是对所有的图像数据利用其个体图像的均值和标准差进行z-scoring标准化，让训练数据集中每张影像的灰度值都能具有相同的分布。
17、进一步地，所述数据预处理还包括数据扩增，使用旋转、缩放、亮度调节、对比度调节、gamma调节、添加高斯噪声、进行高斯模糊、上下和左右镜像等操作扩大数据集。
18、进一步地，所述脑瘤图像分割是将经过预处理的图像数据输入到预先设计的脑瘤图像分割网络中，以unet为该网络的骨干架构，并融合了空间注意力模块和通道注意力模块来捕捉到图像中的重要信息；使用softpool进行池化操作。
19、进一步地，所述脑瘤图像分割的任务为三维网络结构设计，其设计步骤包括：
20、（1）针对脑瘤图像分割任务进行三维网络结构设计，针对图像维度，该网络设计采用若干次下采样，每次下采样后，图像尺寸缩小一半，在每次下采样中均使用softpool进行池化操作，以最大限度的保留图像的特征信息，以增强网络的表达能力；
21、（2）在下采样的特征编码阶段引入注意力模块并以类似残差连接的方式对提取的特征进行特征融合，即将经过注意力模块后得到的注意力特征图与池化操作之前的特征图进行逐体素相加，获取更全面的图像信息，模型关注于图像中的病变位置，增强模型的学习能力，有助于提高模型对脑瘤区域的识别准确性和分割精度；该注意力模块融合了空间注意力模块和通道注意力模块，网络提取的特征图输入到注意力模块后，会先经过通道注意力模块，突出特征图中重要的通道，与输入特征图融合后，再输入到空间注意力模块中，增强感兴趣的特定目标区域，再与输入的特征图进行特征融合，得到注意力特征图；这种类似残差连接的特征融合结构可以帮助模型更好地应对模型的过拟合问题；
22、（3）在unet骨干网中，上采样的特征解码与下采样的特征编码之间引入跳跃连接，融合高维与低维的特征，有助于保留更多的高分辨率信息，提高分割结果的质量。
23、进一步地，所述脑瘤图像分割还包括网络训练过程，网络训练过程使用旋转、平移、翻转对训练数据进行数据增强，将数据增加三倍，以减少网络过拟合现象的发生并提高模型的稳健性。
24、进一步地，所述网络训练过程利用nesterov动量的自适应低阶矩估计优化器，使用训练和验证数据以端到端模式对深度学习模型进行了训练，batchsize大小为2，learning rate为1e-3，并使用python3.11.5和geforcegtx3090 24gb的gpu上实现；像素级的dice系数和交叉熵损失函数被应用于最终的特征图以进行损失函数计算，交叉熵损失函数英文为cross entropy loss；像素级的dice系数以下简称dc，用于测量两个样本之间的空间重叠程度的统计量，它的范围从0到1，其中，0表示没有空间重叠，1表示完全空间重叠；交叉熵损失函数以下简称ce，用来描述两个概率分布之间的差异；总损失函数定义为：
25、
26、其中，表示总损失函数， a表示手工标签，b表示使用深度学习模型自动分割的标签，countoferroritems表示分割出错的像素点数，countofallitems表示整个标签的像素点数；最后将分割结果重建为三维图像，得到最终的脑瘤图像分割结果。
27、本专利技术具有以下有益效果：
28、1、采用了新的池化方式即softpool进行池化操作，能够更有效的保留图像的特征信息，增强网络的表达能力。
29、2、在网络特征编码阶段进行了独特的设计，引入注意力模块并以类似残差连接的方式对提取的特征进行特征融合，将经过注意力模块后得到的注意力特征图与池化操作之前的特征图进行逐体素相加，有助于模型关本文档来自技高网...
【技术保护点】
1.一种多模态脑瘤图像分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种多模态脑瘤图像分割方法，其特征在于，所述图像裁剪包括以下步骤：
3.根据权利要求1所述的一种多模态脑瘤图像分割方法，其特征在于，所述重采样数据包括以下步骤：
4.根据权利要求1所述的一种多模态脑瘤图像分割方法，其特征在于，所述数据标准化是对所有的图像数据利用其个体图像的均值和标准差进行z-scoring标准化，让训练数据集中每张影像的灰度值都能具有相同的分布。
5.根据权利要求1所述的一种多模态脑瘤图像分割方法，其特征在于，所述数据预处理还包括数据扩增，使用旋转、缩放、亮度调节、对比度调节、Gamma调节、添加高斯噪声、进行高斯模糊、上下和左右镜像操作扩大数据集。
6.根据权利要求1所述的一种多模态脑瘤图像分割方法，其特征在于，所述脑瘤图像分割是将经过预处理的图像数据输入到预先设计的脑瘤图像分割网络中，以UNet为该网络的骨干架构，并融合了空间注意力模块和通道注意力模块来捕捉到图像中的重要信息；使用SoftPool进行池化操作。>
7.根据权利要求1所述的一种多模态脑瘤图像分割方法，其特征在于，所述脑瘤图像分割的任务为三维网络结构设计，其设计步骤包括：
8.根据权利要求1所述的一种多模态脑瘤图像分割方法，其特征在于，所述脑瘤图像分割还包括网络训练过程，网络训练过程使用旋转、平移、翻转对训练数据进行数据增强，将数据增加三倍，以减少网络过拟合现象的发生并提高模型的稳健性。
9.根据权利要求8所述的一种多模态脑瘤图像分割方法，其特征在于，所述网络训练过程利用Nesterov动量的自适应低阶矩估计优化器，使用训练和验证数据以端到端模式对深度学习模型进行了训练，batchsize大小为2，learning rate为1e-3，并使用python3.11.5和GeForceGTX3090 24GB的GPU上实现；像素级的DICE系数和交叉熵损失函数被应用于最终的特征图以进行损失函数计算，交叉熵损失函数英文为Cross Entropy loss；像素级的DICE系数以下简称DC，用于测量两个样本之间的空间重叠程度的统计量，它的范围从0到1，其中，0表示没有空间重叠，1表示完全空间重叠；交叉熵损失函数以下简称CE，用来描述两个概率分布之间的差异；总损失函数定义为：
...【技术特征摘要】
1.一种多模态脑瘤图像分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种多模态脑瘤图像分割方法，其特征在于，所述图像裁剪包括以下步骤：
3.根据权利要求1所述的一种多模态脑瘤图像分割方法，其特征在于，所述重采样数据包括以下步骤：
4.根据权利要求1所述的一种多模态脑瘤图像分割方法，其特征在于，所述数据标准化是对所有的图像数据利用其个体图像的均值和标准差进行z-scoring标准化，让训练数据集中每张影像的灰度值都能具有相同的分布。
5.根据权利要求1所述的一种多模态脑瘤图像分割方法，其特征在于，所述数据预处理还包括数据扩增，使用旋转、缩放、亮度调节、对比度调节、gamma调节、添加高斯噪声、进行高斯模糊、上下和左右镜像操作扩大数据集。
6.根据权利要求1所述的一种多模态脑瘤图像分割方法，其特征在于，所述脑瘤图像分割是将经过预处理的图像数据输入到预先设计的脑瘤图像分割网络中，以unet为该网络的骨干架构，并融合了空间注意力模块和通道注意力模块来捕捉到图像中的重要信息；使用softpool进行池化操作。
7.根据权利要求1所述的一种多...
【专利技术属性】
技术研发人员：郑强，陈莹钰，刘彬，
申请(专利权)人：英瑞云医疗科技烟台有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。