【技术实现步骤摘要】
本专利技术涉及医学图像分割，尤其涉及一种多模态脑肿瘤图像分割方法、装置、电子设备和存储介质。
技术介绍
1、在现实的脑肿瘤治疗过程中，医生通常会根据不同模态磁共振成像(magneticresonance imaging，mri)图像来识别与分析病人的脑胶质瘤病灶区域。用于生物医学图像分割的卷积网络(u-net)在医学图像分割领域表现出强大的性能，其带有跳转连接的编码器-解码器框架成为了脑肿瘤图像分割的主流框架，很多后续的网络模型都以u-net为骨干网络。随着自注意力模型transformer的兴起，将transformer应用到u-net模型中，增强脑肿瘤图像分割的特征提取效果。
2、现有的脑肿瘤图像分割方法只是增强了模型特征提取的效果，并未实现不同模态数据融合，图像分割任务准确度较低。
技术实现思路
1、本专利技术提供一种多模态脑肿瘤图像分割方法、装置、电子设备和存储介质，用以解决现有技术中仅增强了模型特征提取的效果，并未实现不同模态数据融合，图像分割任务准确度较低的缺陷。
2、本专利技术提供一种多模态脑肿瘤图像分割方法，包括：
3、获取第一脑肿瘤图像和第二脑肿瘤图像，所述第一脑肿瘤图像和所述第二脑肿瘤图像均包括至少一模态mri图像；
4、基于预设的双分支网络和空间位置激活模块分别对所述第一脑肿瘤图像中的每一所述mri图像和所述第二脑肿瘤图像中的每一所述mri图像进行特征提取，得到与所述第一脑肿瘤图像对应的第一目标图像特征以及与所述
5、根据所述第一目标图像特征和所述第二目标图像特征，得到分割结果。
6、根据本专利技术提供的一种多模态脑肿瘤图像分割方法，所述双分支网络包括第一分支单元和第二分支单元，所述第一分支单元包括第一卷积块和至少一第二卷积块，所述第二分支单元包括第三卷积块和至少一第四卷积块，每一所述第二卷积块和每一所述第四卷积块分别连接一所述空间位置激活模块；
7、对应的，所述基于预设的双分支网络和空间位置激活模块分别对所述第一脑肿瘤图像中的每一所述mri图像和所述第二脑肿瘤图像中的每一所述mri图像进行特征提取，得到与所述第一脑肿瘤图像对应的第一目标图像特征以及与所述第二脑肿瘤图像对应的第二目标图像特征，包括：
8、基于所述第一卷积块和所述第二卷积块依次对所述第一脑肿瘤图像进行特征提取，得到第一图像特征；
9、基于所述第三卷积块和所述第四卷积块依次对所述第二脑肿瘤图像进行特征提取，得到第二图像特征；
10、基于所述第二卷积块对应的所述空间位置激活模块对所述第一图像特征进行特征提取，得到第一图像空间特征；
11、基于所述第四卷积块对应的所述空间位置激活模块对所述第二图像特征进行特征提取，得到第二图像空间特征；
12、根据所述第一图像特征和所述第二图像空间特征，得到所述第一目标图像特征；
13、根据所述第二图像特征和所述第一图像空间特征，得到所述第二目标图像特征。
14、根据本专利技术提供的一种多模态脑肿瘤图像分割方法，所述根据所述第一图像特征和所述第二图像空间特征，得到所述第一目标图像特征，包括：
15、所述第一图像特征和所述第二图像空间特征的乘积与所述第一图像特征相加，得到所述第一目标图像特征；
16、对应的，所述根据所述第二图像特征和所述第一图像空间特征，得到所述第二目标图像特征，包括：
17、所述第二图像特征和所述第一图像空间特征的乘积与所述第二图像特征相加，得到所述第二目标图像特征。
18、根据本专利技术提供的一种多模态脑肿瘤图像分割方法，所述第一分支单元的输出端和所述第二分支单元的输出端分别连接一解码器，以确定所述第一分支单元的损失和所述第二分支单元的损失，所述第一分支单元的损失和所述第二分支单元的损失还用于输入预设的总损失函数中以更新所述二分支网络的权重参数。
19、根据本专利技术提供的一种多模态脑肿瘤图像分割方法，所述根据所述第一目标图像特征和所述第二目标图像特征，得到分割结果，包括：
20、基于预设的多尺度特征聚合模块对所述第一目标图像特征和所述第二目标图像特征进行特征融合，得到图像融合特征；
21、基于预设的解码器对所述图像融合特征进行解码处理，得到所述分割结果。
22、根据本专利技术提供的一种多模态脑肿瘤图像分割方法，所述多尺度特征聚合模块包括金字塔卷积单元、上采样单元、注意力单元和聚合单元，所述金字塔卷积单元用于分别提取所述第一目标图像特征和所述第二目标图像特征的全局信息和局部信息；所述上采样单元用于对所述全局信息和所述局部信息进行上采样和拼接处理，得到目标特征；所述注意力单元用于对所述目标特征进行特征重构；所述聚合单元用于对全局信息、局部信息和重构后的特征进行聚合，得到所述图像融合特征。
23、根据本专利技术提供的一种多模态脑肿瘤图像分割方法，所述对所述目标特征进行特征重构，包括：
24、根据所述目标特征，确定一维注意力图和二维注意力图；
25、根据所述一维注意力图和所述二维注意力图分别对所述目标特征进行逐元素相乘，对乘积进行拼接操作，完成特征重构。
26、本专利技术还提供一种多模态脑肿瘤图像分割装置，包括：
27、获取模块，用于获取第一脑肿瘤图像和第二脑肿瘤图像，所述第一脑肿瘤图像和所述第二脑肿瘤图像均包括至少一模态mri图像；
28、第一确定模块，用于基于预设的双分支网络和空间位置激活模块分别对所述第一脑肿瘤图像中的每一所述mri图像和所述第二脑肿瘤图像中的每一所述mri图像进行特征提取，得到与所述第一脑肿瘤图像对应的第一目标图像特征以及与所述第二脑肿瘤图像对应的第二目标图像特征；
29、第二确定模块，用于根据所述第一目标图像特征和所述第二目标图像特征，得到分割结果。
30、本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述多模态脑肿瘤图像分割方法。
31、本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述多模态脑肿瘤图像分割方法。
32、本专利技术提供的多模态脑肿瘤图像分割方法、装置、电子设备和存储介质，获取第一脑肿瘤图像和第二脑肿瘤图像，所述第一脑肿瘤图像和所述第二脑肿瘤图像均包括至少一模态mri图像；基于预设的双分支网络和空间位置激活模块分别对所述第一脑肿瘤图像中的每一所述mri图像和所述第二脑肿瘤图像中的每一所述mri图像进行特征提取，得到与所述第一脑肿瘤图像对应的第一目标图像特征以及与所述第二脑肿瘤图像对应的第二目标图像特征；根据所述第一目标图像特征和所述第二目标图像特征，得到分割结果。本专利技术将多模态特征融合应用于mri图像分割，双分支网络和空间位置本文档来自技高网...
【技术保护点】
1.一种多模态脑肿瘤图像分割方法，其特征在于，包括：
2.根据权利要求1所述的多模态脑肿瘤图像分割方法，其特征在于，所述双分支网络包括第一分支单元和第二分支单元，所述第一分支单元包括第一卷积块和至少一第二卷积块，所述第二分支单元包括第三卷积块和至少一第四卷积块，每一所述第二卷积块和每一所述第四卷积块分别连接一所述空间位置激活模块；
3.根据权利要求2所述的多模态脑肿瘤图像分割方法，其特征在于，所述根据所述第一图像特征和所述第二图像空间特征，得到所述第一目标图像特征，包括：
4.根据权利要求2所述的多模态脑肿瘤图像分割方法，其特征在于，所述第一分支单元的输出端和所述第二分支单元的输出端分别连接一解码器，以确定所述第一分支单元的损失和所述第二分支单元的损失，所述第一分支单元的损失和所述第二分支单元的损失还用于输入预设的总损失函数中以更新所述二分支网络的权重参数。
5.根据权利要求1所述的多模态脑肿瘤图像分割方法，其特征在于，所述根据所述第一目标图像特征和所述第二目标图像特征，得到分割结果，包括：
6.根据权利要求5所述的多模
7.根据权利要求6所述的多模态脑肿瘤图像分割方法，其特征在于，所述对所述目标特征进行特征重构，包括：
8.一种多模态脑肿瘤图像分割装置，其特征在于，包括：
9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至7任一项所述多模态脑肿瘤图像分割方法。
10.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述多模态脑肿瘤图像分割方法。
...【技术特征摘要】
1.一种多模态脑肿瘤图像分割方法，其特征在于，包括：
2.根据权利要求1所述的多模态脑肿瘤图像分割方法，其特征在于，所述双分支网络包括第一分支单元和第二分支单元，所述第一分支单元包括第一卷积块和至少一第二卷积块，所述第二分支单元包括第三卷积块和至少一第四卷积块，每一所述第二卷积块和每一所述第四卷积块分别连接一所述空间位置激活模块；
3.根据权利要求2所述的多模态脑肿瘤图像分割方法，其特征在于，所述根据所述第一图像特征和所述第二图像空间特征，得到所述第一目标图像特征，包括：
4.根据权利要求2所述的多模态脑肿瘤图像分割方法，其特征在于，所述第一分支单元的输出端和所述第二分支单元的输出端分别连接一解码器，以确定所述第一分支单元的损失和所述第二分支单元的损失，所述第一分支单元的损失和所述第二分支单元的损失还用于输入预设的总损失函数中以更新所述二分支网络的权重参数。
5.根据权利要求1所述的多模态脑肿瘤图像分割方法，其特征在于，所述根据所述第一目标图像特征和所述第二目标图像特征，得到分割结果，包括：
6.根据权利...
【专利技术属性】
技术研发人员：刘瑜，董玉淋，姜智卓，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。