【技术实现步骤摘要】
本专利技术属于图像处理，尤其涉及一种多模态脑肿瘤图像分割方法、系统、设备及介质。
技术介绍
1、脑肿瘤作为一种具有高度侵袭性和恶性特征的神经系统肿瘤，对患者的身心健康构成了极大的威胁。由于其高度复杂性，通常发现已经到了晚期，使得临床治疗非常困难。因此，脑肿瘤的早期诊断至关重要。在临床上，磁共振成像(mri)通常是用作监测和诊断脑肿瘤的主要选择。mri包括四种成像模式，即液体衰减反转恢复(flair)、t2加权(t2)、t1加权(t1)和t1对比增强(t1ce)。这些成像模式提供了关于脑组织结构和病灶的不同信息。通过在mri上进行脑肿瘤图像分割可以帮助放射科医生更准确地识别和定位肿瘤组织，从而更好地计划手术和监测治疗。然而，放射科医师在mri上手动逐像素注释是主观且繁重的。因此，基于mri进行脑肿瘤图像自动分割任务具有重要意义，可以减少分割不确定性以及减轻放射科医生的负担。
2、随着深度学习的发展，深度神经网络在医学图像分割方面也发展迅速。与传统的医学图像分割任务相比，mri上的脑肿瘤图像分割任务更具挑战性和复杂性，因为需要综合分析的成像模式更多，如flair、t2、t1和t1ce。这些模态不仅拥有自己的独特信息，还包括了对同一场景的互补信息。因此，脑肿瘤图像分割主要面临着以下挑战：(1)大多数方法在融合不同模态的时候通常忽略不同模态之间的间隙，这可能会掩盖来自不同模态的判别性信息。(2)由于mri中肿瘤与非肿瘤之间的对比度较低，大多数方法由于不同模态之间的预测不一致性而产生分割不确定性。而这种分割不确定性往往出现在边
技术实现思路
1、为解决上述技术问题，本专利技术提出了一种多模态脑肿瘤图像分割方法，以解决上述现有技术存在的问题。
2、为实现上述目的，本申请提供了一种多模态脑肿瘤图像分割方法，包括以下步骤：
3、获取脑肿瘤mri图像的四种图像模态，并对四种图像模态划分为两组并分别输入两个并行的特征提取网络，获取若干个多尺度特征，基于所述若干个多尺度特征获取两个暂时预测结果；
4、基于两个暂时预测结果获取联合预测结果和低置信度预测结果
5、基于若干个多尺度特征以及联合预测结果获得若干个肿瘤感知特征；
6、基于低置信度预测结果对若干个所述肿瘤感知特征进行解码处理获得若干个增强特征，并基于若干个所述增强特征输出最终预测结果基于最终预测结果完成脑肿瘤mri图像的分割。
7、可选的，对四种图像模态划分为两组并分别输入两个并行的特征提取网络，获取若干个多尺度特征的过程中：
8、四种图像模态包括t1、t1ce、t2和flair，划分方式为：将t1和t1ce划分为第一组图像，将t2和flair划分为第二组图像；
9、将第一组图像输入上分支特征提取网络，获取若干个上分支多尺度特征；
10、将第二组图像输入下分支特征提取网络，获取若干个下分支多尺度特征。
11、可选的，所述特征提取网络采用pvtv 2-b2。
12、可选的，基于所述若干个多尺度特征获取两个暂时预测结果的过程包括：
13、分别对两个特征提取网络的前三层输出的多尺度特征进行聚合，获取上分支暂时预测结果和下分支暂时预测结果
14、可选的，基于两个暂时预测结果获取联合预测结果和低置信度预测结果的过程包括：
15、基于sigmoid函数处理上分支暂时预测结果和下分支暂时预测结果并通过加法和减法运算，获取联合预测结果和低置信度预测结果
16、表达式为：
17、
18、
19、其中σ(·)为sigmoid函数，为上分支暂时预测结果，为下分支暂时预测结果，为联合预测结果，为低置信度预测结果。
20、可选的，基于若干个多尺度特征以及联合预测结果获得若干个肿瘤感知特征的过程包括：
21、对第一上分支多尺度特征分别进行卷积处理、sigmoid函数处理，获得第一上分支加权映射，将所述第一上分支加权映射与所述第一上分支多尺度特征进行相乘处理，获得第一上分支加权输入特征；
22、对第一下分支多尺度特征分别进行卷积处理、sigmoid函数处理，获得第一下分支加权映射，将所述第一下分支加权映射与所述第一下分支多尺度特征进行相乘处理，获得第二加权输入特征；
23、将所述第一上分支加权输入特征和所述第一下分支加权输入特征相加，并将相加结果与所述联合预测结果相乘，获得初始特征数据；
24、对所述初始特征数据进行空洞卷积组处理、sigmoid函数处理，将获得的结果再通过卷积处理，获得中期特征数据；
25、将所述中期特征数据分别与所述第一上分支多尺度特征、所述第一下分支多尺度特征相乘，将结果相加，并通过卷积处理，获得最终特征数据；
26、将所述最终特征数据、所述第一上分支多尺度特征、所述第一下分支多尺度特征相加并进行卷积处理，获得第一肿瘤感知特征；
27、对若干个多尺度特征以及联合预测结果进行上述处理，获得若干个肿瘤感知特征。
28、可选的，基于低置信度预测结果对若干个所述肿瘤感知特征进行解码处理获得若干个增强特征，并基于若干个所述增强特征输出最终预测结果的过程包括：
29、将低置信度预测结果与第n个肿瘤感知特征相乘，将获得的结果再与第n个肿瘤感知特征相加，对相加获得的结果进行卷积处理；
30、将卷积后的结果经过上采样与第n-1个肿瘤感知特征相乘，获得第n-1个增强特征；
31、依次递减n的值，重复上述步骤，直到获得最终的增强特征，对最终的增强特征进行1×1卷积处理，获得所述最终预测结果
32、为实现上述目的，本申请还提出了一种多模态脑肿瘤图像分割系统，包括：
33、图像获取模块，用于获取四种图像模态的脑肿瘤mri图像，并基于模态将脑肿瘤mri图像划分为第一组图像和第二组图像；
34、上分支特征提取模块，用于处理输入的第一组图像，获取若干个上分支多尺度特征；
35、下分支特征提取模块，用于处理输入的第二组图像，获取若干个下分支多尺度特征；
36、并行部分解码模块，用于对若干个上分支多尺度特征进行聚合，生成上分支暂时预测结果并对若干个下分支多尺度特征进行聚合，生成下分支暂时预测结果
37、预测感知区域探索模块，用于基于所述上分支暂时预测结果所述下分支暂时预测结果生成联合预测结果和低置信度预测结果
38、自适应上下文聚合模块，用于基于若干个上分支多尺度特征、若干个下分支多尺度特征以及联合预测结果获得若干个肿瘤感知特征；
39、预测引导解码模块，用于基于低置信度预测结果对若干个所述肿瘤感知特征进行解码处理获得若干个增强特征，并基于若干个所述增强特征输出最终预测结果基于最终预测结果完成脑肿瘤mri图像的分割。
40、为实现上述目的，本申请还本文档来自技高网...
【技术保护点】
1.一种多模态脑肿瘤图像分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的多模态脑肿瘤图像分割方法，其特征在于，对四种图像模态划分为两组并分别输入两个并行的特征提取网络，获取若干个多尺度特征的过程中：
3.根据权利要求2所述的多模态脑肿瘤图像分割方法，其特征在于，所述特征提取网络采用PVTv 2-B2。
4.根据权利要求1所述的多模态脑肿瘤图像分割方法，其特征在于，基于所述若干个多尺度特征获取两个暂时预测结果的过程包括：
5.根据权利要求4所述的多模态脑肿瘤图像分割方法，其特征在于，基于两个暂时预测结果获取联合预测结果和低置信度预测结果的过程包括：
6.根据权利要求2所述的多模态脑肿瘤图像分割方法，其特征在于，基于若干个多尺度特征以及联合预测结果获得若干个肿瘤感知特征的过程包括：
7.根据权利要求1所述的多模态脑肿瘤图像分割方法，其特征在于，基于低置信度预测结果对若干个所述肿瘤感知特征进行解码处理获得若干个增强特征，并基于若干个所述增强特征输出最终预测结果的过程包括：
8.一种多模态脑
9.一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述计算机程序被所述处理器执行时，使得所述处理器执行如权利要求1～7任意一项所述的多模态脑肿瘤图像分割方法。
10.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时，使得所述处理器执行如权利要求1～7任意一项所述的多模态脑肿瘤图像分割方法。
...【技术特征摘要】
1.一种多模态脑肿瘤图像分割方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的多模态脑肿瘤图像分割方法，其特征在于，对四种图像模态划分为两组并分别输入两个并行的特征提取网络，获取若干个多尺度特征的过程中：
3.根据权利要求2所述的多模态脑肿瘤图像分割方法，其特征在于，所述特征提取网络采用pvtv 2-b2。
4.根据权利要求1所述的多模态脑肿瘤图像分割方法，其特征在于，基于所述若干个多尺度特征获取两个暂时预测结果的过程包括：
5.根据权利要求4所述的多模态脑肿瘤图像分割方法，其特征在于，基于两个暂时预测结果获取联合预测结果和低置信度预测结果的过程包括：
6.根据权利要求2所述的多模态脑肿瘤图像分割方法，其特征在于，基于若干个多尺度特征以...
【专利技术属性】
技术研发人员：岳广辉，吴尚杰，周天薇，卓桂彬，汪天富，
申请(专利权)人：深圳大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。