一种基于多模态特征融合的图像分割方法、系统与设备技术方案

技术编号:46616213 阅读:0 留言:0更新日期:2025-10-14 21:12
本发明专利技术公开了一种基于多模态特征融合的图像分割方法、系统与设备,涉及图像分割技术领域,包括步骤:将脑瘤MRI图像输入IMMF模型,通过编码器对脑瘤MRI图像进行多模态特征提取,通过提取的多模态特征生成初始特征图;将初始特征图压扁为一维序列,并将脑瘤MRI图像的三维位置编码序列补充到一维序列中,获得优化序列;将优化序列输入可形变自注意力层中,关注参考位置处的关键采样点,获取多个注意力头的特征表示作为输出序列;根据输出序列每一个尺度的大小获得重构特征图,将重构特征图进行上采样,获得多模态特征分割结果。本发明专利技术的IMMF模型可以有效地利用不同序列模式的信息,显著提升脑肿瘤分割任务的准确性。

【技术实现步骤摘要】

本专利技术涉及图像分割,特别涉及一种基于多模态特征融合的图像分割方法、系统与设备


技术介绍

1、脑胶质瘤是一种由星形细胞演变而来的健康威胁。在当今的临床诊断中,活体片检查仍是脑肿瘤定性诊断的最佳方法,但不可避免地会伴随一定的不确定性风险。为此,计算机断层扫描、磁共振成像和x射线成像等医疗影像方法也都被用于脑肿瘤检测,其中磁共振成像(magnetic resonance imaging,mri)技术更为常用,因为它不侵入人体、无电离辐射,同时可以轻松获得人体组织不同横截面图像。

2、与x射线不同,mri图像反映的是信号强度而非密度。不同类型的mri图像能够展示患者身体结构和功能的不同方面。常见的四种类型mri图像为:液体衰减反转恢复flair(fluid attenuated inversion recovery)成像、t1加权成像、t1ce加权成像和t2加权成像。flair能够揭示脑组织中的病变情况;t1和t2代表不同的物理量;t1ce在mri前注入造影剂,使细胞分裂速度快,肿瘤部位的区域更加明亮,从而直观地显示出肿瘤的位置。这些图像能够帮助本文档来自技高网...

【技术保护点】

1.一种基于多模态特征融合的图像分割方法,其特征在于,包括:

2.如权利要求1所述的一种基于多模态特征融合的图像分割方法,其特征在于,对不同类型的脑瘤MRI图像进行多模态特征提取,通过所述多模态特征生成初始特征图,具体为:

3.如权利要求2所述的一种基于多模态特征融合的图像分割方法,其特征在于,所述在一维序列中补充脑瘤MRI图像的三维位置编码序列,获得优化序列,包括:

4.如权利要求1所述的一种基于多模态特征融合的图像分割方法,其特征在于,所述只针对优化序列参考位置处的关键采样点进行处理,获取多个注意力头的特征表示,具体为:

5.如权利要求...

【技术特征摘要】

1.一种基于多模态特征融合的图像分割方法,其特征在于,包括:

2.如权利要求1所述的一种基于多模态特征融合的图像分割方法,其特征在于,对不同类型的脑瘤mri图像进行多模态特征提取,通过所述多模态特征生成初始特征图,具体为:

3.如权利要求2所述的一种基于多模态特征融合的图像分割方法,其特征在于,所述在一维序列中补充脑瘤mri图像的三维位置编码序列,获得优化序列,包括:

4.如权利要求1所述的一种基于多模态特征融合的图像分割方法,其特征在于,所述只针对优化序列参考位置处的关键采样点进行处理,获取多个注意力头的特征表示,具体为:

5.如权利要求4所述的一种基于多模态特征融合的图像分割方法,其特征在于,所述将多个注意力头的特征表示通过线性投影进行加权聚合,建立具有不同模态特征之间长程依赖关系的输出序列,具体为:

6.如权利...

【专利技术属性】
技术研发人员:夏勇傅一航
申请(专利权)人:西北工业大学深圳研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1