【技术实现步骤摘要】
本专利技术涉及图像分割,特别涉及一种基于多模态特征融合的图像分割方法、系统与设备。
技术介绍
1、脑胶质瘤是一种由星形细胞演变而来的健康威胁。在当今的临床诊断中,活体片检查仍是脑肿瘤定性诊断的最佳方法,但不可避免地会伴随一定的不确定性风险。为此,计算机断层扫描、磁共振成像和x射线成像等医疗影像方法也都被用于脑肿瘤检测,其中磁共振成像(magnetic resonance imaging,mri)技术更为常用,因为它不侵入人体、无电离辐射,同时可以轻松获得人体组织不同横截面图像。
2、与x射线不同,mri图像反映的是信号强度而非密度。不同类型的mri图像能够展示患者身体结构和功能的不同方面。常见的四种类型mri图像为:液体衰减反转恢复flair(fluid attenuated inversion recovery)成像、t1加权成像、t1ce加权成像和t2加权成像。flair能够揭示脑组织中的病变情况;t1和t2代表不同的物理量;t1ce在mri前注入造影剂,使细胞分裂速度快,肿瘤部位的区域更加明亮,从而直观地显示出肿瘤的位
...【技术保护点】
1.一种基于多模态特征融合的图像分割方法,其特征在于,包括:
2.如权利要求1所述的一种基于多模态特征融合的图像分割方法,其特征在于,对不同类型的脑瘤MRI图像进行多模态特征提取,通过所述多模态特征生成初始特征图,具体为:
3.如权利要求2所述的一种基于多模态特征融合的图像分割方法,其特征在于,所述在一维序列中补充脑瘤MRI图像的三维位置编码序列,获得优化序列,包括:
4.如权利要求1所述的一种基于多模态特征融合的图像分割方法,其特征在于,所述只针对优化序列参考位置处的关键采样点进行处理,获取多个注意力头的特征表示,具体为:
...【技术特征摘要】
1.一种基于多模态特征融合的图像分割方法,其特征在于,包括:
2.如权利要求1所述的一种基于多模态特征融合的图像分割方法,其特征在于,对不同类型的脑瘤mri图像进行多模态特征提取,通过所述多模态特征生成初始特征图,具体为:
3.如权利要求2所述的一种基于多模态特征融合的图像分割方法,其特征在于,所述在一维序列中补充脑瘤mri图像的三维位置编码序列,获得优化序列,包括:
4.如权利要求1所述的一种基于多模态特征融合的图像分割方法,其特征在于,所述只针对优化序列参考位置处的关键采样点进行处理,获取多个注意力头的特征表示,具体为:
5.如权利要求4所述的一种基于多模态特征融合的图像分割方法,其特征在于,所述将多个注意力头的特征表示通过线性投影进行加权聚合,建立具有不同模态特征之间长程依赖关系的输出序列,具体为:
6.如权利...
【专利技术属性】
技术研发人员:夏勇,傅一航,
申请(专利权)人:西北工业大学深圳研究院,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。