当前位置: 首页 > 专利查询>中北大学专利>正文

一种基于双残差超密集网络的多模态医学图像融合方法技术

技术编号:26224027 阅读:43 留言:0更新日期:2020-11-04 10:57
本发明专利技术公开了一种基于双残差超密集网络的多模态医学图像融合方法,包括:通过在双残差超密集网络中的第一Conv层卷积和PReLU层激活,提取第一模态医学图像和第二模态医学图像的浅层特征;通过残差学习和超密集连接,提取深层特征;对深层特征依次进行双残差超密集网络中的Concat层通道维度上拼接、最后Conv层卷积、PReLU层激活,获得第一模态医学图像和第二模态医学图像的融合图像。本发明专利技术通过将残差密集块与超密集连接结合提出的双残差超密集块不仅将密集连接应用到同一路径的层之间,还运用到跨不同路径的层之间,在提取不同模态图像特征的两个路径间进行信息传递,使得提取到的深层特征更详细丰富,减少了网络中间层有用信息的丢失。

【技术实现步骤摘要】
一种基于双残差超密集网络的多模态医学图像融合方法
本专利技术涉及医学图像融合
,更具体的涉及一种基于双残差超密集网络的多模态医学图像融合方法。
技术介绍
图像融合应用广泛,如医学成像,遥感、机器视觉,生物识别和军事应用。融合的目的是获得更好的对比度和感知体验。近年来,随着临床应用需求的不断增加,多模态医学图像融合的研究备受关注。多模态医学图像融合的目的是提供一个更好的医疗图像,帮助医生进行外科干预。目前,医学图像有多种模态,如磁共振(MR)图像,计算机断层扫描(CT)图像,正电子发射断层扫描(PET)图像和X射线图像等,不同模态的图像有其自身的优点和局限性,例如,CT能很好地显示骨骼信息,但不能清晰的展示软组织等结构信息;MR图像能充分显示软组织信息,但其对骨骼信息的探测有很大缺陷;PET图像可为临床提供丰富的人体代谢信息,但分辨率较低。因此,把多种模态的医学图像信息结合起来,完成多模态图像融合,可以实现优势互补。多模态融合图像既保留了原始图像的特征,又弥补了单模态医学图像的缺陷,展示了更加丰富的细节信息,为临床诊断治疗和图像引导本文档来自技高网...

【技术保护点】
1.一种基于双残差超密集网络的多模态医学图像融合方法,其特征在于,包括:/n获取第一模态医学图像和第二模态医学图像;/n通过双残差超密集网络中的第一Conv层卷积和PReLU层激活,提取第一模态医学图像和第二模态医学图像的浅层特征;/n通过残差学习和超密集连接,分别从第一模态医学图像和第二模态医学图像的浅层特征中,提取第一模态医学图像和第二模态医学图像的深层特征;/n对第一模态医学图像和第二模态医学图像的深层特征,依次进行双残差超密集网络中的Concat层通道维度上拼接、最后Conv层卷积、PReLU层激活,获得第一模态医学图像和第二模态医学图像的融合图像。/n

【技术特征摘要】
1.一种基于双残差超密集网络的多模态医学图像融合方法,其特征在于,包括:
获取第一模态医学图像和第二模态医学图像;
通过双残差超密集网络中的第一Conv层卷积和PReLU层激活,提取第一模态医学图像和第二模态医学图像的浅层特征;
通过残差学习和超密集连接,分别从第一模态医学图像和第二模态医学图像的浅层特征中,提取第一模态医学图像和第二模态医学图像的深层特征;
对第一模态医学图像和第二模态医学图像的深层特征,依次进行双残差超密集网络中的Concat层通道维度上拼接、最后Conv层卷积、PReLU层激活,获得第一模态医学图像和第二模态医学图像的融合图像。


2.如权利要求1所述的基于双残差超密集网络的多模态医学图像融合方法,其特征在于,
所述第一模态医学图像,采用计算机断层扫描CT图像;
所述第二模态医学图像,采用磁共振MR图像。


3.如权利要求2所述的基于双残差超密集网络的多模态医学图像融合方法,其特征在于,所述通过双残差超密集网络中的第一Conv层卷积和PReLU层激活,提取第一模态医学图像和第二模态医学图像的浅层特征,具体包括:
将图像数据集ImageNet上预先训练的高级残差网络ResNet101的第一卷积层作为双残差超密集网络的第一Conv层;
通过在双残差超密集网络中的第一Conv层卷积和PReLU层激活,获得计算机断层扫描CT图像和磁共振MR图像的浅层特征:






其中,X,Y分别表示计算机断层扫描CT源图像,磁共振MR源图像,F10为计算机断层扫描CT图像的浅层特征,F20为磁共振MR图像的浅层特征,G10(·)为计算机断层扫描CT路径的卷积操作和激活函数的组合函数,G20(·)为磁共振MR路径的卷积操作和激活函数的组合函数。


4.如权利要求3所述的基于双残差超密集网络的多模态医学图像融合方法,其特征在于,
对双残差超密集网络中的所有卷积层均使用参数校正线性单元作为PReLU层的激活函数;
所述PReLU层是通过非线性映射转换输入特征映射,公式如下:



其中,f(·)为一个非线性函数,Fjl+1为输出,是j路径的第l+1层特征映射;Fjl为输入,是j路径的第l层特征映射。


5.如权利要求3所述的基于双残差超密集网络的多模态医学图像融合方法,其特征在于,
双残差超密集网络的第一Conv层:参数为64通道的7×7卷积核,步长设置为2,填充为3;其中,输入256×256×1的第一模态医学图像和第二模态医学图像,输出尺寸...

【专利技术属性】
技术研发人员:王丽芳王蕊芳张晋
申请(专利权)人:中北大学
类型:发明
国别省市:山西;14

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1