一种跨模态医学图像配准方法及装置制造方法及图纸

技术编号:26174425 阅读:68 留言:0更新日期:2020-10-31 14:02
一种跨模态医学图像配准方法,包括:提供包括第一模态的浮动图像和第二模态的参考图像的训练集;将浮动图像输入到图像转换网络中,转化为第二模态的转换图像;将浮动图像和参考图像输入到跨模态流子网络中输出第一变形场;将转换图像和参考图像输入到单模态流子网络中输出第二变形场;将第一变形场和第二变形场输入到变形场融合网络中输出最终变形场;将浮动图像和最终变形场输入到空间变换网络中,得到经最终变形场扭曲变换后的浮动图像;根据变换后的浮动图像与参考图像得到第一总损失函数,以最小化第一总损失函数为目标对网络进行监督训练;将待配准的图像输入到训练好的网络,得到配准图像。本发明专利技术能够大大提高跨模态医学图像配准的效果。

【技术实现步骤摘要】
一种跨模态医学图像配准方法及装置
本专利技术涉及医学图像配准
,尤其涉及一种跨模态医学图像配准方法及装置。
技术介绍
医学图像配准是一种根据医学图像外观将浮动图像和参考图像对齐的优化过程,其目标是找到使输入图像中感兴趣区域对齐的最佳空间变换。作为图像引导治疗的关键技术,医学图像配准试图建立不同医学图像间的解剖学对应关系,被应用到内窥镜检查、疾病诊断、手术引导、放射性治疗等多个临床场景中。医学图像配准是一个广泛的研究主题,根据待配准图像类型可分为单模态配准和跨模态配准,根据配准变换类型可分为刚性配准、仿射配准和可变形配准。传统的配准方法通过迭代优化图像相似度指标来求解最优变换,计算效率低。因此,后续技术将深度学习方法引入到医学图像配准任务,利用深度神经网络直接估计输入图像对的可变形变换,有效平衡了配准精度和计算效率。但是获取真实变形场(GroundTruth)和三维分割标签极具挑战性、成本高昂,因此配准方法逐步聚焦于无监督情况下的配准网络学习。现有的跨模态医学图像配准技术可划分为两大类:1)改造现有单模态配准的损失函数,设计本文档来自技高网...

【技术保护点】
1.一种跨模态医学图像配准方法,其特征在于,包括以下步骤:/nS1:提供包括第一模态的浮动图像和第二模态的参考图像的训练集;/nS2:将所述浮动图像输入到图像转换网络中,以将所述浮动图像从第一模态转化为第二模态,输出第二模态的转换图像;/nS3:将所述浮动图像和所述参考图像输入到跨模态流子网络中,输出第一变形场;/nS4:将所述转换图像和所述参考图像输入到单模态流子网络中,输出第二变形场;/nS5:将所述第一变形场和所述第二变形场输入到变形场融合网络中以将所述第一变形场和所述第二变形场进行叠加,输出最终变形场;/nS6:将所述浮动图像和所述最终变形场输入到空间变换网络中,得到经所述最终变形场扭...

【技术特征摘要】
1.一种跨模态医学图像配准方法,其特征在于,包括以下步骤:
S1:提供包括第一模态的浮动图像和第二模态的参考图像的训练集;
S2:将所述浮动图像输入到图像转换网络中,以将所述浮动图像从第一模态转化为第二模态,输出第二模态的转换图像;
S3:将所述浮动图像和所述参考图像输入到跨模态流子网络中,输出第一变形场;
S4:将所述转换图像和所述参考图像输入到单模态流子网络中,输出第二变形场;
S5:将所述第一变形场和所述第二变形场输入到变形场融合网络中以将所述第一变形场和所述第二变形场进行叠加,输出最终变形场;
S6:将所述浮动图像和所述最终变形场输入到空间变换网络中,得到经所述最终变形场扭曲变换后的浮动图像;
S7:将变换后的所述浮动图像与所述参考图像进行比较,得到第一总损失函数,重复执行步骤S2~S7以最小化第一总损失函数为目标来对所述跨模态流子网络、所述单模态流子网络、所述变形场融合网络和所述空间变换网络进行训练,直至训练完成后执行步骤S8;
S8:将待配准的第一模态的浮动图像和第二模态的参考图像再次执行步骤S2~S6,得到变换后的浮动图像,即为配准图像。


2.根据权利要求1所述的跨模态医学图像配准方法,其特征在于,所述图像转换网络采用改进的Cycle-GAN网络,该改进的Cycle-GAN网络的第二总损失函数为:



其中,对抗损失分别为改进的Cycle-GAN网络的两个判别器D1、D2的对抗损失,循环一致性损失Lcyc是对改进的Cycle-GAN网络的两个生成器G1、G2变换可逆性的约束,同一性映射损失Lidentity是在同一模态下生成转换图像进行的规范性约束,结构一致性损失LMIND是对原始图像和生成图像的结构相似度进行的约束,λcyc、λidentity、λMIND分别表示Lcyc、Lidentity、LMIND的相对重要性;
步骤S7还包括以所述第二总损失函数为目标来对该改进的Cycle-GAN网络进行训练。


3.根据权利要求2所述的跨模态医学图像配准方法,其特征在于,其中结构一致性损失LMIND为:



其中,M表示模态独立领域描述子MIND,Ir1表示第一模态的浮动图像,Ir2表示第二模态的参考图像,N1和N2分别表示图像Ir1和Ir2...

【专利技术属性】
技术研发人员:李秀徐哲马露凡罗凤严江鹏
申请(专利权)人:清华大学深圳国际研究生院
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1