一种基于深度学习的多模态肝脏磁共振影像配准系统技术方案

本发明专利技术属于磁共振图像配准技术领域，具体为一种基于深度学习的多模态肝脏磁共振影像配准系统。本发明专利技术系统包括：图像预处理模块，用于对源图像和目标图像进行预处理，并利用传统方法进行预配准；训练样本筛选模块，从对经传统方法预配准后的样本中筛选出作为GAN网络训练用的样本；GAN网络模块，用于对多模态肝脏磁共振影像配准；GAN网络包括鉴别器网络和生成器网络；本发明专利技术通过对GAN网络进行预训练，使其学习不同对比度图像域之间的映射关系，实现将一种对比图像转化为另一种对比图像的功能；然后在配准过程中利用经训练的GAN网络辅助传统配准方法，消除配准中由于模态差异而造成的误差，缩短了配准时间，提高了配准准确性。

【技术实现步骤摘要】
一种基于深度学习的多模态肝脏磁共振影像配准系统
本专利技术属于磁共振图像配准
，具体涉及不同对比度，即不同模态之间的肝脏磁共振影像配准方系统。
技术介绍
肝癌是我国常见的肿瘤，是全球第六大常见的癌症，也是亚洲致死率排名第二的癌症，早期、准确诊断肝脏病变具有重要的意义。在对肝脏病变进行诊断的过程中，通常会结合多个模态的影像信息，根据不同影像的特点及优势，进行综合全面的判断。例如磁共振动态增强扫描（DynamicContrastEnhancedMRI,DCE-MRI）可以对肿瘤血管渗透性进行定量分析，不仅可以提供肝脏病变形态学上的特征，还可以反映病变的血供状态；弥散加权成像（DiffusionWeightedImaging,DWI）能对肝脏细胞特征和组织结构进行定量分析，提供比常规MRI更多的信息，对明确病变部位的病理变化和生理活动有重大的意义；近年来以脱氧血红蛋白为内源性对比剂的血氧水平依赖功能磁共振成像(bloodoxygenleveldependentfunctionalmagneticresonanceimaging,BOLD-fMRI)能够反映血流动力学和血氧含量变化,可以用于肝脏疾病的诊断和严重程度评估。而图像配准的目的即为在空间上或时间上将不同模态的影像对齐，以更精确地定位病灶。传统的多模态配准方法多采用线性变换模型和非线性变换模型。线性变换模型通过对线性变化矩阵和平移向量的调整，包含了刚性配准，相似性配准和仿射配准，但该方法无法考虑源图像和目标图像之间的局部差异。在非线性变换中基于形变场的样条函数，例如薄板样条法和B样条法较为常用，其通过求出目标图像和参考图像对应控制点的映射关系，得到最优光滑位移场，然而随着控制点数量的增加，系数矩阵也会越来越大，计算准确性和稳定性会有所降低。对于多模态磁共振影像配准而言，其配准难度主要在于不同模态影像之间的对比度差异，以及由于获取不同模态影像的时间点不同，从而导致相应器官的解剖学结构上的差异，这都给特征空间的提取造成了较大难度。故直接使用传统配准方法进行多模态配准通常无法达到较高准确度，而且在速度上也有待提升。
技术实现思路
本专利技术的目的在于提供一种可以降低对多模态影像间特征提取的难度、实现更准确更快速配准的多模态肝脏磁共振影像配准系统。本专利技术提供的多模态肝脏磁共振影像配准系统，利用预训练的GAN网络将源模态图像转化为目标模态图像，降低提取特征空间的难度，进而使辅助传统配准方法进行更准确更快速的配准。本专利技术提出的多模态肝脏磁共振影像配准系统，是基于深度学习的，具体包括如下模块。图像预处理模块，用于对源图像和目标图像进行预处理，并利用传统方法进行预配准，即依次进行刚性配准、仿射配准和非线性配准；所述图像预处理模块中，预处理方式主要有三种：（1）由于有些图像在采集的过程中存在首尾数层图像不完整的问题，故剔除每个3D图像样本的始末3-10层；（2）喂入网络的所有2D图像，重采样至分辨率128×128到1024×1024；（3）根据图像对的像素点取值范围以及网络结构的激活函数的输出范围，对2D图像进行归一化处理，将像素值归一化至[0,1]或[-1,1]或[-1,0]范围内。训练样本筛选模块，用于对经传统方法预配准后的样本进行筛选，筛选出层级对应关系良好，器官组织清晰的样本，作为GAN网络的训练样本。GAN网络模块，经过训练，用于对多模态肝脏磁共振影像配准；所述GAN网络采用但不局限于pix2pix架构搭建；搭建的GAN网络主要包括鉴别器网络和生成器网络；其中：所述生成器网络架构，如图4所示，采用类似U-Net的结构，生成器网络包括：5-12层卷积层，5-15层反卷积层；每个卷积层选取合适的激活函数，包括但不局限于Relu函数、tanh函数等。所述鉴别网络结构，如图5所示，采用patch-GAN结构，即将一张图像通过多层卷积后得到尺寸较小的特征矩阵，经过sigmoid激活函数处理后得到矩阵中每个特征值相应介于0和1之间的概率值，其平均值即为鉴别网络输出的判别结果；鉴别网络包括：卷积层，5-10层跨步卷积层，以及最终卷积层。本专利技术系统的工作流程如下：（一）由图像预处理模块，对源图像和目标图像进行预处理，并利用传统方法进行预配准，即依次进行刚性配准、仿射配准和非线性配准；（二）由训练样本筛选模块，对经传统方法预配准后的样本进行筛选，筛选出层级对应关系良好，器官组织清晰的样本，作为GAN网络的训练样本；这里的筛选可采用人工筛选；（三）用筛选的训练样本，对GAN网络进行训练；在训练过程中，对比训练结果，调整图像预处理方法、网络训练方法及数据增强方法，达到最好的训练效果。所述调整图像预处理方法，包括三种方式：（1）由于有些图像在采集的过程中存在首尾数层图像不完整的问题，故剔除每个3D图像样本的始末3-10层；（2）喂入网络的所有2D图像重采样至分辨率128×128到1024×1024；（3）根据图像对的像素点取值范围以及网络结构的激活函数的输出范围，对2D图像进行归一化处理，将像素值归一化至[0,1]或[-1,1]或[-1,0]范围内。所述调整数据增强方法，具体使用但不局限于翻折、旋转、仿射变换，增加噪声，裁切，颜色扰动和缩放等方法，本专利技术具体增强方式如下：翻折：翻折方式有水平翻折、垂直翻折、对角翻折三种，随机选取三种翻折方式的一种进行数据增强；旋转：选择角度阈值θ（θ的范围为120°至180°之间），在-θ度至θ度随机角度旋转；仿射变换：分别在以图像的四个端点为圆心、直径为n个像素的圆形区域内随机取四点，作为仿射变换的变换顶点，进行仿射变换；缩放变换：在图像尺寸的一定百分比范围（通常为10%-15%）内随机取值，进行图像缩放。所述调整网络训练方法，使用但不局限于采用共轭梯度法、交替方向乘子法、随机梯度法等训练方法，设定合适的批量大小及学习率，训练一定轮数后网络收敛。（四）进行GAN网络的辅助配准，具体流程为：（1）将待配准的三维源模态图像切片，以二维图像的形式输入经过训练的GAN网络，输出对应的二维目标模态仿真图像，将二维仿真图像整合为三维仿真图像；（2）对上一步得到的目标模态仿真图像与待配准目标模态图像进行传统配准，即依次进行刚性配准、仿射配准和非线性配准，得到对应像素映射关系，即形变场；（3）将上一步得到的形变场与待配准源图像融合，完成GAN网络辅助配准。与现有技术相比，本专利技术系统具有如下优点：（1）提供了一种全新的基于深度学习的辅助配准系统。传统的多模态配准方法多用互信息作为损失函数，而互信息能否实现精确配准在很大程度上取决于是否有一个好的初始化过程，即优化开始时能否已知数量足够多的正确配对关系。本专利技术通过GAN网络生成目标模态图像，通过模态的转换，给传统配准方法提供了良好的初始化过程，提高了配准精度；（2）缩短了传本文档来自技高网...

【技术保护点】
1.一种基于深度学习的多模态肝脏磁共振影像配准系统，其特征在于，具体包括如下模块：/n图像预处理模块，用于对源图像和目标图像进行预处理，并利用传统方法进行预配准，即依次进行刚性配准、仿射配准和非线性配准；/n训练样本筛选模块，用于对经传统方法预配准后的样本进行筛选，筛选出层级对应关系良好，器官组织清晰的样本，作为GAN网络的训练样本；/nGAN网络模块，经过训练，用于对多模态肝脏磁共振影像配准；所述GAN网络采用pix2pix架构搭建；搭建的GAN网络包括鉴别器网络和生成器网络；其中：/n所述生成器网络，采用类似U-Net的结构，生成器网络包括：5-12层卷积层，5-15层反卷积层；每个卷积层选取合适的激活函数；/n所述鉴别网络，采用patch-GAN结构，即将一张图像通过多层卷积后得到尺寸较小的特征矩阵，经过sigmoid激活函数处理后得到矩阵中每个特征值相应介于0和1之间的概率值，其平均值即为鉴别网络输出的判别结果；鉴别网络包括：卷积层，5-10层跨步卷积层，以及最终卷积层；/n系统的工作流程如下：/n（一）由图像预处理模块，对源图像和目标图像进行预处理，并利用传统方法进行预配准，即依次进行刚性配准、仿射配准和非线性配准；/n（二）由训练样本筛选模块，对经传统方法预配准后的样本进行筛选，筛选出层级对应关系良好，器官组织清晰的样本，作为GAN网络的训练样本；/n（三）用筛选的训练样本，对GAN网络进行训练；/n在训练过程中，对比训练结果，调整图像预处理方法、网络训练方法及数据增强方法，达到最好的训练效果；/n（四）进行GAN网络的辅助配准，具体流程为：/n（1）将待配准的三维源模态图像切片，以二维图像的形式输入经过训练的GAN网络，输出对应的二维目标模态仿真图像，将二维仿真图像整合为三维仿真图像；/n（2）对上一步得到的目标模态仿真图像与待配准目标模态图像进行传统配准，即依次进行刚性配准、仿射配准和非线性配准，得到对应像素映射关系，即形变场；/n（3）将上一步得到的形变场与待配准源图像融合，完成GAN网络辅助配准。/n...

【技术特征摘要】
1.一种基于深度学习的多模态肝脏磁共振影像配准系统，其特征在于，具体包括如下模块：
图像预处理模块，用于对源图像和目标图像进行预处理，并利用传统方法进行预配准，即依次进行刚性配准、仿射配准和非线性配准；
训练样本筛选模块，用于对经传统方法预配准后的样本进行筛选，筛选出层级对应关系良好，器官组织清晰的样本，作为GAN网络的训练样本；
GAN网络模块，经过训练，用于对多模态肝脏磁共振影像配准；所述GAN网络采用pix2pix架构搭建；搭建的GAN网络包括鉴别器网络和生成器网络；其中：
所述生成器网络，采用类似U-Net的结构，生成器网络包括：5-12层卷积层，5-15层反卷积层；每个卷积层选取合适的激活函数；
所述鉴别网络，采用patch-GAN结构，即将一张图像通过多层卷积后得到尺寸较小的特征矩阵，经过sigmoid激活函数处理后得到矩阵中每个特征值相应介于0和1之间的概率值，其平均值即为鉴别网络输出的判别结果；鉴别网络包括：卷积层，5-10层跨步卷积层，以及最终卷积层；
系统的工作流程如下：
（一）由图像预处理模块，对源图像和目标图像进行预处理，并利用传统方法进行预配准，即依次进行刚性配准、仿射配准和非线性配准；
（二）由训练样本筛选模块，对经传统方法预配准后的样本进行筛选，筛选出层级对应关系良好，器官组织清晰的样本，作为GAN网络的训练样本；
（三）用筛选的训练样本，对GAN网络进行训练；
在训练过程中，对比训练结果，调整图像预处理方法、网络训练方法及数据增强方法，达到最好的训练效果；
（四）进行GAN网络的辅助配准，具体流程为：
（1）将待配准的三维源模态图像切片，以二维图像的形式输入经过训练的GAN网络，输出对应的二维目标模态仿真图像，将二维仿真图像整合为三维仿真图像；<...

【专利技术属性】
技术研发人员：于航，王成彦，王鹤，
申请(专利权)人：复旦大学，
类型：发明
国别省市：上海;31