基于多尺度监督学习的超声和核磁图像配准方法及装置制造方法及图纸

基于多尺度监督学习的超声和核磁图像配准方法及装置，在测试阶段只输入超声和磁共振图像便可预测出由超声到磁共振的形变场，完成超声到磁共振的配准，无需传统算法的迭代，在速度和准确度上大幅度提升。包括：(1)采集多个病人的肝脏三维磁共振图像以及与之对应的超声图像作为训练样本，将重要的组织区域分割出来作为标签图像；(2)构建基于3DUnet的配准基本框架；(3)得到基于多尺度监督神经网络；(4)将对应的磁共振和超声图像刚性配准；将处理好的磁共振和超声图像作为两个通道输入神经网络中，以MIND相似性测度，分割标签损失及形变场平滑项三个损失函数对神经网络进行训练；(5)根据配准参数将磁共振和超声图像配准。

Ultrasonic and nuclear magnetic image registration method and device based on multi-scale supervised learning

【技术实现步骤摘要】
基于多尺度监督学习的超声和核磁图像配准方法及装置
本专利技术涉及医学图像处理的
，尤其涉及一种基于多尺度监督学习的超声和核磁图像配准方法，以及基于多尺度监督学习的超声和核磁图像配准装置。
技术介绍
肝癌以其高发病率、高死亡率的特点成为我国人民面临的重大疾病威胁之一。基于超声US(即，超声波扫描，ultrasoundscan)实时引导的肝脏肿瘤消融手术，由于其具有成本低，创面小等优点而成为临床医学重点发展方向。然而超声图像相对于只能术前采集的磁共振MR(即，磁共振共像，MagneticResonanceImaging)图像而言，成像质量低，视野范围窄，难以提供全面的解剖细节信息。所以在临床手术过程中将两种图像进行配准融合来进行辅助治疗可以达到更好的治疗效果。因此超声以及磁共振图像的配准融合是必要的。传统基于迭代的图像配准算法，往往根据形变后的浮动图像和固定图像之间的相似性测度差异，寻求最优解。这些相似性测度包括MI(互信息)，NMI(归一化互信息)，CC(相关系数)，NCC(归一化相关系数)等，以及后来一些学者提出的基于图像灰度梯度本文档来自技高网...

【技术保护点】
1.基于多尺度监督学习的超声和核磁图像配准方法，其特征在于：其包括以下步骤：/n(1)采集多个病人的肝脏三维磁共振图像以及与各三维磁共振图像对应的超声图像作为训练样本，将超声图像及磁共振图像中重要的组织区域分别分割出来，作为标签图像，重要的组织区域包括肝脏大血管和下腔静脉；/n(2)构建基于3DUnet的配准基本框架；/n(3)对3DUnet进一步优化，得到基于多尺度监督神经网络；/n(4)将对应的磁共振图像和超声图像，首先进行刚性配准，并且均重采样到0.5mm*0.5mm*0.5mm，再全部下采样到128*128*128像素大小；其分割图像进行同样的操作，保持分割图像和原图像之间的对应关系；...

【技术特征摘要】
1.基于多尺度监督学习的超声和核磁图像配准方法，其特征在于：其包括以下步骤：
(1)采集多个病人的肝脏三维磁共振图像以及与各三维磁共振图像对应的超声图像作为训练样本，将超声图像及磁共振图像中重要的组织区域分别分割出来，作为标签图像，重要的组织区域包括肝脏大血管和下腔静脉；
(2)构建基于3DUnet的配准基本框架；
(3)对3DUnet进一步优化，得到基于多尺度监督神经网络；
(4)将对应的磁共振图像和超声图像，首先进行刚性配准，并且均重采样到0.5mm*0.5mm*0.5mm，再全部下采样到128*128*128像素大小；其分割图像进行同样的操作，保持分割图像和原图像之间的对应关系；将处理好的磁共振图像和超声图像作为两个通道，输入到多尺度监督神经网络中，以模态独立的邻域描述子MIND相似性测度，分割标签损失以及形变场平滑项三个损失函数对神经网络进行训练；
(5)测试过程中，将需要配准的磁共振图像和超声图像，按照训练集相同的处理步骤，输入到神经网络，网络输出形变场，作为配准参数，根据所述配准参数将所述三维磁共振图像和所述三维超声图像进行配准。


2.根据权利要求1所述的基于多尺度监督学习的超声和核磁图像配准方法，其特征在于：所述步骤(2)中，配准网络框架为：将待配准的三维超声图像和磁共振图像叠加在一起，作为两个通道一起输入到基于3Dunet的编码解码网络中，网络输出通道数为三的形变场；将形变场作用到超声图像Simg上得到形变后的图像Warpimg；与此同时，将形变场作用到预先人工分割好的超声图像的标签Slabel上，得到形变后的超声标签Warplabel。


3.根据权利要求2所述的基于多尺度监督学习的超声和核磁图像配准方法，其特征在于：所述步骤(2)中，网络的损失函数包括：磁共振图像和形变图像基于梯度的多模态测度MIND(Timg，Warpimg)、形变后的超声图像的标签和磁共振图像标签基于灰度差的均方根SSD(Tlabel,Warplabel)、对形变场的平滑约束项


4.根据权利要求3所述的基于多尺度监督学习的超声和核磁图像配准方法，其特征在于：所述步骤(3)中，在3Dunet编码解码的基础上进行改进，编码阶段经历五次下采样；每一层三维卷积后都加入了批标准化BN层和leakyrelu非线性激活函数；在解码阶段，分别在图像的以及全尺寸这四个尺度下输出通道数为三的张量作为形变场为大小为原图的形变场，并对该尺度下的形变场计算损失约束；下层输出的形变场张量又作为更高级分辨率形变场的初始化输入到解码网络的后一层；对每一级的损失计算，将形变场作用在对应的浮动的三维超声图像，从而计算形变后图像与固定的磁共振图像的局部自相似性测度MIND，以及形变场梯度的L2范数；对于最后全尺寸的形变场，再添加形变后图像与固定分割图像的差异这个损失。


5.根据权利要求4所述的基于多尺度监督学习的超声和核磁图像配准方法，其特征在于：所述步骤(3)中，对神经网络进行训练包括：训练过程中神经网络预测得到的不同尺度的形变场分别为16,32,64,128.的三维矩...

【专利技术属性】
技术研发人员：杨健，范敬凡，王涌天，邓巧玲，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：北京;11