基于混合监督学习的超声和核磁图像配准融合方法及装置制造方法及图纸

基于混合监督学习的超声和核磁图像配准融合方法及装置，其既满足了任务的需求又大大降低了训练的难度和时间成本，同时降低了对人工标签的数量以及精度的要求。其包括：(1)通过一个全局刚性配准网络与局部B样条配准网络串接，刚性形变作为全局形变模型，B样条作为弹性形变模型；其中刚性网络通过血管标签驱动以确保超声和核磁图像在空间上刚性对准；(2)使用由血管标签和MIND相似性度量共同监督的弹性配准网络的训练来预测MR和3D超声图像之间的变形关系，其中以MIND相似性度量为主，人工分割的血管标签作为辅助监督。

A method and device for registration and fusion of ultrasound and MRI images based on hybrid supervised learning

【技术实现步骤摘要】
基于混合监督学习的超声和核磁图像配准融合方法及装置
本专利技术涉及医学图像处理的
，尤其涉及一种基于混合监督学习的超声和核磁图像配准融合方法，以及基于混合监督学习的超声和核磁图像配准融合装置。
技术介绍
磁共振MR(即，磁共振共像，MagneticResonanceImaging)和超声US(即，超声波扫描，ultrasoundscan)肝脏图像的配准和融合可以为肝脏消融手术提供高质量的指导。然而，准确的MR-US配准仍然是一项具有挑战性的任务，主要困难来自于不同物理原理成像时组织或器官外观的巨大变化，包括：两种形态之间的灰度变化，超声较低的成像质量，和由于超声探头的压迫而引起的肝脏大规模的形变，以及患者呼吸的影响。在过去的几十年中已经提出了许多配准算法。这些多模态配准方法可分为两类。一类是根据图像灰度。根据形变后的浮动图像和固定图像之间的相似性测度差异，寻求最优解。这些相似性测度包括MI，NMI，CC，NCC等。但是这些相似性测度在面临US和MR的配准任务时却往往失败，由于这两种模态图像截然不同的表观。此外，慢速的迭代优化过程也阻碍该图像配准方法在临床中的应用。另一类配准方法基于特征。当自动提取特征时，它将面临与基于图像灰度的方法相似的挑战。人工手动选择解剖学特征是比较稳定的，但比较费时而且昂贵，有时甚至是不可行的。最近，基于深度学习的方法，尤其是利用卷积神经网络，在配准领域展现了很好的前景。之前人们提出以传统算法得到形变场作为金标准，通过回归网络学习形变场与成对图像表观差异之间的关系，以及基于人工相似性测度作为损失函数的无监督学习。这两类方法并不太适用于US、MR这两种模态差异如此之大的图像，因为目前并没有一个足够鲁棒的相似性测度可以完成US、MR的配准。有学者认为基于解剖知识的高层次对应结构作为标签更实用并且可靠。通过标出同一对图像中相同的器官以及它们的边界，病理区域和一些其它的解剖结构，形态或生理特征作为弱标签来训练低级体素之间的对应关系。通过这个方法，他们成功实现前列腺的US和MR图像的配准。但是，对于面临的肝脏MR与US的多模态图像配准任务，一些解剖标签(例如隔膜和细血管)难以在3DUS图像中手动标注。
技术实现思路
为克服现有技术的缺陷，本专利技术要解决的技术问题是提供了一种基于混合监督学习的超声和核磁图像配准融合方法，其既满足了任务的需求又大大降低了训练的难度和时间成本，并降低了对人工标签的数量以及精度的要求。本专利技术的技术方案是：这种基于混合监督学习的超声和核磁图像配准融合方法，其包括以下步骤：(1)通过一个全局刚性配准网络与局部B样条配准网络串接，刚性形变作为全局形变模型，B样条作为弹性形变模型；其中刚性网络通过血管标签驱动以确保超声和核磁图像在空间上刚性对准。(2)非刚性配准网络使用由血管标签和MIND相似性度量共同监督训练来预测MR和3D超声图像之间的变形关系，其中以MIND相似性度量为主，人工分割的血管标签作为辅助监督。本专利技术通过一个全局刚性配准网络与局部B样条配准网络串接，简化的架构降低了网络的参数数量，因此既满足了任务的需求又大大降低了训练的难度和时间成本；使用由血管标签和MIND相似性度量共同监督的B样条配准网络的训练来预测MR和3D超声图像之间的弹性变形关系，其中以MIND相似性度量为主，人工分割的血管标签作为辅助监督，从而降低了对人工标签的数量以及精度的要求。本专利技术提供了基于混合监督学习的超声和核磁图像配准融合装置，其包括：刚性对准模块，通过血管标签驱动的刚性网络以确保超声和核磁图像在空间上刚性对准。非刚性配准模块，其使用由血管标签和MIND相似性度量共同监督的B样条配准网络的训练来预测MR和3D超声图像之间的弹性变形关系，其中以MIND相似性度量为主，人工分割的血管标签作为辅助监督。附图说明图1是根据本专利技术的基于混合监督学习的超声和核磁图像配准融合方法的配准网络的整体架构。图2是根据本专利技术的基于混合监督学习的超声和核磁图像配准融合方法的配准网络的训练策略。图3示出了刚性配准的网络架构和弹性配准网络结构的区别，其中虚线上部分展示了刚性配准的网络架构，虚线下部分描述了弹性配准网络结构。图4是根据本专利技术的基于混合监督学习的超声和核磁图像配准融合方法的流程图。具体实施方式对于面临的肝脏MR与US的多模态图像配准任务，一些解剖标签(例如隔膜和细血管)难以在3DUS图像中手动标注。幸运的是，隔膜通常是超声图像中最亮的部分，并且具有较强的梯度响应，因此一些高级相似性测度也可以用来处理这些区域的配准。受这些想法的启发，申请人提出了基于混合监督的配准网络。首先，通过血管标签驱动的刚性网络以确保两个图像在空间上刚性对准，然后我们使用由血管标签和MIND相似性度量共同监督的弹性配准网络的训练来预测MR和3D超声图像之间的变形关系。实验表明，该方法大大提高了性能。如图4所示，这种基于混合监督学习的超声和核磁图像配准融合方法，其包括以下步骤：(1)通过一个全局刚性配准网络与局部B样条配准网络串接，刚性形变作为全局形变模型，B样条作为弹性形变模型；其中刚性网络通过血管标签驱动以确保超声和核磁图像在空间上刚性对准。(2)使用由血管标签和MIND相似性度量共同监督的弹性配准网络来预测MR和3D超声图像之间的变形关系，其中以MIND相似性度量为主，人工分割的血管标签作为辅助监督。本专利技术通过一个全局刚性配准网络与局部B样条配准网络串接，刚性形变作为全局形变模型，B样条作为弹性形变模型；其中刚性网络通过血管标签驱动以确保超声和核磁图像在空间上刚性对准；使用由血管标签和MIND相似性度量共同监督的弹性配准网络来预测MR和3D超声图像之间的变形关系，其中以MIND相似性度量为主，人工分割的血管标签作为辅助监督，从而降低了对人工标签的数量以及精度的要求。优选地，该方法还包括步骤(3)，将这个配准网络应用到针对单独病人的MR与3D超声序列的配准上，在手术过程中通过训练好的模型实时地得到MR与3DUS的配准融合结果。优选地，所述步骤(1)中，所有图像都被下采样到128*128*128体素；将固定图像MR和浮动图像US先输入到一个刚性配准网络，得到初始全局配准后的变换图像,再将刚性变换后的超声图像与固定图像MR一同输入到基于B样条的弹性配准网络，得到弹性形变后的图像。优选地，对于刚性配准网络，用双通道网络结构，由五个卷积层和四个向下采样层组成，这些卷积层分别包含2,16,32,64,128个过滤器，大小为3x3x3；最后连接到全连接层并将这些特征转换为6个刚性变换参数：三个平移参数和三个旋转参数。优选地，对于弹性配准网络，用双通道网络结构，将经过刚性网络的变换后图像和固定图像作为网络输入的两个通道，选择了B样条的网格插值间隔为9，在图像每侧加上一个图外控制点后，网络最后输出的大小应为17*17*17*3；将128像素本文档来自技高网...

【技术保护点】
1.基于混合监督学习的超声和核磁图像配准融合方法，其特征在于：其包括以下步骤：/n(1)通过一个全局刚性配准网络与局部B样条配准网络串接，刚性形变作为全局形变模型，B样条作为弹性形变模型；其中刚性网络通过血管标签驱动的以确保超声和核磁图像在空间上刚性对准；/n(2)非刚性配准网络使用由血管标签和MIND相似性度量共同监督的训练来预测MR和3D超声图像之间的变形关系，其中以MIND相似性度量为主，人工分割的血管标签作为辅助监督。/n

【技术特征摘要】
1.基于混合监督学习的超声和核磁图像配准融合方法，其特征在于：其包括以下步骤：
(1)通过一个全局刚性配准网络与局部B样条配准网络串接，刚性形变作为全局形变模型，B样条作为弹性形变模型；其中刚性网络通过血管标签驱动的以确保超声和核磁图像在空间上刚性对准；
(2)非刚性配准网络使用由血管标签和MIND相似性度量共同监督的训练来预测MR和3D超声图像之间的变形关系，其中以MIND相似性度量为主，人工分割的血管标签作为辅助监督。


2.根据权利要求1所述的基于混合监督学习的超声和核磁图像配准融合方法，其特征在于：该方法还包括步骤(3)，将这个配准网络应用到针对单独病人的MR与3D超声序列的配准上，在手术过程中通过训练好的模型实时地得到MR与3DUS的配准融合结果。


3.根据权利要求2所述的基于混合监督学习的超声和核磁图像配准融合方法，其特征在于：所述步骤(1)中，所有图像都被下采样到128*128*128体素；将固定图像MR和浮动图像US先输入到一个刚性配准网络，得到初始全局配准后的变换图像,再将刚性变换后的超声图像与固定图像MR一同输入到基于B样条的弹性配准网络，得到弹性形变后的图像。


4.根据权利要求3所述的基于混合监督学习的超声和核磁图像配准融合方法，其特征在于：对于刚性配准网络，用双通道网络结构，由五个卷积层和四个向下采样层组成，这些卷积层分别包含2,16,32,64,128个过滤器，大小为3x3x3；最后连接到全连接层并将这些特征转换为6个刚性变换参数：三个平移参数和三个旋转参数。


5.根据权利要求4所述的基于混合监督学习的超声和核磁图像配准融合方法，其特征在于：对于弹性配准网络，用双通道网络结构，将经过刚性网络的变换后图像和固定图像作为网络输入的两个通道，选择B样条的网格插值间隔为9，在图像每侧加上一个图外控制点后，网络最后输出的大小应为17*17*17*3；将128像素尺寸的图像进行两次卷积及两次下采样后，得到batch-size*32*323大小的特征；经过一次反卷积，padding为0，得到特征大小为batch-size*32*343，最后再经过一层卷积及下采样，以及kernel-size为1x1x1输出通道数为3的输出层，网络最后输出17*17*17*3的B样条网格形变场；对该网络形变场进行B样条插值，得到稠密形变场，对于刚性配准网络和弹性配准网络中所有的卷积核大小为3，padding为1，下采样参数为2，激活层为LeakyRelu。


6.根据权利要求5所述的基于混合监督学习的超声和核磁图像配准融合方法，其特征在于：所述步骤(2)中，将浮动3DUS图像和固定图像MR堆叠在一起为双通道网络的输入；输入的大小为128×128×128×2，将网络输出转换为密集变形场，其大小为128×128×128×3，使用空间变换函数将密集变形场作用到US图像上，然后通过双线性插值对US图像进行重采样；在得到扭曲的超声图像之后，计算它与固定的M...

【专利技术属性】
技术研发人员：丛伟建，武潺，邓巧玲，
申请(专利权)人：艾瑞迈迪科技石家庄有限公司，
类型：发明
国别省市：河北;13