图像配准方法及其模型训练方法技术

本发明专利技术公开了图像配准方法及其模型训练方法。该图像配准方法包括获取参考图像和待配准的浮动图像，对所述参考图像和所述浮动图像执行图像预处理，对经预处理的参考图像和浮动图像执行非刚性配准以获得配准结果图像，以及输出配准结果图像。所述图像预处理包括对参考图像和浮动图像执行基于迭代最近点配准和互信息配准的由粗到精的刚性配准。所述非刚性配准利用参考图像与配准结果图像之间的相关系数和均方误差的组合作为损失函数。本发明专利技术还公开了与该方法对应的用于图像配准的设备、系统和计算机可读介质。本发明专利技术可以在不同时间、不同模态、或不同序列的图像之间实现精确、高效且适用性强的图像配准。且适用性强的图像配准。且适用性强的图像配准。

【技术实现步骤摘要】
图像配准方法及其模型训练方法


[0001]本专利技术涉及图像处理
，更具体地涉及图像配准方法及其模型训练方法。

技术介绍

[0002]图像配准是图像融合、图像重建、图像与标准图谱的匹配、图像定量分析等研究的基础。图像配准通过寻找一种最优空间变换，使两个图像的对应点在给定相似性度量下达到空间位置和解剖位置的一致。通过图像配准计划可以充分利用不同时间、不同模态、不同序列的图像中所包含的多种信息，为后续的图像高级分析(例如，医学上的疗效评估、图像引导治疗、多序列图像分割、不同模态融合等)提供基础。图像配准根据变换方式的不同可分为刚性配准和非刚性配准。刚性配准是指图像中任意两点间的距离在变换前后保持不变，只发生了坐标轴的平移和旋转。刚性配准只适用于不存在形变或刚性体的配准，刚性配准在很多情况下不能满足临床的需求。因为很多形变的性质是非刚性的、非线性的，所以许多重要的临床应用需要非刚性变换来描述图像之间的空间关系。目前，传统的刚性配准方法和非刚性配准方法存在一些问题需要解决，例如：适用性差，一种方法或一组参数只适用于某一特定模态甚至是特定的数据集上；处理速度慢，由于传统的配准方法是采用迭代优化的方式搜寻最优参数的，这导致其处理速度相当慢，很难应用在实时化场景中；或者由于诸如局部极值而造成精度较差；等等。
[0003]举例来说，肺癌是全球最常见的恶性肿瘤之一，其发病率及死亡率均位于恶性肿瘤的第一位，是公认危害人类健康的杀手。免疫治疗是一种通过重塑肿瘤患者免疫系统以杀灭肿瘤细胞的治疗方法，由于它毒副作用小，疗效持久，因此在肺癌治疗过程中得到应用。另一方面，客观、精确地评估肿瘤治疗的疗效就具有重要的临床意义，而诸如CT和MR影像检查在其中发挥着重要作用。针对影像检查评估免疫治疗疗效，2017年RECIST工作组及其免疫治疗小组委员会发表了iRecist标准。为了采用iRecsit或者其他疗效评估标准精准定量地进行疗效评估，有效的图像配准方法是必不可少的环节。然而，受免疫治疗后影像数据的复杂特性以及肺部器官自发运动导致不规则形变的影响，现有的图像配准方法在精确地、高效地完成图像配准方面还有待提高。
[0004]因此，本领域中存在对改进的图像配准方法的需求。

技术实现思路

[0005]在本专利技术的一个方面，提供了一种图像配准方法。该方法可以包括：获取参考图像和待配准的浮动图像；对所述参考图像和所述浮动图像执行图像预处理，所述图像预处理可以包括基于迭代最近点配准和互信息配准的刚性配准；对经预处理的所述参考图像和经预处理的所述浮动图像执行非刚性配准，以获得配准结果图像；以及输出所述配准结果图像。
[0006]在本专利技术的另一个方面，提供了一种用于图像的基于迭代最近点配准和互信息配准的刚性配准方法。该方法可以包括：利用迭代最近点配准对参考图像和待配准的浮动图
像进行关于轮廓点数据集的粗配准，从而获得第一变换参数；基于所述第一变换参数，利用互信息配准来优化所述参考图像和所述浮动图像之间的配准，从而获得第二变换参数；以及基于所述第二变换参数对所述参考图像与所述浮动图像进行配准。
[0007]在本专利技术的又一个方面，提供了一种训练用于图像的非刚性配准模型的方法。该方法可以包括：通过将经预处理的参考图像和经预处理的浮动图像输入到U-Net中，获得空间变换参数；通过将所述空间变换参数输入到空间变换网络中，对所述经预处理的浮动图像进行空间变换和插值操作，从而获得配准结果图像；使用损失函数计算所述参考图像与所述配准结果图像之间的损失函数值，其中所述损失函数可以包括所述参考图像与所述配准结果图像之间的相关系数和均方误差二者；以及重复前述步骤，直至所述非刚性配准模型收敛或达到预定迭代训练次数。
[0008]在本专利技术的又一个方面，提供了一种计算机可读介质，其上具有指令，所述指令在被处理器执行时可以使得所述处理器执行如上所述任一种方法的步骤。
[0009]在本专利技术的又一个方面，提供了一种图像配准设备，该图像配准设备可以包括用于实现如上所述任一种方法的步骤的装置。
[0010]在本专利技术的又一个方面，提供了一种用于图像配准的系统。该系统可以包括：医学成像设备，所述医学成像设备用于进行成像扫描以生成医学图像；存储设备，所述存储设备用于存储所述医学图像；以及医学成像工作站或医学图像云平台分析系统，所述医学成像工作站或医学图像云平台分析系统可以通信地连接至所述存储设备并且包括处理器，所述处理器可以用于执行如上所述任一种方法的步骤。
[0011]通过下面参考附图进行的详细描述，本专利技术的这些以及其他的特征和方面会变得更加清楚。
附图说明
[0012]为了能够详细地理解本专利技术，可参考实施例得出上文所简要概述的本专利技术的更具体的描述，一些实施例在附图中示出，为了促进理解，已尽可能使用相同附图标记来标示各图所共有的相同要素。然而，应当注意，附图仅仅示出本专利技术的典型实施例，并且因此不应视为限制本专利技术的范围，因为本专利技术可允许其他等效实施例，在附图中：
[0013]图1示意性地示出了根据本专利技术的实施例的图像配准方法的示例性流程图。
[0014]图2示意性地示出了根据本专利技术的实施例的用于图像的基于迭代最近点配准和互信息配准的刚性配准方法的示例性流程图。
[0015]图3示意性地示出了根据本专利技术的实施例的训练用于图像的非刚性配准模型的方法的示例性流程图。
[0016]图4A和4B分别示意性地示出了根据本专利技术的一个实施例的执行图像配准之前和之后的示例性融合效果。
[0017]图5A和5B分别示意性地示出了根据本专利技术的另一个实施例的执行图像配准之前和之后的示例性融合效果。
[0018]图6示意性地示出了根据本专利技术的实施例的执行图像配准方法的电子设备的示例。
[0019]图7示意性地示出了根据本专利技术的实施例的图像配准设备的示例性框图。
[0020]图8示意性地示出了根据本专利技术的实施例的用于图像配准的系统的示例性框图。
[0021]可以预期的是，本专利技术的一个实施例中的要素可有利地适用于其他实施例而无需赘述。
具体实施方式
[0022]以下将描述本专利技术的具体实施方式，需要指出的是，在这些实施方式的具体描述过程中，为了进行简明扼要的描述，本说明书不可能对实际的实施方式的所有特征均作详尽的描述。应当可以理解的是，在任意一种实施方式的实际实施过程中，正如在任意一个工程项目或者设计项目的过程中，为了实现开发者的具体目标，为了满足系统相关的或者商业相关的限制，常常会做出各种各样的具体决策，而这也会从一种实施方式到另一种实施方式之间发生改变。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本专利技术公开的内容相关的本领域的普通技术人员而言，在本专利技术揭露的
技术实现思路
的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本专利技术的内容不充分。
[0023]除非另作定义，权利要求书和说明书中使用的技术术语或者科学术本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像配准方法，包括：获取参考图像和待配准的浮动图像；对所述参考图像和所述浮动图像执行图像预处理，所述图像预处理包括基于迭代最近点配准和互信息配准的刚性配准；对经预处理的所述参考图像和经预处理的所述浮动图像执行非刚性配准，以获得配准结果图像；以及输出所述配准结果图像。2.根据权利要求1所述的方法，其特征在于，所述刚性配准进一步包括：利用迭代最近点配准对所述参考图像和所述浮动图像进行关于轮廓点数据集的粗配准，从而获得第一变换参数；基于所述第一变换参数，利用互信息配准来优化所述参考图像和所述浮动图像之间的配准，从而获得第二变换参数；以及基于所述第二变换参数对所述参考图像与所述浮动图像进行配准。3.根据权利要求2所述的方法，其特征在于，通过移动立方体法来提取所述参考图像和所述浮动图像中的每一者的轮廓点数据集。4.根据权利要求2所述的方法，其特征在于，所述互信息配准进一步包括：以所述第一变换参数为所述互信息配准的初始值而对所述浮动图像进行空间变换；对空间变换后的所述浮动图像进行插值操作；以及计算所得的插值结果与所述参考图像之间的互信息值，从而获得与所述互信息值对应的所述第二变换参数。5.根据权利要求4所述的方法，其特征在于，所述优化进一步包括：通过随机梯度下降，重复所述迭代最近点配准和所述互信息配准，直至所述互信息值收敛或达到预定的重复次数。6.根据权利要求2所述的方法，其特征在于，所述第一变换参数和所述第二变换参数中的每一个包括：x轴方向上的平移像素量、y轴方向上的平移像素量、z轴方向上的平移像素量、轴向面上的中心旋转角度、矢状面上的中心旋转角度、以及冠状面上的中心旋转角度；或者x轴方向上的平移像素量、y轴方向上的平移像素量、以及xy平面上的中心旋转角度。7.根据权利要求1所述的方法，其特征在于，所述图像预处理进一步包括：在执行所述刚性配准之前对所述参考图像和所述浮动图像进行重采样，使得所述参考图像和所述浮动图像的像素间距相同。8.根据权利要求1所述的方法，其特征在于，所述图像预处理进一步包括：在执行所述刚性配准之后对所述参考图像和所述浮动图像进行自适应裁剪。9.根据权利要求8所述的方法，其特征在于，所述自适应裁剪进一步包括：通过半自动或自动的分割方法来定位所述参考图像和经刚性配准的所述浮动图像中的目标对象的轮廓；对所述轮廓执行开运算，以去除孤立点；计算开运算后的轮廓的最小包围盒；以及自动地将所述最小包围盒扩充至期望的尺寸，从而基于所述期望的尺寸获得经裁剪的
参考图像和浮动图像，其中所述期望的尺寸使得所述经裁剪的参考图像和浮动图像适于输入到用于执行所述非刚性配准的模型中。10.根据权利要求1所述的方法，其特征在于，同时对所述参考图像和所述浮动图像执行所述图像预处理。11.根据权利要求1所述的方法，其特征在于，所述非刚性配准进一步包括：通过将经预处理的所述参考图像和经预处理的所述浮动图像输入到U-Net...

【专利技术属性】
技术研发人员：张陈，赵周社，聂颖彬，
申请(专利权)人：通用电气精准医疗有限责任公司，
类型：发明
国别省市：