多模态图像配准的方法、装置、电子设备及存储介质制造方法及图纸

本申请适用于模式识别技术领域，提供了多模态图像配准的方法，包括：获取源模态的第一图像，和与所述第一图像配对的目标模态的第二图像；对所述第一图像的强度进行修正得到第一修正图像，使所述第一修正图像的强度与所述第二图像的强度分布匹配；根据所述第一修正图像和所述第二图像获取所述第一修正图像配准到目标模态的形变场；根据所述第一图像和所述形变场获取所述第一图像配准到目标模态的配准图像。降低了因图像强度特征的影响，可以避免待修正的第一图像的同一对象与理想配准结果的距离差异过大导致精度下降，从而提高了配准精度。

Method, device, electronic equipment and storage medium of multimodal image registration

【技术实现步骤摘要】
多模态图像配准的方法、装置、电子设备及存储介质
本申请属于模式识别
，尤其涉及一种多模态图像配准的方法、装置、电子设备及存储介质。
技术介绍
图像配准是对图像的定位和转换，例如，在医学图像处理领域，通过寻找一种空间变换，使两幅图像对应点达到空间位置和解剖结构上的一致。图像配准的目的是比较或融合针对同一对象不同条件下获取的图像。在多模态图像配准场景下，用于单一模态的图像的配准技术无法适应多模态图像的差异，导致配准精度低，因此需要一种针对多模态图像的配准方法。
技术实现思路
本申请实施例提供了一种多模态图像配准的方法、装置、电子设备及存储介质，可以解决上述问题。第一方面，本申请实施例提供了一种多模态图像配准的方法，包括：获取源模态的第一图像，和与所述第一图像配对的目标模态的第二图像；对所述第一图像的强度进行修正得到第一修正图像，使所述第一修正图像的强度与所述第二图像的强度分布匹配；根据所述第一修正图像和所述第二图像获取所述第一修正图像配准到目标模态的形变场；根据所述第一图像和所述形变场获取所述第一图像配准到目标模态的配准图像。应理解，通过预先修正待配准的第一图像的强度，使其强度分布与目标模态的强度匹配，根据第一修正图像和第二图像获取第一图像到目标模态的形变场，降低了因图像强度特征的影响，可以避免待修正的第一图像的同一对象与理想配准结果的距离差异过大导致精度下降，从而提高了配准精度。第二方面，本申请实施例提供了一种多模态图像配准的装置，包括：图像获取模块，用于获取源模态的第一图像，和与所述第一图像配对的目标模态的第二图像；强度修正模块，用于对所述第一图像的强度进行修正得到第一修正图像，使所述第一修正图像的强度与所述第二图像的强度分布匹配；形变场获取模块，用于根据所述第一修正图像和所述第二图像获取所述第一修正图像配准到目标模态的形变场；配准模块，用于根据所述第一图像和所述形变场获取所述第一图像配准到目标模态的配准图像。第三方面，本申请实施例提供了一种电子设备，包括：包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的方法。第四方面，本申请实施例提供了一种计算机可读存储介质，包括：所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法步骤。第五方面本申请实施例提供了一种计算机程序产品，当计算机程序产品在电子设备上运行时，使得电子设备执行上述第一方面所述的方法步骤。可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1是本申请一实施例提供的电子设备的结构示意图；图2是本申请一实施例提供的多模态图像配准方法的流程示意图；图3a是本申请一实施例提供的多模态图像配准方法的数据处理架构强度修正部分示意图；图3b是本申请一实施例提供的多模态图像配准方法的数据处理架构配准部分示意图；图4a是本申请另一实施例提供的多模态图像配准方法的数据处理架构强度修正部分示意图；图4b是本申请另一实施例提供的多模态图像配准方法的数据处理架构配准部分示意图；图5是本申请一实施例提供的循环生成对抗网络示意图；图6是本申请另一实施例提供的多模态图像配准方法的流程示意图；图7是本申请一实施例提供的编解码网络示意图；图8是本申请一实施例提供的多模态图像配准装置的结构示意图。具体实施方式以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。图像配准的目的是比较或融合针对同一对象不同条件下获取的图像。尤其在医学图像分析领域的许多应用中扮演重要角色。在医学影像分析中，例如磁共振成像(MagneticResonanceImaging，MRI)影像分析，具有不同侧重的成像序列，如T1序列适合观察解剖结构，而T2序列更侧重观察组织病变。准确的病情分析往往需要比对分析同一区域(对象)的多模态影像，例如超声影像、MRI影像、电子计算机断层扫描(ComputedTomography，CT)影像，或融合处理多模态影像以获得更有临床指导价值的融合图像。随着深度学习技术的发展，出现了采用卷积神经网络(ConvolutionalNeuralNetwork，CNN)实现从集合中学习参数化的配准函数。CNN网络接受两个输入，两个输入分别为待配准图像和一个固定的模板，该网络输出一个体素到另一个体素的映射场。通过共享的参数，该过程学习一种通用的表示法，该表示法可以对齐来自同一分布的新数据。采用CNN模型进行图像配准方法存在的问题是，模板必须具有普遍性。例如，在医学影像应用中，在一些已经发生病变的影像中，病变周围往往伴随着随处可见本文档来自技高网...

【技术保护点】
1.一种多模态图像配准的方法，其特征在于，包括：/n获取源模态的第一图像，和与所述第一图像配对的目标模态的第二图像；/n对所述第一图像的强度进行修正得到第一修正图像，使所述第一修正图像的强度与所述第二图像的强度分布匹配；/n根据所述第一修正图像和所述第二图像获取所述第一修正图像配准到目标模态的形变场；/n根据所述第一图像和所述形变场获取所述第一图像配准到目标模态的配准图像。/n

【技术特征摘要】
1.一种多模态图像配准的方法，其特征在于，包括：
获取源模态的第一图像，和与所述第一图像配对的目标模态的第二图像；
对所述第一图像的强度进行修正得到第一修正图像，使所述第一修正图像的强度与所述第二图像的强度分布匹配；
根据所述第一修正图像和所述第二图像获取所述第一修正图像配准到目标模态的形变场；
根据所述第一图像和所述形变场获取所述第一图像配准到目标模态的配准图像。


2.如权利要求1所述的方法，其特征在于，对所述第一图像的强度进行修正得到第一修正图像，包括：
采用经训练的循环生成对抗网络，根据所述第一图像和所述第二图像对所述第一图像的强度进行修正得到第一修正图像，使所述第一修正图像的强度与所述第二图像的强度分布匹配。


3.如权利要求2所述的方法，其特征在于，采用经训练的循环生成对抗网络，根据所述第一图像和所述第二图像对所述第一图像的强度进行修正前，还包括：
采用配对的源模态图像和目标模态图像组成的训练样本集，训练待训练的循环生成对抗网络，得到经训练的循环生成对抗网络。


4.如权利要求3所述的方法，其特征在于，训练待训练的循环生成对抗网络，还包括：
采用包括形变损失的第一损失函数训练所述待训练的循环生成对抗网络；
其中，所述形变损失为根据所述循环生成对抗网络的生成器的输入图像与所述生成器的输出图像各自对应的表征形状特征的参数的差值获得。


5.如权利要求4所述的方法，表征形状特征的参数包括以下参数至少之一：
表征形状特征的像素点的强度、前景图像的边界长度和前景图像的面积；
其中，所述表征形状的像素点包括以下像素点至少之一：表征背景的像素点、表征图像边缘的像素点和表征图像中感兴趣区域轮廓的像素点。


6.如权利要求1至5任一项所述的方法，其特征在于，所述根据所述第一修正图像和所述第二图像获取所述第一修正图像...

【专利技术属性】
技术研发人员：王珊珊，郑海荣，黄纬键，刘新，梁栋，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东;44