一种图像配准方法、装置、终端设备和存储介质制造方法及图纸

本申请涉及图像处理技术领域，提出一种图像配准方法、装置、终端设备和存储介质。该方法包括：获取目标物体的二维原图和三维原图；将所述二维原图转换为三维图像；将所述三维图像与所述三维原图进行配准，得到所述二维原图与三维原图之间的配准结果。通过这样设置，执行图像配准的两部分图像都是三维图像，能够避免产生二维特征信息和三维特征信息难以匹配的问题，从而提高图像配准的准确率。从而提高图像配准的准确率。从而提高图像配准的准确率。

【技术实现步骤摘要】
一种图像配准方法、装置、终端设备和存储介质


[0001]本申请涉及图像处理
，尤其涉及一种图像配准方法、装置、终端设备和存储介质。

技术介绍

[0002]目前，在对患者进行手术的过程中，通常会拍摄患者指定部位的X光图像，然后将该X光图像和术前采集到的该指定部位的CT(Computed Tomography，计算机断层扫描)图像进行配准，并根据配准结果指导医生完成手术。然而，在将二维的X光图像和三维的CT图像进行配准时，X光图像中稀疏的二维特征信息难以准确地与CT图像的三维特征信息进行匹配，导致图像配准的准确率较低。

技术实现思路

[0003]有鉴于此，本申请实施例提供了一种图像配准方法、装置、终端设备和存储介质，能够提高将二维图像和三维图像配准的准确率。
[0004]本申请实施例的第一方面提供了一种图像配准方法，包括：
[0005]获取目标物体的二维原图和三维原图；
[0006]将所述二维原图转换为三维图像；
[0007]将所述三维图像与所述三维原图进行配准，得到所述二维原图与三维原图之间的配准结果。
[0008]本申请实施例在获取到目标物体的二维原图和三维原图之后，会先将该二维原图转换为三维图像，然后再将该三维图像和该三维原图进行配准，从而得到该二维原图和该三维原图之间的配准结果。与现有技术直接采用二维原图和三维原图进行配准的方法相比，本申请实施例执行图像配准的两部分图像都是三维图像，能够避免产生二维特征信息和三维特征信息难以匹配的问题，从而提高图像配准的准确率。
[0009]在本申请的一个实施例中，所述将所述二维原图转换为三维图像，可以包括：
[0010]将所述二维原图输入已训练的图像转换神经网络中处理，输出所述三维图像。
[0011]可以预先训练一个图像转换神经网络，将二维原图输入该图像转换神经网络之后，经过特征提取、数据维度转换和图像还原等处理，能够输出对应的三维图像。
[0012]进一步的，所述图像转换神经网络包括编码模块、三维转换模块和解码模块，所述将所述二维原图输入已训练的图像转换神经网络中处理，输出所述三维图像，可以包括：
[0013]将所述二维原图输入到所述编码模块进行特征提取，得到第一特征图；
[0014]将所述第一特征图输入到所述三维转换模块进行数据维度转换，得到第二特征图；
[0015]将所述第二特征图输入到所述解码模块进行图像还原，得到所述三维图像。
[0016]输入的二维原图经编码模块处理后，能够提取对应的二维图像特征；然后，采用三维转换模块将二维图像特征转换为三维图像特征；最后，将三维图像特征输入解码模块进
行图像还原，从而获得重建得到的三维图像。
[0017]在本申请的一个实施例中，所述编码模块可以包括依次连接的二维卷积层和N个残差模块，所述解码模块可以包括依次连接的M个上卷积层和三维卷积层，M和N均为大于0的整数。
[0018]编码模块可以采用二维卷积层和多个级联残差模块的结构，用于执行深度的图像特征提取；解码模块可以采用多个级联上卷积层(即上采样处理)和三维卷积层的结构，用于执行三维图像的还原。
[0019]在本申请的一个实施例中，所述第一特征图的维度包括第一维度、第二维度和第三维度，所述将所述第一特征图输入到所述三维转换模块进行数据维度转换，得到第二特征图，可以包括：
[0020]将所述第一特征图在第一维度的数据划分为第一子维度的数据和第二子维度的数据；
[0021]将所述第一子维度的数据、所述第二子维度的数据、所述第二维度的数据和所述第三维度的数据拼接，得到所述第二特征图。
[0022]为了将二维的图像特征转换为三维的图像特征，可以将第一特征图在某个指定维度的数据拆分成两个维度的数据，从而增加一个数据维度，然后再与另外两个维度的数据拼接，完成从二维图像特征到三维图像特征的转换。
[0023]进一步的，在将所述第一子维度的数据、所述第二子维度的数据、所述第二维度的数据和所述第三维度的数据拼接，得到所述第二特征图之后，还可以包括：
[0024]对所述第二特征图中的所述第一子维度的数据进行扩充；
[0025]所述将所述第二特征图输入到所述解码模块进行图像还原，得到所述三维图像，可以包括：
[0026]将数据扩充后的所述第二特征图输入到所述解码模块进行图像还原，得到所述三维图像。
[0027]在某些时候，解码模块对输入的特征图像的维度是有一定要求的，而该三维转换模块输出的第二特征图的维度不一定符合该要求，此时需要对该第二特征图的数据维度进行调整。
[0028]在本申请的一个实施例中，所述将所述三维图像与所述三维原图进行配准，得到所述二维原图与三维原图之间的配准结果，可以包括：
[0029]对所述三维图像进行图像分割，得到目标区域的点云数据；
[0030]将所述目标区域的点云数据和所述三维原图的点云数据进行配准，得到所述配准结果。
[0031]通常情况下，图像配准针对的是二维原图中的指定区域，因此，在获得二维原图对应的三维图像之后，可以先从该三维图像中分割出指定区域的点云数据，以分割出的点云数据作为基准进行图像配准。
[0032]本申请实施例的第二方面提供了一种图像配准装置，包括：
[0033]图像获取模块，用于获取目标物体的二维原图和三维原图；
[0034]图像转换模块，用于将所述二维原图转换为三维图像；
[0035]图像配准模块，用于将所述三维图像与所述三维原图进行配准，得到所述二维原
图与三维原图之间的配准结果。
[0036]本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例的第一方面提供的图像配准方法。
[0037]本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本申请实施例的第一方面提供的图像配准方法。
[0038]本申请实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行本申请实施例的第一方面所述的图像配准方法。
[0039]可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。
附图说明
[0040]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0041]图1是本申请实施例提供的一种图像配准方法的流程图；
[0042]图2是本申请实施例提供的一种图像转换神经网络的结构示意图；...

【技术保护点】

【技术特征摘要】
1.一种图像配准方法，其特征在于，包括：获取目标物体的二维原图和三维原图；将所述二维原图转换为三维图像；将所述三维图像与所述三维原图进行配准，得到所述二维原图与三维原图之间的配准结果。2.如权利要求1所述的方法，其特征在于，所述将所述二维原图转换为三维图像，包括：将所述二维原图输入已训练的图像转换神经网络中处理，输出所述三维图像。3.如权利要求2所述的方法，其特征在于，所述图像转换神经网络包括编码模块、三维转换模块和解码模块，所述将所述二维原图输入已训练的图像转换神经网络中处理，输出所述三维图像，包括：将所述二维原图输入到所述编码模块进行特征提取，得到第一特征图；将所述第一特征图输入到所述三维转换模块进行数据维度转换，得到第二特征图；将所述第二特征图输入到所述解码模块进行图像还原，得到所述三维图像。4.如权利要求3所述的方法，其特征在于，所述编码模块包括依次连接的二维卷积层和N个残差模块，所述解码模块包括依次连接的M个上卷积层和三维卷积层，M和N均为大于0的整数。5.如权利要求3所述的方法，其特征在于，所述第一特征图的维度包括第一维度、第二维度和第三维度，所述将所述第一特征图输入到所述三维转换模块进行数据维度转换，得到第二特征图，包括：将所述第一特征图在第一维度的数据划分为第一子维度的数据和第二子维度的数据；将所述第一子维度的数据、所述第二子维度的数据、所述第二维度的数据和所述第三维度的数据拼接，得到所述第二特征图。6....

【专利技术属性】
技术研发人员：李世博，张立海，胡颖，王宇，鲁少林，
申请(专利权)人：深圳市博为医疗机器人有限公司，
类型：发明
国别省市：