一种2D与3D图像配准方法及装置制造方法及图纸

本发明专利技术公开了一种2D与3D图像配准方法及装置，包括：获取待配准的一幅2D图像和一幅3D图像；将所述2D图像和3D图像输入预先训练的2D图像特征提取模型和3D图像特征提取模型中，获取同维度的包含空间信息的2D图像特征和3D图像特征；将所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征输入到预先训练的配准模型中，对所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征进行配准，得到配准所述2D图像与所述3D图像的空间变换；基于所述空间变换，将所述3D图像映射并叠加到所述2D图像对应空间位置上。本发明专利技术直接对图像对进行配准，无需配准前图像预处理，最大程度简化了2D和3D图像配准流程。简化了2D和3D图像配准流程。简化了2D和3D图像配准流程。

【技术实现步骤摘要】
一种2D与3D图像配准方法及装置


[0001]本专利技术涉及图像配准领域，尤其涉及2D与3D图像配准方法及装置。

技术介绍

[0002]2D图像和3D图像配准，即寻找一个空间变换，将2D图像和3D图像中相同的空间位置准确地叠加在一起的过程。2D和3D图像配准广泛应用于各种场景，比如在介入治疗、智能制造、机器人定位等领域，通常需要将预先已知的3D图像与实时获取的2D图像进行配准，以实现手术的精准导航、机械臂的安全自主交互、汽车的自主动态避障路径规划等功能。
[0003]现有2D与3D图像配准技术主要采用如下两种方案：1、将3D图像投影到2D空间生成2D投影图像，遍历所有可能的投影变换，构建一个投影图像库，然后从中寻找与待配准2D图像最为匹配的2D投影图像，从而实现2D与3D图像的配准。构建完整的投影图像库经常需要成百上千个小时，过程极为繁琐耗时。2、利用多张2D图像重建3D图像，通过匹配重建3D图像与待配准的3D图像，间接实现2D和3D图像的配准。现实中很难即时获得多张2D图像以重建3D图像，即使能获得少量2D图像，所重建的3D图像比较粗糙，进而影响2D与3D图像的最终配准精度。因此，亟需一种新的2D与3D图像配准技术，直接在2D与3D图像对上进行配准，以避开繁琐、耗时、难以满足条件等诸多配准前的预处理。

技术实现思路

[0004]为此，我们考虑将待配准的2D图像和3D图像分别拉伸为2D图像的1D特征序列和3D图像的1D特征序列，并将2D图像和3D图像的空间信息分别嵌入到各自的1D特征序列中，得到包含空间信息的2D图像1D特征序列和包含空间信息3D图像1D特征序列，然后配准包含空间信息的2D图像1D特征序列和包含空间信息3D图像1D特征序列，进而实现2D和3D图像的配准。如此便可以直接在2D和3D图像上进行配准，无需配准前的图像预处理过程。
[0005]有鉴于此，本专利技术提供了一种2D和3D图像配准方法，包括：获取待配准的一幅2D图像和一幅3D图像；将所述2D图像和3D图像分别输入预先训练的2D图像特征提取网络模型和3D图像特征提取网络模型中，获取包含空间信息的2D图像特征和3D图像特征，所述包含空间信息的2D图像特征与所述包含空间信息的3D图像特征具有相同的空间维度；将所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征输入到预先训练的配准模型中，对所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征进行配准，得到配准所述2D图像与所述3D图像的空间变换；基于所述空间变换，将所述3D图像映射并叠加到所述2D图像对应空间位置上。
[0006]基于上述配准方法，本专利技术还提供了一种2D和3D图像配准装置，包括：数据获取单元，用于：获取待配准的一幅2D图像和一幅3D图像；特征提取单元，用于：将所述2D图像和3D图像分别输入预先训练的2D图像特征提取网络模型和3D图像特征提取网络模型中，获取包含空间信息的2D图像特征和3D图像特
征，所述包含空间信息的2D图像特征与所述包含空间信息的3D图像特征具有相同的空间维度；图像配准单元，用于：将所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征输入到预先训练的配准模型中，对所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征进行配准，得到配准所述2D图像与所述3D图像的空间变换；图像叠加单元，用于：基于所述空间变换，将所述3D图像映射并叠加到所述2D图像对应空间位置上。
[0007]相对于现有2D与3D图像配准技术，本专利技术直接在输入的待配准图像对上进行图像配准，没有在配准前对待配准的2D图像或3D图像做任何的图像预处理，避开了繁琐、耗时、难以满足条件等诸多配准前的预处理工作，最大程度简化了2D和3D图像配准的流程。
附图说明
[0008]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
[0009]图1是本专利技术实施例1、实施例2、实施例3和实施例4提供的一种2D和3D图像配准方法流程示意图；图2是本专利技术实施例1和实施例2提供的特征提取模型示意图；图3是本专利技术实施例1和实施例3提供的配准模型示意图；图4是本专利技术实施例2和实施例4提供的配准模型示意图；图5是本专利技术实施例3和实施例4提供的特征提取模型示意图；图6是本专利技术实施例5、实施例6、实施例7和实施例8提供的一种2D和3D图像配准装置结构示意图；图7是本专利技术实施例5和实施例6提供的特征提取单元示意图；图8是本专利技术实施例5和实施例7提供的图像配准单元示意图；图9是本专利技术实施例6和实施例8提供的图像配准单元示意图；图10是本专利技术实施例7和实施例8提供的特征提取单元示意图。
具体实施方式
[0010]为使本专利技术的目的、技术手段和有益效果更加清楚完整，下面结合附图对本专利技术的具体实施方式进行描述。
[0011]实施例1本专利技术实施例提供了一种2D和3D图像配准方法，其流程示意图如图1所示，包括以下步骤：S1、获取待配准的一幅2D图像和一幅3D图像。
[0012]S2、将所述2D图像和3D图像分别输入预先训练的2D图像特征提取网络模型和3D图像特征提取网络模型中，获取包含空间信息的2D图像特征和3D图像特征，所述包含空间信息的2D图像特征与所述包含空间信息的3D图像特征具有相同的空间维度。
[0013]图2显示了S2中特征提取模型S21的网络结构：S211、2D图像特征提取网络模型S211，从所述2D图像间接提取包含有空间信息的2D图像1D特征，2D图像特征提取网络模型S211依次具体包括：S2111、2D图像2D特征提取模块，采用2D图像卷积神经网络提取2D图像2D特征，2D图像卷积神经网络由输入层、卷积层、激活函数、池化层、全连接层组成；S2112、2D图像维度转换模块，用于将所述2D图像2D特征转换成1D特征，采用公式（1）进行转换：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（1）这里表示2D图像2D特征， *为2D图像2D特征大小，d2表示2D图像2D特征的通道数； 表示转换后的2D图像1D特征， =*表示转换后的2D图像1D特征序列长度；S2113、2D图像1D特征与通道转置模块，采用公式（2）对2D图像特征与通道进行转置：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
（2）其中S2为转置前2D图像1D特征序列长度，d2为转置前2D图像1D特征的通道数, ,； 表示转置前的2D图像1D特征， 表示转置后的2D图像1D特征；S2114、2D图像位置嵌入模块，用于对所述转置后的2D图像1D特征的位置信息进行编码，并将位置编码嵌入到所述转置后的2D图像1D特征中；首先，采用如下公式进行位置编码：其中，PE表示位置编码函数； 为转置后2D图像1D特征的通道数；i表示特征值在2D图像1D特征序列中的位置，；j表示特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种2D与3D图像配准方法，其特征在于，包括：获取待配准的一幅2D图像和一幅3D图像；将所述2D图像和3D图像分别输入预先训练的2D图像特征提取网络模型和3D图像特征提取网络模型中，获取包含空间信息的2D图像特征和3D图像特征，所述包含空间信息的2D图像特征与所述包含空间信息的3D图像特征具有相同的空间维度；将所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征输入到预先训练的配准模型中，对所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征进行配准，得到配准所述2D图像与所述3D图像的空间变换；基于所述空间变换，将所述3D图像映射并叠加到所述2D图像对应空间位置上。2.根据权利要求1所述的方法，其特征在于，将所述2D图像和3D图像分别输入预先训练的2D图像特征提取网络模型和3D图像特征提取网络模型中，获取包含空间信息的2D图像特征和3D图像特征，所述包含空间信息的2D图像特征与所述包含空间信息的3D图像特征具有相同的空间维度，其中：所述2D图像特征提取网络模型从所述2D图像间接提取包含有空间信息的2D图像1D特征，所述2D图像特征提取网络模型依次具体包括：2D图像2D特征提取模块、2D图像维度转换模块、和2D图像位置嵌入模块，其中：所述2D图像2D特征提取模块，采用2D图像卷积神经网络提取2D图像2D特征，2D图像卷积神经网络由输入层、卷积层、激活函数、池化层、全连接层组成；所述2D图像维度转换模块，用于将所述2D图像2D特征转换成1D特征，采用公式（1）进行转换：（1）这里表示2D图像2D特征， *为2D图像2D特征大小，d2表示2D图像2D特征的通道数； 表示转换后的2D图像1D特征，=*表示转换后的2D图像1D特征序列长度；所述2D图像位置嵌入模块，用于对所述2D图像1D特征的位置信息进行编码，并将位置编码嵌入到所述2D图像的1D特征中；首先，采用如下公式进行位置编码：（2）（3）其中，PE表示位置编码函数；表示2D图像1D特征的通道数，即所述2D图像2D特征的通道数；i表示特征值在2D图像1D特征序列中的位置，; j表示特征值在2D图像1D特征通道中的位置，；然后，将位置编码嵌入到2D图像1D特征中，嵌入公式如下：
（4）其中， 表示2D图像1D特征，d2表示2D图像1D特征的通道数，X2表示嵌入位置编码后的2D图像1D特征；所述3D图像特征提取网络模型从所述3D图像间接提取包含有空间信息的3D图像1D特征，所述3D图像特征提取网络模型依次具体包括：3D图像3D特征提取模块、3D图像维度转换模块、和3D图像位置嵌入模块，其中：所述3D图像3D特征提取模块，采用3D图像卷积神经网络提取3D图像3D特征，3D图像卷积神经网络由输入层、卷积层、激活函数、池化层、全连接层组成；所述3D图像维度转换模块，用于将所述3D图像3D特征转换成1D特征，采用公式（5）进行转换：（5）这里表示3D图像3D特征，L3*W3*H3为3D图像3D特征大小，d3表示3D图像3D特征的通道数； 表示转换后的3D图像1D特征，=**表示转换后的3D图像1D特征长度；所述3D图像位置嵌入模块，用于对所述3D图像1D特征的位置信息进行编码，并将位置编码嵌入到所述3D图像1D特征中；首先，采用如下公式进行位置编码：（6）（7）其中，PE表示位置编码函数， 表示3D图像1D特征的通道数，即所述3D图像3D特征的通道数,i表示特征值在3D图像1D特征序列中的位置; j表示特征值在3D图像1D特征通道中的位置，；然后，将位置编码嵌入到3D图像1D特征中，嵌入公式如下：（8）其中，表示3D图像1D特征，表示3D图像1D特征的通道数， 表示嵌入位置编码后的3D图像1D特征。3.根据权利要求2所述的方法，其特征在于，在所述2D图像特征提取网络模型的维度转换模块和位置嵌入模块之间增加一个2D图像1D特征与通道转置模块，在所述3D图像特征提取网络模型的维度转换模块和位置嵌入模块之间增加一个3D图像1D特征与通道转置模块；采用公式（9）分别对2D图像和3D图像的1D特征与通道进行转置：
（9）其中S为转置前1D特征序列长度，d为转置前1D特征的通道数，；,X表示转置前的1D特征，XT表示转置后的1D特征；特征与通道转置之后，位置嵌入随之调整。4.根据权利要求1所述的方法，其特征在于，将所述2D图像和3D图像分别输入预先训练的2D图像特征提取网络模型和3D图像特征提取网络模型中，获取包含空间信息的2D图像特征和3D图像特征，所述包含空间信息的2D图像特征与所述包含空间信息的3D图像特征具有相同的空间维度，其中：所述2D图像特征提取网络模型从所述2D图像直接提取包含有空间信息的2D图像1D特征，所述2D图像特征提取网络模型具体包括：n1个2D图像处理单元和1个时间卷积单元；其中，每个2D图像处理单元由n2个卷积单元和1个最大池化单元组成；每个卷积单元又包括：一个卷积核大小为3*3和步长为1的卷积层、一个批标准化层和一个激活层；每个最大池化单元由一个卷积核大小为3*3、步长为2的最大池化层构成；每个时间卷积单元则由一个卷积核大小为n3*n3、步长为1的时间卷积层构成；n1、n2和n3的取值依据需要自行确定；所述3D图像特征提取网络模型从所述3D图像直接提取包含有空间信息的3D图像1D特征，所述3D图像特征提取网络模型具体包括：n4个3D图像处理单元和1个时间卷积单元；其中，每个3D图像处理单元由n5个卷积单元和1个最大池化单元组成；每个卷积单元又包括：一个卷积核大小为3*3*3和步长为1的卷积层、一个批标准化层和一个激活层；每个池化单元由一个卷积核大小为3*3*3、步长为2的最大池化层构成；每个时间卷积单元则由一个卷积核大小为n6*n6*n6、步长为1的时间卷积层构成；n4、n5和n6的取值依据需要自行确定。5.根据权利要求3或4所述的方法，其特征在于，将所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征输入到预先训练的配准模型中，对所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征进行配准，得到配准所述2D图像与所述3D图像的空间变换，其中，所述配准模型依次包括：特征长度归一化网络、特征交叉融合网络和空间变换计算网络；所述特征长度归一化网络；采用一维卷积网络，将所述包含空间信息的2D图像1D特征序列和所述包含空间信息的3D图像1D特征序列分别归一化为相同的序列长度；归一化后的序列长度取值靠近所述包含空间信息的2D图像1D特征序列长度和所述包含空间信息的3D图像1D特征序列长度的几何平均数，同时能被后述多头交叉注意力网络中的头数所整除；所述特征交叉融合网络；采用多头交叉注意力网络，学习从2D图像到3D图像的交叉融合特征和从3D图像到2D图像的交叉融合特征，具体包括：2D图像到3D图像交叉融合特征计算网络和3D图像到2D图像交叉融合特征计算网络：所述2D图像到3D图像交叉融合特征计算网络，采用2D到3D图像的多头交叉注意力网络，将长度归一化后的包含空间信息的2D图像1D特征传递给长度归一化后的包含空间
信息的3D图像1D特征，得到所述2D图像到所述3D图像的交叉融合特征，具体计算如下：（10）（11）（12）其中， LN表示层标准化，表示交叉注意力网络的头数，即传递次数，表示为将传递给的第头交叉注意力网络层，表示为将通过第头注意力网络传递给后得到的第头交叉融合特征，表示传递给的第头交叉融合特征，表示最终得到的传递给的第头交叉融合特征，，表示由θ参数化的第头交叉注意力网络的前馈层；将特征传递给特征的交叉注意力的计算公式如下：（13）其中，，和为待训练的交叉注意力网络参数；表示交叉注意力网络中键的通道数，具体取值依据模型需要自行设定；所述3D图像到2D图像交叉融合特征计算网络，采用3D到2D图像的多头交叉注意力网络，将长度归一化后的包含空间信息的3D图像1D特征传递给长度归一化后的包含空间信息的2D图像1D特征，得到所述3D图像到所述2D图像的交叉融合特征，具体计算如下：（14）（15）（16）其中， LN表示层标准化，表示交叉注意力网络的头数，即传递次数，表示为将传递给的第头交叉注意力网络层，表示为将通过第头注意力网络传递给后得到的第头交叉融合特征，表示传递给的第头交叉融合特征，表示最终得到的传递给的第头交叉融合特征，，表示由θ参数化的第头交叉注意力网络的前馈层；所述空间变换计算网络，用于计算配准所述2D图像与所述3D图像的空间变换，具体如
下：步骤A、将所述2D图像到3D图像的交叉融合特征与所述3D图像到2D图像的交叉融合特征组合为特征X，，组合特征X的序列长度保持所述归一化后的序列长度S0不变，组合特征X的通道数；表示交叉注意力网络中值的通道数，具体取值依据模型需要自行设定;步骤B、采用自注意力网络对组合特征X进行解析，组合特征X的自注意力计算公式如下：（17）其中，表示组合特征X经自注意力网络解析后得到的解析特征；，和为待训练的自注意力网络参数，d表示组合特征X的通道数；步骤C、先通过一个卷积层，将解析特征的通道数调整为1；再通过一个由全连接层、激活层、标准化层组成的全连接网络，输出配准所述2D图像与所述3D图像的空间变换。6.根据权利要求3或4所述的方法，其特征在于，将所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征输入到预先训练的配准模型中，对所述包含空间信息的2D图像特征及所述包含空间信息的3D图像特征进行配准，得到配准所述2D图像与所述3D图像的空间变换，其中：所述配准模型依次包括：特征通道归一化网络、特征组合网络、特征解析网络和空间变换输出网络，其中：所述特征通道归一化网络，用于将所述包含空间信息的2D图像1D特征通道和所述包含空间信息的3D图像1D特征通道归一化为相同的通道数；归一化后的通道数取值为所述包含空间信息的2D图像1D特征序列长度和所述包含空间信息的3D图像1D特征序列长度的几何平均数；所述特征组合网络，用于将所述包含空间信息的2D图像1D特征和所述包含空间信息的3D图像1D特征组合起来，得到组合特征；组合特征的通道数保持所述归一化后的通道数不变，组合特征的序列长度,S2和S3分别表示特征X2和X3的序列长度；所述特征解析网络，用于解析组合特征；采用组合特征的自注意力对进行解析，组合特征的自注意力计算公式如下：（18）其中，表示组合特征经自注意力网络解析后得到的解析特征；，和为待训练的自注意力网络参数，为所述组合特征的通道数；所述空间变换输出网络，用于输出配准空间变换；所述空间变换输出网络由一个卷积
层和一个全连接网络构成；先通过一个...

【专利技术属性】
技术研发人员：舒丽霞，李萌，蔺嫦燕，陈彧，濮欣，许尚栋，
申请(专利权)人：北京市心肺血管疾病研究所，
类型：发明
国别省市：