一种基于连续二维金属分布图像的可微并行三维重建方法技术

本发明专利技术公开了一种基于二维连续金属图像的可微并行三维重建方法，通过对连续二维分布金属图片进行数学建模以重建出金属的三维分布，对理解生物生理关键问题具有指导作用。本发明专利技术提出了一种结合空间信息和强度信息的可微并行配准方法，用来对连续二维金属分布图像进行三维重建，其创新点主要在两个地方：1)整个重建框架是可微且并行的，这极大地提高了重建效率；2)本发明专利技术将基于特征的配准和基于强度的配准相结合，从而提高了配准精度。从而提高了配准精度。从而提高了配准精度。

【技术实现步骤摘要】
一种基于连续二维金属分布图像的可微并行三维重建方法


[0001]本专利技术涉及图像算法
，具体是提出一种新型的连续金属分布图像的三维重建的方法。

技术介绍

[0002]检测金属元素在生物体中的空间分布是生命科学中很重要的一个领域，由于生物体是由器官以及其对应的微环境等各种三维结构组成的，研究金属在生命体中的三维分布则显得更为重要。由此可见，发展快速又准确的金属三维重建技术势在必行。
[0003]常见的三维成像方法是通过对连续二维分布金属图像进行数学建模以重建得到金属的三维分布。一般来说，从连续二维分布金属图像进行的三维重建的方法有两个步骤：首先，通过成像实验生成一个连续的连续二维分布金属图像数据集，用以显示多个金属元素的二维分布。第二步则是通过图像数据集的顺序对连续图像进行一对一的配准，具体来讲，这种一对一的配准方式是首先选择图像数据集中的一个图像作为目标图像，将相邻的图像作为源图像，通过空间信息或强度信息对这两张图像进行配准，一直重复上述过程到所有图像都配准完毕后，最终得到三维分布。
[0004]这种一对一顺序配准的方法存在三个问题：1)无法将图像特征信息和像素灰度信息一起考虑，2)目前的配准算法都是启发式方法，还没有一种可微分的框架，它可以使用基于梯度的优化方法，3)必须将源图像和目标图像一次匹配，当图像数量较大时，该方法会导致较大的时间成本。

技术实现思路

[0005]本专利技术针对现有技术的不足，提供一种可微且并行的三维重建算法，用来对连续二维金属分布图像进行三维重建。<br/>[0006]本专利技术提出了一种结合空间信息和强度信息的可微并行配准方法，用于连续二维分布金属图像的三维重建。通过这样做，本专利技术有两个优势：首先，本专利技术可以同时利用空间信息和强度信息，这一整合会使三维重建过程更加准确。其次，本专利技术提出一种可微分且并行的三维重建算法，该框架允许通过基于梯度的方法同时优化所有二维图像的参数，从而大大提高了时间效率；具体包括如下步骤：
[0007]步骤1，对所有二维金属分布图像进行预处理，得到每一张二维图像对应的特征点集和融合图像，并确定特征点集和融合图像在变换过程中的统一形变模型，所述融合图像是指将原始二维图像的多个通道的图像融合成的图像；
[0008]步骤2，评估通过形变模型转换后的相邻数据对的相似度损失，包括相邻两个特征点集对的相似度损失和相邻两张融合图像的相似度损失；
[0009]步骤3，基于平行可微分配准方法进行三维重建，重建的过程是将所有二维图像相邻数据对的相似度损失累加起来进行最小化而得到，同时为了防止配准过程陷入局部最优，采用现有的优化配准策略，重建最终的三维分布。
[0010]进一步的，步骤1中所述预处理包括，将任一金属元素对应的分布图像作为参考图像，然后提取每一张参考图像中某一区域的轮廓作为图像特征点集，并将分割结果作为所有元素的掩模；具体来说，是将所有二维金属分布图像的像素点展开为一维向量，然后将这些向量连接成一个整体，并使用高斯混合模型将这些像素分类为两个聚类，然后进行形态学操作，最后经过二分类处理后得到某一金属元素的掩模，然后利用UMAP算法将所有不同的二维金属分布图像融合成一个整体，得到每张二维金属分布图像的特征点集和融合图像。
[0011]进一步的，步骤1中所述形变模型为刚性变换模型或仿射变换模型或弹性形变模型。
[0012]进一步的，步骤1中，特征点集的变换过程是指通过将形变模型φ
j
作用到V
j
中的每个点，以得到新的特征点集而融合图像的变换过程则是需要首先求得然后通过求得变换后网格中每个位置在原图像网格中的对应点，通过插值得到其强度，从而求得变换后得图像；其中形变模型可微分，同时具有明确的逆变换形式；
[0013]相关符号说明如下：
[0014]表示从M张二维图像中提取的特征点数据集的集合，其中是属于点集j的N
j
个特征点；
[0015]表示M张图像的集合，其中U
j
是一个表示第j个二维图像的强度分布的二维矩阵；
[0016]表示M张二维图像变换模型的集合，通过将φ
j
应用于v
ji
则表示将v
ji
映射到新位置φ
j
(v
ji
)，φ
j
的逆变换则表示为v
ji
表示特征点集j的i个特征点。
[0017]进一步的，相邻特征点集对的相似度损失计算如下；
[0018]首先通过φ对V做映射得到也即将φ
j
作用于V
j
得到得到和为相邻特征点对；
[0019]采用高斯混合模型描述的分布，其具体形式为：其中表示上的第n个点，x表示二维平面上的变量，表示高斯分布的方差；
[0020]采用L2损失作为距离度量，因此对于从第j和第(j+1)个特征点集的距离可以计算为：
[0021][0022]进一步的，相邻两张融合图像损失的相似度计算如下；
[0023]首先通过φ对U做映射得到也即将作用于U
j
得到和即为相邻融合图象数据对，采用负局部互相关MCC函数进行相似度函数描述：和也为相邻二维图像转换后的强度判据，和为具有局部平均强度的映射图像，则有为具有局部平均强度的映射图像，则有其中p是某一张二维图像中的一个像素，将p
i
遍历一个n
×
n网格中的每个像素，这个过程可以看作是原图像和一个n
×
n的平滑均值滤波器做卷积，则最后和的局部最小相关系数则可写为：
[0024][0025]其中，MCC为负的局部互相关函数，Ω表示二维图像的所有像素。
[0026]进一步的，步骤3中相似度损失具体包括；
[0027]基于特征点的总损失函数为：
[0028][0029]基于图像强度的总损失函数为：
[0030][0031]将权重系数λ1和λ2引入来平衡空间信息和强度信息的重要性，因此，最终的损失函数表
[0032]示为：
[0033][0034]进一步的，步骤3中采用由粗到精的配准策略，将每一个高斯混合模型中的方差σ
j
都设为同一个值σs，并把σs取一组依次递减的值，同时负局部互相关函数中的平滑均值滤波器的核ks也取相同长度的依次递减的值，由此来执行由粗到精的配准过程。
[0035]本专利技术创新性地设计了一个可微并行重建模型从而提高了重建效率，并将基于特征的配准和基于强度的配准相结合从而提高了配准精度。本专利技术提出“源图像”和“目标图像”同等地位的配概念，并引入逆变换和计算图的方法，将所有配准参数视为一个完整的配准系统，并同时优化所有二维图像的变换参数，通过这种方式配准过程将大大加速，效率远高于逐片配准(一张张配准)的方法。
附图说明
[0036]图1是本专利技术实施例的预处理流程图。
[0037]图2本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于二维连续金属图像的可微并行三维重建方法，其特征在于：步骤1，对所有二维金属分布图像进行预处理，得到每一张二维图像对应的特征点集和融合图像，并确定特征点集和融合图像在变换过程中的统一形变模型，所述融合图像是指将原始二维图像的多个通道的图像融合成的图像；步骤2，评估通过形变模型转换后的相邻数据对的相似度损失，包括相邻两个特征点集对的相似度损失和相邻两张融合图像的相似度损失；步骤3，基于平行可微分配准方法进行三维重建，重建的过程是将所有二维图像相邻数据对的相似度损失累加起来进行最小化而得到，同时为了防止配准过程陷入局部最优，采用现有的优化配准策略，重建最终的三维分布。2.如权利要求1所述的一种基于二维连续金属图像的可微并行三维重建方法，其特征在于：步骤1中所述预处理包括，将任一金属元素对应的分布图像作为参考图像，然后提取每一张参考图像中某一区域的轮廓作为图像特征点集，并将分割结果作为所有元素的掩模；具体来说，是将所有二维金属分布图像的像素点展开为一维向量，然后将这些向量连接成一个整体，并使用高斯混合模型将这些像素分类为两个聚类，然后进行形态学操作，最后经过二分类处理后得到某一金属元素的掩模，然后利用UMAP算法将所有不同的二维金属分布图像融合成一个整体，得到每张二维金属分布图像的特征点集和融合图像。3.如权利要求1所述的一种基于二维连续金属图像的可微并行三维重建方法，其特征在于：步骤1中所述形变模型为刚性变换模型或仿射变换模型或弹性形变模型。4.如权利要求1所述的一种基于二维连续金属图像的可微并行三维重建方法，其特征在于：步骤1中，特征点集的变换过程是指通过将形变模型φ
j
作用到V
j
中的每个点，以得到新的特征点集而融合图像的变换过程则是需要首先求得然后通过求得变换后网格中每个位置在原图像网格中的对应点，通过插值得到其强度，从而求得变换后得图像；其中形变模型可微分，同时具有明确的逆变换形式；相关符号说明如下：表示从M张二维图像中提取的特征点数据集的集合，其中是属于点集j的N
j
个特征点；表示M张图像的集合，其中U
j
是一个表示第j个二维图像的强度分布的二维矩阵；表示M张二维图像变换模型的集合，通过将φ
j
应用于v
...

【专利技术属性】
技术研发人员：王纪科，祁朋远，
申请(专利权)人：武汉大学，
类型：发明
国别省市：