一种快速目标三维重建方法及装置制造方法及图纸

本发明专利技术公开了一种快速目标三维重建方法，属于多视图三维重建技术领域。该方法包括网格重建的步骤，所述网格重建包括以下步骤：S1、将稀疏重建得到的稀疏点云体素化，并将体素网格化为顶点颜色未知的粗糙网格；S2、对所述多视图图像序列中的每幅图像I

【技术实现步骤摘要】
一种快速目标三维重建方法及装置


[0001]本专利技术涉及一种目标三维重建方法，属于多视图三维重建


技术介绍

[0002]针对某一目标的多视图三维重建流程通常包括稀疏重建和之后的网格重建，其中，稀疏重建是通过对目标的多视图图像序列进行特征检测和特征匹配，并根据特征匹配结果计算得到目标的稀疏点云和相机位姿；网格重建则是在稀疏重建基础上进一步得到目标更精细的网格结构特征及纹理特征。
[0003]现有多视图三维重建技术的网格重建通常包括稠密重建、网格几何结构重建和纹理重建。其中稠密重建采用深度估计、法线估计算法预测出图像中每个像素的深度和法线方向，从而得到每个像素在空间中的位置，即未经处理的稠密点云，再利用点云融合算法对这些点云进行过滤和融合，得到处理后的稠密点云。网格几何结构重建采用泊松曲面重建或Delaunay三角化算法将处理后的稠密点云转变为网格。最后纹理重建结合相机位姿将网格投影到图像空间提取纹理。显然，现有的网格重建方法存在步骤繁琐复杂的问题，总的耗时很长。
[0004]另一方面，稀疏重建首先需要进行特征检测和特征匹配；特征检测步骤从每张图像中检测出特征点和对应的描述符（descriptor），特征点一般为图像内容中的角点、交叉点、闭合区域中心点等显著可区分的点，描述符为对应点的特征。特征匹配步骤从图像序列中选取两张图像，根据描述符对两组特征点集进行匹配，再根据匹配到的特征点计算二者的相机相对位姿。多视图数据的拍摄方式通常为拍摄设备环绕目标拍摄多圈，空间上相近的图像能够较好地匹配。拍摄的图像虽在时间上具备连续性，但缺少准确的GPS信息，所以无法直接找出与某一张图像空间位置相近的所有图像。现有的特征匹配逻辑通常为顺序匹配或乱序匹配。顺序匹配方法是将当前图像与时间上相近的若干帧图像进行匹配，但由于图像序列是环绕拍摄的，很多空间上位置上相近的图像，可能时间上并不相邻，导致部分图像无法很好地匹配。而乱序匹配是将任意两张图像都进行匹配，这样虽然保证了所有空间上相近的帧都不会被忽略，但N幅图像需匹配N(N
‑
1)次，耗时过长。

技术实现思路

[0005]本专利技术所要解决的技术问题在于克服现有技术所存在的网格重建过程繁琐耗时的不足，提供一种可快速完成网格重建过程的快速目标三维重建方法。
[0006]本专利技术具体采用以下技术方案解决上述技术问题：一种快速目标三维重建方法，包括对目标的多视图图像序列进行稀疏重建，得到目标的稀疏点云和相机位姿的步骤，以及其后的网格重建以得到目标三维模型的步骤，所述网格重建包括以下步骤：S1、将稀疏重建得到的稀疏点云体素化，并将体素网格化为顶点颜色未知的粗糙网格；
S2、对所述多视图图像序列中的每幅图像I
i
进行显著性检测，得到图像I
i
的目标掩模M
i
，i=1,2,...,N，N为所述多视图图像序列的图像数量；S3、使用第一可微渲染方法对粗糙网格中的顶点颜色进行优化，得到粗糙网格中各顶点的初步颜色；在所述第一可微渲染方法中，以所述多视图图像序列中所有图像的目标掩模内的平均像素颜色作为粗糙网格中各顶点的初始化颜色，并以作为损失函数，其中，R
i
为图像I
i
的渲染图像，函数表示计算图像的像素值之和；S4、使用第二可微渲染方法对粗糙网格中的顶点位置和顶点颜色同时进行优化，得到最终的目标三维模型；在所述第二可微渲染方法中，以S1中所得到粗糙网格的顶点位置作为各顶点的初始位置，以S3所得到的各顶点的初步颜色作为各顶点的初始颜色，并以作为损失函数，其中，为图像I
i
的渲染图像，函数表示计算图像的像素值之和。
[0007]进一步优选地，在进行稀疏重建时，使用以下方法进行特征匹配：对于所述多视图图像序列中的第i幅图像I
i
，首先将其与其后的第i+s、i+2s、i+3s、
…
i+ns张图像分别进行特征匹配，并从匹配成功的图像中选出匹配到的特征点数大于特征点数阈值且/或匹配度大于匹配度阈值的图像作为图像I
i
的相机位姿相近图像；然后，将图像I
i
与其后的w张图像以及图像I
i
的相机位姿相近图像的前w张图像和后w张图像分别进行特征匹配；其中，s为大于2的整数，i=1,2,...,N，i+ns<N ，0<w<s ，N为所述多视图图像序列的图像数量。
[0008]优选地，在进行稀疏重建时，使用SuperPoint算法提取图像序列中每张图像中的特征点和特征描述子。优选地，使用SuperGlue算法进行所述特征匹配。
[0009]优选地，在进行稀疏重建时，使用增量SFM算法计算出目标的稀疏点云和相机位姿。
[0010]优选地，使用Open3d工具库的VoxelGrid. create_from_point_cloud方法将稀疏重建得到的稀疏点云体素化，使用Marching Cube算法将体素网格化。
[0011]基于同一专利技术构思还可以得到以下技术方案：一种快速目标三维重建装置，包括用于对目标的多视图图像序列进行稀疏重建，以得到目标的稀疏点云和相机位姿的稀疏重建单元，以及用于进行网格重建以得到目标三维模型的网格重建单元，其特征在于，所述网格重建单元包括：网格化模块，用于将稀疏重建得到的稀疏点云体素化，并将体素网格化为顶点颜色未知的粗糙网格；显著性检测模块，用于对所述多视图图像序列中的每幅图像I
i
进行显著性检测，得到图像I
i
的目标掩模M
i
，i=1,2,...,N，N为所述多视图图像序列的图像数量；第一可微渲染优化模块，用于使用第一可微渲染方法对粗糙网格中的顶点颜色进行优化，得到粗糙网格中各顶点的初步颜色；在所述第一可微渲染方法中，以所述多视图图像序列中所有图像的目标掩模内的平均像素颜色作为粗糙网格中各顶点的初始化颜色，并以作为损失函数，其中，R
i
为图像I
i
的渲染图像，函数表示计
算图像的像素值之和；第二可微渲染优化模块，用于使用第二可微渲染方法对粗糙网格中的顶点位置和顶点颜色同时进行优化，得到最终的目标三维模型；在所述第二可微渲染方法中，以S1中所得到粗糙网格的顶点位置作为各顶点的初始位置，以S3所得到的各顶点的初步颜色作为各顶点的初始颜色，并以作为损失函数，其中，为图像I
i
的渲染图像，函数表示计算图像的像素值之和。
[0012]进一步优选地，稀疏重建单元包括特征匹配模块，用于使用以下方法进行特征匹配：对于所述多视图图像序列中的第i幅图像I
i
，首先将其与其后的第i+s、i+2s、i+3s、
…
i+ns张图像分别进行特征匹配，并从匹配成功的图像中选出匹配到的特征点数大于特征点数阈值且/或匹配度大于匹配度阈值的图像作为图像I
i
的相机位姿本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种快速目标三维重建方法，包括对目标的多视图图像序列进行稀疏重建，得到目标的稀疏点云和相机位姿的步骤，以及其后的网格重建以得到目标三维模型的步骤，其特征在于，所述网格重建包括以下步骤：S1、将稀疏重建得到的稀疏点云体素化，并将体素网格化为顶点颜色未知的粗糙网格；S2、对所述多视图图像序列中的每幅图像I
i
进行显著性检测，得到图像I
i
的目标掩模M
i
，i=1,2,...,N，N为所述多视图图像序列的图像数量；S3、使用第一可微渲染方法对粗糙网格中的顶点颜色进行优化，得到粗糙网格中各顶点的初步颜色；在所述第一可微渲染方法中，以所述多视图图像序列中所有图像的目标掩模内的平均像素颜色作为粗糙网格中各顶点的初始化颜色，并以作为损失函数，其中，R
i
为图像I
i
的渲染图像，函数表示计算图像的像素值之和；S4、使用第二可微渲染方法对粗糙网格中的顶点位置和顶点颜色同时进行优化，得到最终的目标三维模型；在所述第二可微渲染方法中，以S1中所得到粗糙网格的顶点位置作为各顶点的初始位置，以S3所得到的各顶点的初步颜色作为各顶点的初始颜色，并以作为损失函数，其中，为图像I
i
的渲染图像，函数表示计算图像的像素值之和。2.如权利要求1所述快速目标三维重建方法，其特征在于，在进行稀疏重建时，使用以下方法进行特征匹配：对于所述多视图图像序列中的第i幅图像I
i
，首先将其与其后的第i+s、i+2s、i+3s、
…
i+ns张图像分别进行特征匹配，并从匹配成功的图像中选出匹配到的特征点数大于特征点数阈值且/或匹配度大于匹配度阈值的图像作为图像I
i
的相机位姿相近图像；然后，将图像I
i
与其后的w张图像以及图像I
i
的相机位姿相近图像的前w张图像和后w张图像分别进行特征匹配；其中，s为大于2的整数，i=1,2,...,N，i+ns<N ，0<w<s ，N为所述多视图图像序列的图像数量。3.如权利要求2所述快速目标三维重建方法，其特征在于，在进行稀疏重建时，使用SuperPoint算法提取图像序列中每张图像中的特征点和特征描述子。4.如权利要求2所述快速目标三维重建方法，其特征在于，使用SuperGlue算法进行所述特征匹配。5.如权利要求2所述快速目标三维重建方法，其特征在于，在进行稀疏重建时，使用增量SFM算法计算出目标的稀疏点云和相机位姿。6.如权利要求2所述快速目标三维重建方法，其特征在于，使用Open3d工具库的VoxelGrid. create_from_point_cloud方法将稀疏重建得到的稀疏点云体素化，使用Marching Cube算法将体素网格化。7.一种快速目标三维重建装置，包括用于对目标的多视图图像序列进行稀...

【专利技术属性】
技术研发人员：杨帆，郝强，潘鑫淼，孙宇飞，胡建国，
申请(专利权)人：小视科技江苏股份有限公司，
类型：发明
国别省市：