三维重建优化方法及装置、介质、设备制造方法及图纸

本发明专利技术提供一种三维重建优化方法及装置、介质、设备。方法包括：S1、确定相机对应的相机参数；S2、通过相机采集待重建场景，得到所述待重建场景在多个相机位姿下各自对应的第一图像，利用所述相机参数对所述第一图像进行畸变校正处理；S3、通过摄影测量三维重建技术建立所述待重建场景的初始的三维模型；S4、将当前的三维模型转换为在该相机位姿下二维的第二图像；S5、确定当前的三维模型中每一个三维点的置信度；S6、判断是否存在置信度低于预设阈值的三维点；若存在，则对置信度低于预设阈值的各个三维点所在的区域进行优化处理，并返回至S4；否则，将当前的三维模型作为优化完毕的三维模型。本发明专利技术实施例可以提高重建结果的精度。度。度。

【技术实现步骤摘要】
三维重建优化方法及装置、介质、设备


[0001]本专利技术涉及三维重建
，尤其是涉及一种三维重建优化方法及装置、介质、设备。

技术介绍

[0002]三维重建是一种利用计算机技术从现实世界数据中恢复三维结构的过程，可应用于建筑、工程、医学、文化遗产保护、虚拟现实、游戏等领域。其中，摄影测量三维重建技术是建立在计算机视觉、数字图像处理和测量学等多个领域的基础上，通过一系列二维图像可以快速、准确地获取物体的三维形态和几何信息，建立起数字孪生虚拟世界与真实物理世界之间的精确映射关系。
[0003]在实景三维重建过程中，生成的三维模型通常会存在一定程度的畸变、残缺以及其他与实际场景不符的缺陷，这些缺陷将导致无法精确刻画真实世界场景，并对后续基于所生成模型的开发利用过程产生不良影响。因此基于有限的图像信息优化重建模型以建立高保真的虚拟场景具有重要的理论价值与实际应用价值，有利于摄像测量三维重建优化方法的推广。

技术实现思路

[0004]针对以上至少一个技术问题，本专利技术实施例提供一种三维重建优化方法及装置、介质、设备。
[0005]根据第一方面，本专利技术实施例提供的三维重建优化方法，包括：
[0006]S1、确定相机对应的相机参数；
[0007]S2、通过相机采集待重建场景，得到所述待重建场景在多个相机位姿下各自对应的第一图像，利用所述相机参数对所述第一图像进行畸变校正处理；
[0008]S3、基于畸变校正后的各个第一图像，通过摄影测量三维重建技术建立所述待重建场景的初始的三维模型；
[0009]S4、根据每一个相机位姿，将当前的三维模型转换为在该相机位姿下二维的第二图像；
[0010]S5、根据在各个相机位姿下各自对应的所述第一图像和所述第二图像，确定当前的三维模型中每一个三维点的置信度；
[0011]S6、判断是否存在置信度低于预设阈值的三维点；
[0012]若存在，则对置信度低于预设阈值的各个三维点所在的区域进行优化处理，并返回至S4；
[0013]否则，将当前的三维模型作为优化完毕的三维模型。
[0014]根据第二方面，本专利技术实施例提供的三维重建装置，包括：
[0015]参数确定模块，用于执行S1、确定相机对应的相机参数；
[0016]图像校正模块，用于执行S2、通过相机采集待重建场景，得到所述待重建场景在多
个相机位姿下各自对应的第一图像，利用所述相机参数对所述第一图像进行畸变校正处理；
[0017]三维重建模块，用于执行S3、基于畸变校正后的各个第一图像，通过摄影测量三维重建技术建立所述待重建场景的初始的三维模型；
[0018]二维转换模块，用于执行S4、根据每一个相机位姿，将当前的三维模型转换为在该相机位姿下二维的第二图像；
[0019]置信确定模块，用于执行S5、根据在各个相机位姿下各自对应的所述第一图像和所述第二图像，确定当前的三维模型中每一个三维点的置信度；
[0020]置信判断模块，用于执行S6、判断是否存在置信度低于预设阈值的三维点；若存在，则对置信度低于预设阈值的各个三维点所在的区域进行优化处理，并返回至所述二维转换模块中执行S4；否则，将当前的三维模型作为优化完毕的三维模型。
[0021]根据第三方面，本专利技术实施例提供计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行实现第一方面提供的方法。
[0022]根据第四方面，本专利技术实施例提供的计算设备，包括存储器和处理器，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面提供的方法。
[0023]本专利技术实施例提供的三维重建优化方法及装置、介质、设备，首先对第一图像进行畸变校正，在校正之后利用各个第一图像，通过摄影测量三维重建技术建立所述待重建场景的初始的三维模型；然后将三维模型转换为在每一个相机位姿下的第二图像，基于同一个相机位姿的第一图像和第二图像确定三维模型中各个三维点的置信度，进而根据置信度评估三维点的保真度，对于三维模型中置信度较低的三维点所在的区域进行优化，重新进行迭代评估，直到得到一个不存在置信度低于预设阈值的三维点的三维模型。可见，在优化过程中充分利用了第一图像的信息，将第二图像和第一图像进行对比，并根据对比结果确定三维模型中各个三维点的综合的置信度，实现对各个三维点的保真度的评估。对于置信度低于预设阈值的区域重新开展模型重建与优化工作，如此迭代直到重建的三维模型满足标准。通过本专利技术实施例提供的方法可以摄影测量三维重建技术得到的三维模型的局部缺陷问题，提高三维模型的局部细节保真度，从而在有限图像信息输入的前提下提高重建结果的精度。
附图说明
[0024]图1为本专利技术一实施例中三维重建优化方法的流程示意图；
[0025]图2为本专利技术一实施例中三维重建优化方法中S3的具体流程示意图。
具体实施方式
[0026]第一方面，本专利技术实施例提供一种三维重建优化方法，参见图1，该方法包括如下步骤S1～S6：
[0027]S1、确定相机对应的相机参数；
[0028]其中，相机参数是指相机内参。相机在拍摄出来的图像实际上存在一些畸变，可以通过相机内参对畸变进行校正，从而得到比较真实的图像。
[0029]其中，相机可以采用高分辨率的相机。
[0030]在一个实施例中，所述确定相机对应的相机参数，具体可以包括：采用所述相机从多个角度多个距离拍摄相机标定板；基于拍摄的相机标定板图像，并利用张正友标定法确定该相机的相机参数。
[0031]也就是说，利用相机从多个角度和多个距离拍摄相机标定板，得到多个角度、多个距离的相机标定板图像，进而基于这些相机标定板图像，并采用张正友标定法获取相机内参。
[0032]其中，张正友标定法可以参考相关文献，此处不详细介绍。
[0033]S2、通过相机采集待重建场景，得到所述待重建场景在多个相机位姿下各自对应的第一图像，利用所述相机参数对所述第一图像进行畸变校正处理；
[0034]其中，待重建场景是指需要重建三维模型的场景。
[0035]也就是说，利用相机在多个相机位姿下对待重建场景进行拍摄，得到多个第一图像。然后利用S1中确定的相机参数对第一图像进行畸变校正，从而得到畸变校正后的第一图像。
[0036]当然，除了拍摄第一图像之外，还可以利用相机进行视频录制，然后对视频按照一定的帧率进行提取，得到多个第一图像，将各个第一图像进行打包，得到用于三维模型重建的第一图像集。
[0037]S3、基于畸变校正后的各个第一图像，通过摄影测量三维重建技术建立所述待重建场景的初始的三维模型；
[0038]也就是说，利用摄影测量三维重建技术建立的是一个初始的三维模型，后续需要对初始的三维模型进行调整优化，得到优化的三维模型。
[0039]在一个实施例中，参见图2，S3具体可以包括：
[0040]S31本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维重建优化方法，其特征在于，包括：S1、确定相机对应的相机参数；S2、通过相机采集待重建场景，得到所述待重建场景在多个相机位姿下各自对应的第一图像，利用所述相机参数对所述第一图像进行畸变校正处理；S3、基于畸变校正后的各个第一图像，通过摄影测量三维重建技术建立所述待重建场景的初始的三维模型；S4、根据每一个相机位姿，将当前的三维模型转换为在该相机位姿下二维的第二图像；S5、根据在各个相机位姿下各自对应的所述第一图像和所述第二图像，确定当前的三维模型中每一个三维点的置信度；S6、判断是否存在置信度低于预设阈值的三维点；若存在，则对置信度低于预设阈值的各个三维点所在的区域进行优化处理，并返回至S4；否则，将当前的三维模型作为优化完毕的三维模型。2.根据权利要求1所述的方法，其特征在于，所述确定相机对应的相机参数，包括：采用所述相机从多个角度多个距离拍摄相机标定板；基于拍摄的相机标定板图像，并利用张正友标定法确定该相机的相机参数。3.根据权利要求1所述的方法，其特征在于，所述通过摄影测量三维重建技术建立所述待重建场景的初始的三维模型，包括：对畸变校正后的各个第一图像分别进行特征提取，并将包含相同特征最多的每两个第一图像作为一个图像对；对每一个图像对进行特征匹配，以使该图像对中两个第一图像中的像素点通过所述待重建场景中的真实位置点进行映射；根据每一个图像对的特征匹配结果，确定该图像对的两个第一图像之间的基础矩阵，并利用该基础矩阵确定该图像对对应的位姿矩阵；根据该位姿矩阵和相机参数，对该图像对进行校正；根据校正后的该图像对，生成三维点坐标对应的稀疏点云；根据各个图像对对应的稀疏点云，利用立体匹配算法进行稠密重建，得到各个图像对各自对应的深度图，将各个图像对对应的各个深度图进行融合，得到所述待重建场景的全部点云；根据所述待重建场景的全部点云生成网格，并对所述网格进行滤波；根据校正后的图像对和相机位姿，生成UV纹理贴图；通过空间位置匹配算法将所述UV纹理贴图和滤波后的网格进行融合，得到所述初始的三维模型。4.根据权利要求1所述的方法，其特征在于，所述将当前的三维模型转换为在该相机位姿下二维的第二图像，包括：针对每一个相机位姿，构建对应的透视投影矩阵；根据每一个相机位姿对应的透视投影矩阵，将当前的三维模型中的各个三维点投影变换到相机焦平面上；将所述相机焦平面中各个投影点保存为一个RGB图像，将该RGB图像作为在该相机位姿下二维的第二图像，所述第二图像和在该相机位姿下的第一图像具有相同的尺寸和分辨
率。5.根据权利要求1所述的方法，其特征在于，所述确定当前的三维模型中每一个三维点的置信度，包括：将每一个相机位姿对应的第一图像和第二图像进行像素点对齐，并计算第一图像和第二图像中对应像素点之间的三通道颜色差值；根据所述第二图像中每一个像素点对应的三通道颜色差值和三通道各...

【专利技术属性】
技术研发人员：张雲策，王建华，郭运艳，孔令兴，
申请(专利权)人：山东浪潮科学研究院有限公司，
类型：发明
国别省市：