一种三维重建的方法、介质、装置和计算设备制造方法及图纸

本发明专利技术的实施方式提供了一种三维重建方法。该方法包括：基于第一图像和第一图像对应的第一深度图，创建第一图像的初始三维点云；将该初始三维点云重投影至共视图得到图像坐标，并判断该初始三维点云在所述共视图中是否可视；若该初始三维点云在共视图中可视，则将初始三维点云和图像坐标进行融合得到三维重建模型。本发明专利技术的方法通过共视图对三维点云进行优化，并将优化后的三维点云与初始三位点云进行融合，从而获得稠密的三维点云数据用以实现高精度的三维重建，提高了三维重建的准确性，降低了三维重建的成本。

【技术实现步骤摘要】
一种三维重建的方法、介质、装置和计算设备
本专利技术的实施方式涉及软件
，更具体地，本专利技术的实施方式涉及一种三维重建的方法、介质、装置和计算设备。
技术介绍
本部分旨在为权利要求书中陈述的本专利技术的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。在计算机等虚拟环境内生成物体的三维信息的方法主要有两类：一类是使用几何建模软件通过人机交互生成人为控制下的物体三维几何模型，这一类方法的的技术实现已经十分成熟，如3DMAX、Maya、AutoCAD、UG等软件均支持该技术，这些软件一般使用具有数学表达式的曲线曲面表示几何形状；另一类是通过一定的手段获取真实物体的几何形状，这一类方法的实现技术则通常被称为三维重建(3DReconstruction)。三维重建是一种对三维物体建立适用于计算机处理的数学模型的技术，也是在计算机环境下对三维物体进行处理和分析的基础，更是在计算机中建立用于表达客观世界的虚拟现实的关键技术。可以理解的，三维重建是指利用物体的二维投影恢复该物体的三维信息(形状等)的数学过程和计算机技术，包括数据获取、预处理、点云拼接(融合)和特征分析等步骤。如微软公司的KinectFusion等传统的三维重建技术是基于kinect等深度采集设备来采集深度图，由于深度采集设备采集到的深度图精度高、噪声小，该深度图可以直接投影至三维点云，通过三维点云的ICP配准来解算相机位姿，从而根据解算出的相机位姿进行点云融合、场景构建等过程实现三维重建。但受限于深度采集设备，传统的三维重建技术存在成本较高、设备体积大、应用场景较为局限等问题。为了解决上述问题，随着手机、运动相机、航拍无人机等移动设备的发展，如单目SLAM算法等基于机器视觉的单目相机建图技术应运而生。这项技术通常是通过机器视觉算法对相机进行定位跟踪，采用重投影、立体匹配等方法估计出该三维物体的深度信息来实现三维重建的，这使得这项技术可以解决上述传统的三维重建技术存在的问题。但这项技术仍存在以下几个缺陷：第一，单目相机无法获取其拍摄到的三维物体的尺度信息。第二，由于机器视觉算法无法获取到稠密的三维点云数据，因此通过这项技术仍无法实现稠密三维重建，即恢复三维物体的表面。综上，亟待设计一种三维重建技术，用于克服传统的三维重建技术和现有的单目相机建图技术存在的问题。
技术实现思路
传统的三维重建技术受限于深度采集设备，存在成本较高、设备体积大、应用场景较为局限等问题。而现有的单目相机建图技术通过采用重投影、立体匹配等方法估计出该三维物体的深度信息来实现三维重建的，这使得这项技术可以解决上述传统的三维重建技术存在的问题。但现有的单目相机建图技术仍存在以下几个缺陷：第一，单目相机无法获取其拍摄到的三维物体的尺度信息。第二，由于机器视觉算法无法获取到稠密的三维点云数据，因此通过这项技术仍无法实现稠密三维重建，即恢复三维物体的表面。为此，非常需要一种改进的三维重建的技术方案，用以克服现有的三维重建技术存在的技术问题。在本上下文中，本专利技术的实施方式期望提供一种三维重建的方法、装置、介质和计算设备。在本专利技术实施方式的第一方面中，提供了一种三维重建方法，包括：基于第一图像和第一图像对应的第一深度图创建第一图像的初始三维点云；将初始三维点云重投影至共视图得到图像坐标，并判断初始三维点云在共视图中是否可视；若初始三维点云在共视图中可视，则将初始三维点云和图像坐标进行融合得到三维重建模型。在本专利技术的一个实施例中，该方法还包括通过如下方法获取第一深度图：利用神经网络对第一图像进行拟合得到第一深度图，其中第一深度图包括第一图像中的三维物体的尺度信息和空间距离信息。在本专利技术的另一实施例中，该方法还包括通过如下方法对神经网络进行训练：输入用于训练的第二图像和第二图像对应的真值深度图，真值深度图包括第二图像中的三维物体的真实尺度信息和真实空间距离信息；利用神经网络对第二图像进行拟合得到第二深度图，第二深度图包括基于第二图像拟合出的三维物体的尺度信息和空间距离信息；对比真值深度图和第二深度图，对神经网络进行优化和训练。相应地，在本专利技术的一个实施例中，神经网络的基本网络结构所采用的模型为深度残差网络。相应地，在本专利技术的又一实施例中，神经网络中还包括用于估计每个像素点的深度信息的网络层。在本专利技术的再一个实施例中，该方法包括：基于第一图像和第一图像对应的第一深度图，创建第一图像的初始三维点云，包括：对第一图像和第一深度图进行求解得到初始位姿；将共视图作为第一图像的参考帧，对初始位姿进行优化得到相对位姿；根据相对位姿将第一图像投影至三维空间得到初始三维点云。在本专利技术的又一个实施例中，该方法包括：将初始三维点云重投影至共视图得到图像坐标，包括：根据相对位姿将初始三维点云重投影至共视图得到图像坐标。在本专利技术的还一个实施例中，该方法包括：判断初始三维点云在共视图中是否可视，包括：判断图像坐标是否处于共视图的边界内。若初始三维点云在共视图中可视，则将初始三维点云和图像坐标进行融合得到三维重建模型，包括：若图像坐标处于共视图的边界内，则将初始三维点云和图像坐标进行移动加权平均得到三维重建模型。在本专利技术实施方式的第二方面中，提供了一种三维重建装置，包括：创建单元，用于基于第一图像和第一图像对应的第一深度图创建第一图像的初始三维点云；投影单元，用于将初始三维点云重投影至共视图得到图像坐标；判断单元，用于判断初始三维点云在共视图中是否可视；融合单元，用于若初始三维点云在共视图中可视，则将初始三维点云和图像坐标进行融合得到三维重建模型。在本专利技术的一个实施例中，该装置还包括拟合单元，用于利用神经网络对第一图像进行拟合得到第一深度图，其中第一深度图包括第一图像中的三维物体的尺度信息和空间距离信息。在本专利技术的另一个实施例中，该装置还包括训练单元，用于输入用于训练的第二图像和第二图像对应的真值深度图，真值深度图包括第二图像中的三维物体的真实尺度信息和真实空间距离信息；利用神经网络对第二图像进行拟合得到第二深度图，第二深度图包括基于第二图像拟合出的三维物体的尺度信息和空间距离信息；对比真值深度图和第二深度图，对神经网络进行优化和训练。相应地，在本专利技术的一个实施例中，神经网络的基本网络结构所采用的模型为深度残差网络。相应地，在本专利技术的一个实施例中，神经网络中还包括用于估计每个像素点的深度信息的网络层。在本专利技术的再一个实施例中，创建单元具体用于：对第一图像和第一深度图进行求解得到初始位姿；将共视图作为第一图像的参考帧，对初始位姿进行优化得到相对位姿；根据相对位姿将第一图像投影至三维空间得到初始三维点云。在本专利技术的又一个实施例中，投影单元具体用于：根据相对位姿将初始三维点云重投影至共视图得到图像坐标。在本专利技术的还一个实施例中，判断单元具体用于：判断图像坐标是否处于共视图的边界内。融合单元具体用于：若图像坐标处于共视图的边界内，则将初始三维点云和图像坐标进行移动加权平均得到三维重建模型。在本专利技术实施方式的第三方面中，提供了一种介质，该介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行第一方面中任一实施例的方法。在本专利技术实施方式的第四方面中，提供了一种计算设备，包括处理器、存储器以及收发机；存储本文档来自技高网...

【技术保护点】
1.一种三维重建方法，其特征在于，包括：基于第一图像和所述第一图像对应的第一深度图，创建所述第一图像的初始三维点云；将所述初始三维点云重投影至共视图得到图像坐标，并判断所述初始三维点云在所述共视图中是否可视；若所述初始三维点云在所述共视图中可视，则将所述初始三维点云和所述图像坐标进行融合得到三维重建模型。

【技术特征摘要】
1.一种三维重建方法，其特征在于，包括：基于第一图像和所述第一图像对应的第一深度图，创建所述第一图像的初始三维点云；将所述初始三维点云重投影至共视图得到图像坐标，并判断所述初始三维点云在所述共视图中是否可视；若所述初始三维点云在所述共视图中可视，则将所述初始三维点云和所述图像坐标进行融合得到三维重建模型。2.如权利要求1所述的方法，其特征在于，通过如下方法获取所述第一深度图，还包括：利用神经网络对所述第一图像进行拟合得到所述第一深度图，其中所述第一深度图包括所述第一图像中的三维物体的尺度信息和空间距离信息。3.如权利要求2所述的方法，其特征在于，通过如下方法对所述神经网络进行训练，还包括：输入用于训练的第二图像和所述第二图像对应的真值深度图，所述真值深度图包括所述第二图像中的三维物体的真实尺度信息和真实空间距离信息；利用所述神经网络对所述第二图像进行拟合得到第二深度图，所述第二深度图包括基于所述第二图像拟合出的三维物体的尺度信息和空间距离信息；对比所述真值深度图和所述第二深度图，对所述神经网络进行优化和训练。4.如权利要求2或3所述的方法，其特征在于，所述神经网络的基本网络结构所采用的模型为深度残差网络。5.如权利要求1至4任一所述的方法，其特征在于，所述基于第一图像和所述第一图像对应的第一深度图，创建所述第一图像的初始三维点云，包括：对所述第一图像和所述第一深度图进行求解得到初始位姿；将所述共视图作为所述第一图像的参考帧，对所述初始位姿进行优化得到相对位姿；根据所述相对位...

【专利技术属性】
技术研发人员：王加芳，刘海伟，丛林，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：浙江,33