三维重建方法及装置制造方法及图纸

本申请提供了一种三维重建方法与三维重建装置，涉及计算机视觉领域。该方法包括：根据图像的目标语义标签将初始深度图中的平面区域转换为对应的平面的点云，根据平面的点云即可确定平面的平面参数，进而根据平面参数得到初始深度图中的平面区域的像素在空间中对应的三维点，以构建图像中的平面区域对应的点云。本申请的方案能够提高平面区域的三维重建的精度以及稠密度。的精度以及稠密度。的精度以及稠密度。

【技术实现步骤摘要】
三维重建方法及装置


[0001]本申请涉及计算机视觉领域，尤其涉及一种三维重建方法及装置。

技术介绍

[0002]计算机视觉是各个应用领域，如制造业、检验、文档分析、医疗诊断，和军事等领域中各种智能/自主系统中不可分割的一部分，它是一门关于如何运用照相机/摄像机和计算机来获取我们所需的，被拍摄对象的数据与信息的学问。形象地说，就是给计算机安装上眼睛(照相机/摄像机)和大脑(算法)用来代替人眼对目标进行识别、跟踪和测量等，从而使计算机能够感知环境。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。总的来说，计算机视觉就是用各种成象系统代替视觉器官获取输入信息，再由计算机来代替大脑对这些输入信息完成处理和解释。计算机视觉的最终研究目标就是使计算机能像人那样通过视觉观察和理解世界，具有自主适应环境的能力。
[0003]随着增强现实(augmented reality，AR)技术的发展，新型的AR应用层出不穷，其中，与现实场景相关的交互离不开场景的三维(three dimensional，3D)稠密重建。当前的主流的3D稠密重建方案主要包括基于激光的3D稠密重建和基于图像的3D稠密重建。基于激光的3D稠密重建使用激光设备对环境进行扫描，获取精度很高的深度图，然后将深度图融合得到最终的稠密点云。该方案得到的点云精度很高，但是，激光设备的体积较大，使用过程繁琐，基于激光的3D稠密重建方案存在成本高、效率低等缺点。基于图像的3D稠密重建方案中，利用采集设备，例如，手机，采集图像序列，然后通过算法处理得到稠密点云。该方案具有采集效率高、成本低、精度高以及支持3D建图
‑
定位紧耦合等优点，具有非常广阔的应用前景。目前，有很多开源方案能够实现基于图像的3D稠密重建，例如，OpenMVS、colmap、PMVS、MVSNet等。
[0004]然而，现有的基于图像的3D稠密重建的方案中，平面区域等弱纹理区域上估计出的深度值不准确，在滤波阶段会被滤除，进而导致融合后得到的点云上会形成空洞，即无法重建出准确的点云。
[0005]因此，如何提高平面区域的三维重建效果成为一个亟待解决的问题。

技术实现思路

[0006]本申请提供一种三维重建方法及装置，能够提高平面区域的三维重建效果。
[0007]第一方面，提供了一种三维重建方法，包括：获取多帧图像对应的初始深度图；获取该多帧图像对应的初始深度图的目标语义标签，该目标语义标签包括第一语义标签，第一语义标签用于指示多帧图像对应的初始深度图中具有第一语义标签的像素属于第一平面；将多帧图像对应的初始深度图中具有第一语义标签的像素转换为三维点，得到第一平面的点云；将多帧图像对应的初始深度图转换为多帧图像对应的点云，其中，多帧图像包括第一图像，第一图像中的第一像素对应的三维点为第一直线与第一平面的交点，第一像素
具有第一语义标签，第一直线是根据第一图像的位姿和第一像素在第一图像中的位置确定的；将多帧图像对应的点云进行融合，得到融合后的目标点云。
[0008]在本申请实施例的方案中，根据图像的目标语义标签将初始深度图中的平面区域转换为对应的平面的点云，根据平面的点云即可确定平面的平面参数，进而根据平面参数得到平面区域中的像素在空间中对应的三维点，通过该方式能够得到平面区域对应的较为准确的三维点，避免弱纹理的平面区域的点云中出现空洞，有利于提高三维重建的精度以及稠密度。
[0009]而且，二维图像数据更易采集，本申请实施例的方案中的多帧图像为二维图像，有利于降低数据采集成本。
[0010]二维图像指的是不包括深度信息的平面图像，例如，RGB图像。
[0011]多帧图像对应的初始深度图是对多帧图像进行处理得到的。多帧图像中的像素与初始深度图中的像素是一一对应的。
[0012]示例性地，图像的语义标签可以为平面语义标签，像素的平面语义标签用于指示该像素所属的平面。
[0013]例如，像素的平面语义标签的值为0，则该像素不位于平面上，若像素的平面语义标签的值为非零值，则该像素位于某个平面上。进一步地，若两个像素的平面语义标签的值相同，则该两个像素位于同一个平面上。
[0014]具有第一语义标签的像素可以位于一帧图像中，也可以位于多帧图像中。
[0015]平面的点云和目标语义标签之间具有对应关系。第一平面的点云也可以理解为第一语义标签对应的点云。
[0016]结合第一方面，在第一方面的某些实现方式中，将多帧图像对应的初始深度图转换为多帧图像对应的点云，包括：更新多帧图像对应的初始深度图的深度值，得到多帧图像对应的目标深度图，其中，第一图像对应的目标深度图中的第一像素的深度值是根据第一图像的位姿将第一像素对应的三维点投影至第一图像对应的目标深度图上得到的；将多帧图像对应的目标深度图转换为多帧图像对应的点云。
[0017]根据本申请实施例的方案，根据语义标签将初始深度图中的平面区域转换为对应的点云，进而根据该点云的平面参数得到平面区域中的像素的实际深度值，以更新初始深度图中的平面区域的深度值，从而得到弱纹理的平面区域中较为准确的深度信息，有利于提高三维重建的精度以及稠密度。
[0018]结合第一方面，在第一方面的某些实现方式中，目标语义标签是通过对多帧图像进行图像语义分割处理得到的。
[0019]结合第一方面，在第一方面的某些实现方式中，多帧图像属于图像序列，以及目标语义标签是通过对图像序列中的初始语义标签进行合并得到的，图像序列中的图像的初始语义标签是通过对图像进行图像语义分割处理得到的，其中，第一语义标签是根据第一图像中的第一初始语义标签和在图像序列中的第二图像中的第二语义标签合并后得到的语义标签确定的，合并后得到的语义标签是在第一图像中的第一初始语义标签对应的第一区域与第二图像中的第二初始语义标签对应的第二区域至少部分重叠的情况下，将第一初始语义标签和第二初始语义标签合并得到的。
[0020]根据本申请实施例的方案，对图像序列中的初始语义标签进行合并得到全局标
签，将该多帧图像的全局标签作为目标语义标签，以便于从多帧图像中提取出属于同一个平面的三维点，即将属于同一平面的像素转换为同一个点云，增加了一个语义标签对应的像素的数量，解决了单帧图像中可能存在的部分平面语义标签所对应的区域有效像素较少或者像素值不准确的问题，提高了转换后得到的点云的准确性，进而提高了平面参数的准确性，进一步提高了三维重建的精度。
[0021]第一图像的初始语义标签包括第一初始语义标签，第二图像的初始语义标签包括第二初始语义标签。
[0022]结合第一方面，在第一方面的某些实现方式中，多帧图像属于图像序列，以及目标语义标签是通过对图像序列中的初始语义标签进行合并得到的，图像序列中的图像的初始语义标签是通过对图像进行图像语义分割处理得到的，其中，第一语义标签是根据第一图像中的第一初始语义标签和在图像序列中与第一图像相本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维重建方法，其特征在于，包括：获取多帧图像对应的初始深度图；获取所述多帧图像对应的初始深度图的目标语义标签，所述目标语义标签包括第一语义标签，所述第一语义标签用于指示所述多帧图像对应的初始深度图中具有所述第一语义标签的像素属于第一平面；将所述多帧图像对应的初始深度图中具有所述第一语义标签的像素转换为三维点，得到所述第一平面的点云；将所述多帧图像对应的初始深度图转换为所述多帧图像对应的点云，其中，所述多帧图像包括第一图像，所述第一图像中的第一像素对应的三维点为第一直线与所述第一平面的交点，所述第一像素具有所述第一语义标签，所述第一直线是根据所述第一图像的位姿和所述第一像素在所述第一图像中的位置确定的；将所述多帧图像对应的点云进行融合，得到融合后的目标点云。2.根据权利要求1所述的方法，其特征在于，所述将所述多帧图像对应的初始深度图转换为所述多帧图像对应的点云，包括：更新所述多帧图像对应的初始深度图的深度值，得到所述多帧图像对应的目标深度图，其中，所述第一图像对应的目标深度图中的第一像素的深度值是根据所述第一图像的位姿将所述第一像素对应的三维点投影至所述第一图像对应的目标深度图上得到的；将所述多帧图像对应的目标深度图转换为所述多帧图像对应的点云。3.根据权利要求1或2所述的方法，其特征在于，所述目标语义标签是通过对所述多帧图像进行图像语义分割处理得到的。4.根据权利要求1或2所述的方法，其特征在于，所述多帧图像属于图像序列，以及所述目标语义标签是通过对所述图像序列中的初始语义标签进行合并得到的，所述图像序列中的图像的初始语义标签是通过对所述图像进行图像语义分割处理得到的，其中，所述第一语义标签是根据所述第一图像中的第一初始语义标签和在所述图像序列中与所述第一图像相邻的第二图像中的第二语义标签合并后得到的语义标签确定的，所述合并后得到的语义标签是在所述第一图像中的所述第一初始语义标签对应的第一区域与所述第二图像中的所述第二初始语义标签对应的第二区域至少部分重叠的情况下，将所述第一初始语义标签和所述第二初始语义标签合并得到的。5.根据权利要求4所述的方法，其特征在于，所述合并后得到的语义标签是在所述第一图像中的所述第一初始语义标签对应的第一区域与所述第二图像中的所述第二初始语义标签对应的第二区域至少部分重叠的情况下，将所述第一初始语义标签和所述第二初始语义标签合并得到的，包括：所述合并后得到的语义标签是在所述第一区域中的重叠的区域中的像素的数量与所述第一区域中的像素的数量的比值大于或等于第一阈值，和/或所述第二区域中的重叠的区域中的像素的数量与所述第二区域中的像素的数量的比值大于或等于所述第一阈值的情况下，将所述第一初始语义标签和所述第二初始语义标签合并得到的。6.根据权利要求1至5中任一项所述的方法，其特征在于，所述第一平面的点云的平面参数包括：所述第一平面的法向量和所述第一平面中的目标三维点。7.根据权利要求6所述的方法，其特征在于，所述第一平面中的目标三维点是通过对所
述第一平面的点云中的三维点计算平均值得到的。8.根据权利要求1至7中任一项所述的方法，其特征在于，所述第一图像的位姿包括拍摄所述第一图像的设备的光心位置。9.根据权利要求8所述的方法，其特征在于，所述第一直线是根据所述拍摄所述第一图像的设备的光心位置与第一三维点的位置确定的，所述第一三维点是根据所述第一像素在所述第一图像中的位置以及所述第一像素的初始深度值将所述第一像素转换至空间中得到的。10.一种三维重建装置，其特征在于，包括：获取单元，用于：获取多帧图像对应的初始深度图；获取所述多帧图像对应的初始深度图的目标语义标签，所述目标语义标签包括第一语义标签，所...

【专利技术属性】
技术研发人员：梁丁，林曼青，柳跃天，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：