三维通道的构造方法、装置及计算机可读存储介质制造方法及图纸

本发明专利技术实施例提供了三维通道的构造方法、装置及计算机可读存储介质。本发明专利技术实施例提供的三维通道的构造方法，包括：步骤A，生成第一全景图像对应的深度图像；步骤B，对所述第一全景图像进行通道对象检测，获得所述第一全景图像中的通道对象框，其中，每个通道对象框为首尾相连的4段弧边，每个弧边为大圆上的一段圆弧；步骤C，根据所述第一全景图像、所述通道对象框以及所述深度图像，生成所述第一全景图像中的通道对象的三维点云。本发明专利技术能够提高所生成的三维通道点云的质量。成的三维通道点云的质量。成的三维通道点云的质量。

【技术实现步骤摘要】
三维通道的构造方法、装置及计算机可读存储介质


[0001]本专利技术涉及图像处理及三维重构
，具体涉及一种三维通道的构造方法、装置及计算机可读存储介质。

技术介绍

[0002]在三维重构领域，三维通道重构是一个非常重要的分支领域。通道通常是指门或窗等人类可以通过或者视线透过的物体。三维通道重构技术的应用非常广泛。例如，当利用激光扫描仪或者可见光相机生成点云(point cloud)时，因为通道区域激光或可见光可以穿透，往往通道区域的噪音非常严重，因此可以利用三维通道信息对点云进行处理。另外，目前很流行的机器人或智能轮椅等技术也利用通道信息来规划路线。
[0003]现有技术主要有3种技术来做三维通道重构，生成三维通道点云，即通道的三维点云。三维点云(3D point cloud)是指按照规则格网排列的三维坐标点的数据集。
[0004]例如，第一种技术是在三维点云上直接进行三维通道重构。由于目前的点云质量比较差，其中包括很多空洞和噪音，尤其是通道区域。利用这样的三维点云难以生成高质量的三维通道点云。
[0005]又例如，利用生成点云的数据来源进行三维通道重构。一种常见的数据来源是二维透视图，第二种技术是基于二维透视图进行三维通道重构。这里又有两种思维模式，一种是正向思维，一种是逆向思维。正向思维是指已有现成的二维透视图，在二维透视图中检测二维通道对象，再生成三维通道点云。逆向思维是指在只有三维点云的情况下，先从三维点云中生成二维透视图，然后检测二维通道对象，再生成三维通道点云。该技术的主要问题是全景图像中通常存在有全景畸变，因此，二维对象检测所采用的矩形框不再适用于全景图像。
[0006]再例如，另一种生成点云的数据来源是全景图像，第三种技术就是在全景图像中检测二维通道对象，再生成三维通道点云。而考虑到全景图像的畸变问题，通常利用球面卷积或者可形变卷积来检测对象的弯曲的多边形框。但问题是除了要考虑全景畸变，对象本身在物理世界中还存在透视变化。因此利用球面卷积或者可形变卷积不能解决透视变化问题。

技术实现思路

[0007]本专利技术实施例要解决的技术问题是提供三维通道的构造方法、装置及计算机可读存储介质，提高所生成的三维通道点云的质量。
[0008]根据本专利技术的一个方面，至少一个实施例提供了一种三维通道的构造方法，包括：
[0009]步骤A，生成第一全景图像对应的深度图像；
[0010]步骤B，对所述第一全景图像进行通道对象检测，获得所述第一全景图像中的通道对象框，其中，每个通道对象框为首尾相连的4段弧边，每个弧边为大圆上的一段圆弧；
[0011]步骤C，根据所述第一全景图像、所述通道对象框以及所述深度图像，生成所述第
一全景图像中的通道对象的三维点云。
[0012]此外，根据本专利技术的至少一个实施例，所述生成第一全景图像对应的深度图像，包括：
[0013]对所述第一全景图像进行单目深度估计，得到深度图像，其中，所述深度图像的分辨率与所述第一全景图像的分辨率相同。
[0014]此外，根据本专利技术的至少一个实施例，对所述第一全景图像进行通道对象检测，获得所述第一全景图像中的通道对象框，包括：
[0015]利用预先训练得到的深度学习网络模型，对所述第一全景图像进行通道对象检测，得到所述第一全景图像中的通道对象框，其中，所述深度学习网络模型是利用训练样本集训练得到的，所述训练样本集包括有多个样本全景图像以及每个样本全景图像中标注的通道对象框的几何特征，所述几何特征包括每个通道对象框的4个角点的位置坐标以及相邻2个角点在单位球面上的夹角。
[0016]此外，根据本专利技术的至少一个实施例，所述步骤B和C之间还包括：
[0017]利用所述第一全景图像和通道对象框，对所述深度图像的深度信息进行修复。
[0018]此外，根据本专利技术的至少一个实施例，利用所述第一全景图像和通道对象框，对所述深度图像的深度信息进行修复，包括：
[0019]根据通道对象框的4个角点的位置坐标以及相邻2个角点在单位球面上的夹角，计算得到所述通道对象框在第一全景图像中的一组二维点集合；
[0020]根据所述通道对象框的二维点集合中的每个二维点在所述深度图像中的三维空间坐标，获得所述二维点集合对应的三维点集合；
[0021]根据所述三维点集合，拟合得到一个目标平面；
[0022]确定所述目标平面内的每个第一像素点，在所述深度图像中对应的第二像素点，并利用所述第一像素点的三维空间坐标，对所述第二像素点的深度进行修复。
[0023]此外，根据本专利技术的至少一个实施例，所述第一全景图像为：针对目标空间拍摄的一组全景图像中的任一全景图像；
[0024]所述方法还包括：
[0025]根据所述目标空间的每张全景图像中通道对象的三维点云，生成所述目标空间中的通道对象的三维点云。
[0026]根据本专利技术的另一方面，至少一个实施例提供了一种三维通道的构造装置，包括：
[0027]深度图像生成模块，用于生成第一全景图像对应的深度图像；
[0028]通道对象检测模块，用于对所述第一全景图像进行通道对象检测，获得所述第一全景图像中的通道对象框，其中，每个通道对象框为首尾相连的4段弧边，每个弧边为大圆上的一段圆弧；
[0029]通道点云生成模块，用于根据所述第一全景图像、所述通道对象框以及所述深度图像，生成所述第一全景图像中的通道对象的三维点云。
[0030]此外，根据本专利技术的至少一个实施例，所述深度图像生成模块包括：
[0031]单目深度估计模块，用于对所述第一全景图像进行单目深度估计，得到深度图像，其中，所述深度图像的分辨率与所述第一全景图像的分辨率相同。
[0032]此外，根据本专利技术的至少一个实施例，所述通道对象检测模块包括：
[0033]模型调用模块，用于利用预先训练得到的深度学习网络模型，对所述第一全景图像进行通道对象检测，得到所述第一全景图像中的通道对象框，其中，所述深度学习网络模型是利用训练样本集训练得到的，所述训练样本集包括有多个样本全景图像以及每个样本全景图像中标注的通道对象框的几何特征，所述几何特征包括每个通道对象框的4个角点的位置坐标以及相邻2个角点在单位球面上的夹角。
[0034]此外，根据本专利技术的至少一个实施例，还包括：
[0035]深度信息修复模块，用于在所述通道点云生成模块生成所述第一全景图像中的通道对象的三维点云之前，利用所述第一全景图像和通道对象框，对所述深度图像的深度信息进行修复。
[0036]此外，根据本专利技术的至少一个实施例，所述深度信息修复模块包括：
[0037]第一计算模块，用于根据通道对象框的4个角点的位置坐标以及相邻2个角点在单位球面上的夹角，计算得到所述通道对象框在第一全景图像中的一组二维点集合；
[0038]第一获得模块，用于根据所述通道对象框的二维点集合中的每个二维点在所述深度图像中的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种三维通道的构造方法，其特征在于，包括：步骤A，生成第一全景图像对应的深度图像；步骤B，对所述第一全景图像进行通道对象检测，获得所述第一全景图像中的通道对象框，其中，每个通道对象框为首尾相连的4段弧边，每个弧边为大圆上的一段圆弧；步骤C，根据所述第一全景图像、所述通道对象框以及所述深度图像，生成所述第一全景图像中的通道对象的三维点云。2.如权利要求1所述的方法，其特征在于，所述生成第一全景图像对应的深度图像，包括：对所述第一全景图像进行单目深度估计，得到深度图像，其中，所述深度图像的分辨率与所述第一全景图像的分辨率相同。3.如权利要求1所述的方法，其特征在于，对所述第一全景图像进行通道对象检测，获得所述第一全景图像中的通道对象框，包括：利用预先训练得到的深度学习网络模型，对所述第一全景图像进行通道对象检测，得到所述第一全景图像中的通道对象框，其中，所述深度学习网络模型是利用训练样本集训练得到的，所述训练样本集包括有多个样本全景图像以及每个样本全景图像中标注的通道对象框的几何特征，所述几何特征包括每个通道对象框的4个角点的位置坐标以及相邻2个角点在单位球面上的夹角。4.如权利要求1所述的方法，其特征在于，所述步骤B和C之间还包括：利用所述第一全景图像和通道对象框，对所述深度图像的深度信息进行修复。5.如权利要求4所述的方法，其特征在于，利用所述第一全景图像和通道对象框，对所述深度图像的深度信息进行修复，包括：根据通道对象框的4个角点的位置坐标以及相邻2个角点在单位球面上的夹角，计算得到所述通道对象框在第一全景图像中的一组二维点集合；根据所述通道对象框的二维点集合中的每个二维点在所述深度图像中的三维空间坐标，获得所述二维点集合对应的三维点集合；根据所述三维点集合，拟合得到一个目标平面；确定所述目标平面内的每个第一像素点，在所述深度图像中对应的第二像素点，并利用所述第一像素点的三维空间坐标，对所述第二像素点的深度进行修复。6.如权利要求1至5任一项所述的方法，其特征在于，所述第一全景图像为：针对目标空间拍摄的一组全景图像中的任一全景图像；所述方法还包括：根据所述目标空间的每张全景图像中通道对象的三维点云，生成所述目标空间中的通道对象的三维点云。7.一种三维通道的构造装置，其特征在于，包括：深度图像生成模块，用于生成第一全景图像对应的深度图像；通道对象检测模块，用于对所述第一全景图像进行通道对象检测，获得所述第一全景...

【专利技术属性】
技术研发人员：伊红，贾海晶，张恒之，刘丽艳，王炜，
申请(专利权)人：株式会社理光，
类型：发明
国别省市：