基于图像和点云深度融合的三维重建及真实场景还原方法技术

本发明专利技术提供一种基于图像和点云深度融合的三维重建及真实场景还原方法，包括：获取全部视角的点云数据和图像信息，标注全部视角的点云数据以得到包含全部障碍物的标注对象集合

【技术实现步骤摘要】
基于图像和点云深度融合的三维重建及真实场景还原方法


[0001]本专利技术涉及场景还原
，更具体地，涉及一种基于图像和点云深度融合的三维重建及真实场景还原方法
。

技术介绍

[0002]场景还原一般指在
3D
场景中，通过独特的材质，灯光，以及其它辅助材料去完成场景的渲染和重绘，一般应用于建筑
、
地质
、
工程等领域
。
场景还原可以给人们一个很好的方向和思路，搭起想象与现实的桥梁，运用全身的感受器官来认识新事物，从而达到展示预期效果的目的
。
[0003]但是目前的三维场景还原技术主要依赖于通过
2D
图片训练还原成
3D
场景，场景还原精度仍然有较大的提升空间，因此有必要研究精度更高的三维场景还原方案
。

技术实现思路

[0004]本专利技术针对现有技术中存在的技术问题，提供一种基于图像和点云深度融合的三维重建及真实场景还原方法
、
系统及电子设备，将点云数据中障碍物以及地面在场景中分别进行真实还原，以实现更精细的场景理解和分析，得到更真实的三维重建效果
。
[0005]根据本专利技术的第一方面，提供了一种基于图像和点云深度融合的三维重建及真实场景还原方法，包括：
[0006]获取全部视角的点云数据和图像信息，标注全部视角的点云数据以得到包含全部障碍物的标注对象集合
O
，计算点云场景下的地面点集合
S
和拟合地面平面
P
；
[0007]根据相机视角与点云扫描设备偏角的匹配关系，获取点云数据中当前视角下的点集合
S1
以及标注对象集合
O
中当前视角下的标注对象集合
O1
，根据标注对象集合
O1
对标注对象进行贴图和还原；
[0008]获取当前视角下的点集合
S1
投影到拟合地面平面
P
的地面点集合
S2
，根据地面点集合
S2
对地面进行贴图和还原；
[0009]遍历全部视角的点云数据和图像信息，完成全部视角的贴图和还原
。
[0010]在上述技术方案的基础上，本专利技术还可以作出如下改进
。
[0011]可选的，所述获取全部视角的点云数据和图像信息，标注全部视角的点云数据以得到包含全部障碍物的标注对象集合
O
，包括：
[0012]获取自车周向多路相机的图像信息以及多路雷达扫描的点云数据；
[0013]基于当前点云场景进行
AI
预标注或人工标注以获取标注对象集合，记为
O
，其中，标注对象集合
O
中每个标注对象均包含中心点
C
和当前标注对象所包含的点集合
points。
[0014]可选的，所述计算点云场景下的地面点集合
S
和拟合地面平面
P
，包括：
[0015]基于当前点云场景，根据平面拟合算法得到地面点集合
S
和地面拟合平面
P。
[0016]可选的，所述根据相机视角与点云扫描设备偏角的匹配关系，获取点云数据中当前视角下的点集合
S1
以及标注对象集合
O
中当前视角下的标注对象集合
O1
，包括：
[0017]获取当前相机视角下点云数据的点，根据所述点从所述地面点集合
S
中滤出当前视角下的点集合
S1
，根据反三角函数从所述标注对象集合
O
中获取当前视角下的标注对象集合
O1。
[0018]可选的，所述根据标注对象集合
O1
对标注对象进行贴图和还原，包括：
[0019]根据凸包算法求取标注对象集合
O1
中所有外围点数组集合
G1
，将外围点数组集合
G1
进行三角剖分以获取三角网格数组集合
T1
，计算三角网格数组集合
T1
中每个三角形点到该视角相机图片中的二维坐标，将每个所述三角形点的二维坐标转换到
uv
纹理贴图坐标下得到
uv
数组集合
UV1
，根据三角网格数组集合
T1
和
uv
数组集合
UV1
完成对标注对象的贴图和还原
。
[0020]可选的，所述计算三角网格数组集合
T1
中每个三角形点到该视角相机图片中的二维坐标，将每个所述三角形点的二维坐标转换到
uv
纹理贴图坐标下得到
uv
数组集合
UV1
，包括：
[0021]将三角网格数组集合
T1
中每个标注对象的三角网格化数组根据点云图像融合标注方法从三维坐标系转到该视角相机图片中的二维坐标系，然后将二维坐标系下所述三角网格化数组中每个三角形点的坐标转换到
uv
纹理贴图坐标下，得到
uv
数组集合
UV1。
[0022]可选的，所述获取当前视角下的点集合
S1
投影到拟合地面平面
P
的地面点集合
S2
，根据地面点集合
S2
对地面进行贴图和还原，包括：
[0023]获取当前视角下的点集合
S1
投影到拟合地面平面
P
的地面点集合
S2
，对地面点集合
S2
进行三角剖分以获取三角网格集合
T2
，计算三角网格集合
T2
中每个三角形点到该视角相机图片中二维坐标，将每个所述三角形点的二维坐标转换到
uv
纹理贴图坐标下得到
uv
坐标集合
UV2
，根据三角网格集合
T2
和
uv
坐标集合
UV2
完成对地面的贴图和还原
。
[0024]可选的，所述计算三角网格集合
T2
中每个三角形点到该视角相机图片中二维坐标，将每个所述三角形点的二维坐标转换到
uv
纹理贴图坐标下得到
uv
坐标集合
UV2
，包括：
[0025]将三角网格集合
T2
中每个三角网格化数组根据点云图像融合标注方法从三维坐标系转到该视角相机图片中的二维坐标系，然后将二维坐标系下所述三角网格化数组中每个三角形点的坐标转换到
uv
纹理贴图坐标下，得到
uv
坐标点集合
UV2。
[0026]根据本专利技术的第二方面本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于图像和点云深度融合的三维重建及真实场景还原方法，其特征在于，包括：获取全部视角的点云数据和图像信息，标注全部视角的点云数据以得到包含全部障碍物的标注对象集合
O
，计算点云场景下的地面点集合
S
和拟合地面平面
P
；根据相机视角与点云扫描设备偏角的匹配关系，获取点云数据中当前视角下的点集合
S1
以及标注对象集合
O
中当前视角下的标注对象集合
O1
，根据标注对象集合
O1
对标注对象进行贴图和还原；获取当前视角下的点集合
S1
投影到拟合地面平面
P
的地面点集合
S2
，根据地面点集合
S2
对地面进行贴图和还原；遍历全部视角的点云数据和图像信息，完成全部视角的贴图和还原
。2.
根据权利要求1所述的一种基于图像和点云深度融合的三维重建及真实场景还原方法，其特征在于，所述获取全部视角的点云数据和图像信息，标注全部视角的点云数据以得到包含全部障碍物的标注对象集合
O
，包括：获取自车周向多路相机的图像信息以及多路雷达扫描的点云数据；基于当前点云场景进行
AI
预标注或人工标注以获取标注对象集合，记为
O
，其中，标注对象集合
O
中每个标注对象均包含中心点
C
和当前标注对象所包含的点集合
points。3.
根据权利要求1或2所述的一种基于图像和点云深度融合的三维重建及真实场景还原方法，其特征在于，所述计算点云场景下的地面点集合
S
和拟合地面平面
P
，包括：基于当前点云场景，根据平面拟合算法得到地面点集合
S
和地面拟合平面
P。4.
根据权利要求1或2所述的一种基于图像和点云深度融合的三维重建及真实场景还原方法，其特征在于，所述根据相机视角与点云扫描设备偏角的匹配关系，获取点云数据中当前视角下的点集合
S1
以及标注对象集合
O
中当前视角下的标注对象集合
O1
，包括：获取当前相机视角下点云数据的点，根据所述点从所述地面点集合
S
中滤出当前视角下的点集合
S1
，根据反三角函数从所述标注对象集合
O
中获取当前视角下的标注对象集合
O1。5.
根据权利要求4所述的一种基于图像和点云深度融合的三维重建及真实场景还原方法，其特征在于，所述根据标注对象集合
O1
对标注对象进行贴图和还原，包括：根据凸包算法求取标注对象集合
O1
中所有外围点数组集合
G1
，将外围点数组集合
G1
进行三角剖分以获取三角网格数组集合
T1
，计算三角网格数组集合
T1
中每个三角形点到该视角相机图片中的二维坐标，将每个所述三角形点的二维坐标转换到
uv
纹理贴图坐标下得到
uv
数组集合
UV1
，根据三角网格数组集合
T1
和
uv
数组集合
UV1
完成对标注对象的贴图和还原
。6.
根据权利要求5所述的一种基于图像和点云深度融合的三维重建及真实场景还原方法，其特征在于，所述计算三角网格数组集合
T1
中每个三角形点到该视角相机图...

【专利技术属性】
技术研发人员：李森林，郝江波，吕小博，
申请(专利权)人：武汉光庭信息技术股份有限公司，
类型：发明
国别省市：