System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种三维重建方法、装置及终端制造方法及图纸_技高网

一种三维重建方法、装置及终端制造方法及图纸

技术编号:40542675 阅读:7 留言:0更新日期:2024-03-05 18:58
本申请涉及三维建模技术领域,提供了一种三维重建方法、装置及终端,该方法包括:获取所有视觉图像的线段特征,并根据图像位姿对所有视觉图像进行三角化,以获得空间线特征;获取采集的点云地图,将点云地图生成三角面片,并对点云地图栅格化,形成栅格地图,以获得空间线特征与栅格地图的关联关系;将空间线特征根据预设聚合标准进行平面特征聚合;根据空间线特征与栅格地图的关联关系,构建三角面片与空间线特征的误差方程,并根据误差方程对三角面片进行优化,获得优化后三角面片;对优化后三角面片的顶点位置进行优化,获得三维重建模型。本申请通过将点云地图与视觉图像结合的三维重建方法,可以生成高保真,高细节保持的三维重建模型。

【技术实现步骤摘要】

本申请涉及三维建模,尤其涉及一种三维重建方法、装置及终端


技术介绍

1、通过三维重建技术,人们得以从真实世界获取的准确的数字化模型,进而能够支持任意视角观察场景的任意部分,满足数字化展厅演示、住宅办公区域预览以及影视级制作等各方面的需求,因此室内外场景的数字化广受关注和研究。但是现有的技术主要集中在结构化模型生成方面的研究,如专利cn113888391a-一种室内结构化重建方法 装置及计算机可读存储介质和cn115689867a-一种基于马尔科夫聚类的多房间室内场景结构化重建方法的重建方法;均是通过密集点云数据,提取点云特征获得高级、抽象的结构化模型,虽然满足一般房屋主体的重建,但会丢失重建细节。


技术实现思路

1、有鉴于此,本申请实施例提供一种维重建方法、装置及终端,可以有效解决现有技术中丢失重建细节的问题等。

2、第一方面,本申请实施例提供一种三维重建方法,包括:

3、获取所有视觉图像的线段特征,并根据图像位姿对所述所有视觉图像进行三角化,以获得空间线特征;

4、获取采集的点云地图,将所述点云地图生成三角面片,并对所述点云地图栅格化,形成栅格地图,以获得所述空间线特征与所述栅格地图的关联关系;

5、将所述空间线特征根据预设聚合标准进行平面特征聚合;

6、根据所述空间线特征与所述栅格地图的关联关系,构建所述三角面片与所述空间线特征的误差方程,并根据所述误差方程对所述三角面片进行优化,获得优化后三角面片;

7、对所述优化后三角面片的顶点位置进行优化,获得三维重建模型。

8、在一些实施例中,所述获取所有视觉图像的线段特征,并根据图像位姿对所述所有视觉图像进行三角化,以获得空间线特征包括:

9、通过线段提取器提取所述所有视觉图像中的线段特征;

10、对所述线段特征通过特征描述子进行描述,根据所述线段特征的所述特征描述子对所述所有视觉图像进行图像间的线段匹配;

11、根据线段匹配关系将两两视觉图像的线段进行线段三角化,以获得空间线特征。

12、在一些实施例中,所述将所述空间线特征根据预设聚合标准进行平面特征聚合之前,还包括:

13、根据所述栅格地图,获取与预设平面邻近的线段,并获取所述线段的所述空间线特征;

14、所述将所述空间线特征根据预设聚合标准进行平面特征聚合包括:

15、将所有邻近的所述空间线特征分别进行平面拟合,得到多个拟合平面;

16、将所述多个拟合平面按照预设聚合标准进行平面特征聚合。

17、在一些实施例中,所述将所述多个拟合平面按照预设聚合标准进行平面特征聚合包括:

18、初始化第一个所述拟合平面,作为一个平面类别;

19、遍历所有的拟合平面,计算每个所述拟合平面邻近的三角面片顶点到当前拟合平面的平均距离;

20、若所述平均距离大于第一阈值,则不对所述当前拟合平面做聚合;

21、若所述平均距离小于等于所述第一阈值,则计算所述当前拟合平面与所有平面类别的各个相似度;

22、从所述各个相似度中获取相似度最大值及所述相似度最大值对应的平面类别;

23、若所述相似度最大值大于等于第二阈值,则将所述当前拟合平面聚合到所述相似度最大值对应的平面类别中;

24、若所述相似度最大值小于所述第二阈值,则初始化所述当前拟合平面,以生成新的平面类别。

25、在一些实施例中,所述将所述空间线特征根据预设聚合标准进行平面特征聚合之后,还包括:

26、滤除错误的所述空间线特征,具体包括:

27、将每个所述空间线特征对应线段的端点分别投影到多个其他视觉图像上,并计算该线段两端点的像素误差,若像素误差大于预设误差值,则滤除当前空间线特征;或

28、计算每个空间线特征对应线段的端点与对应拟合平面的空间欧式距离,若计算得到的所述空间欧式距离大于预设空间距离,则滤除当前空间线特征。

29、在一些实施例中,所述将每个所述空间线特征对应线段的端点分别投影到多个其他视觉图像上,并计算该线段两端点的像素误差,若像素误差大于预设误差值,则滤除当前空间线特征包括:

30、对于任意一空间线特征,将与当前空间线特征关联的所述栅格地图中的线段两端点分别投影到多个其他视觉图像上;

31、在像素平面中计算两个端点分别到多个其他视觉图像的距离,并计算两个端点到同一视觉图像上的距离差;

32、计算多个所述距离差的平均值,若所述平均值大于预设误差值,则滤除当前空间线特征。

33、在一些实施例中,所述根据所述空间线特征与所述栅格地图的关联关系,构建所述三角面片与所述空间线特征的误差方程包括:

34、获得每一个所述空间线特征对应的聚合后的平面类别;

35、结合所述空间线特征与所述栅格地图的关联关系,获得每一个所述空间线特征的关联视觉图像集合;

36、根据空间最近邻规则获得与每一个所述空间线特征最近的三角面片顶点集合;

37、根据所述聚合后的平面类别、所述关联视觉图像集合及所述三角面片顶点集合,构建空间距离误差方程和多视觉图像光度一致性误差方程。

38、在一些实施例中,所述对所述优化后三角面片的顶点位置进行优化,获得三维重建模型包括:

39、通过梯度下降法迭代更新所述三角面片的顶点位置,生成三维重建模型;

40、其中,所述通过梯度下降法迭代更新所述三角面片的顶点位置包括:

41、通过第一方程和第二方程计算所述三角面片顶点位置的梯度误差;

42、通过所述第一方程和所述第二方程构建最小二乘方程,计算迭代更新后的三角面片的顶点位置;

43、其中,所述第一方程通过空间距离误差方程获得;所述第二方程通过zncc图像梯度得到。

44、第二方面,本申请实施例提供一种三维重建装置,包括:

45、三角化模块,用于获取所有视觉图像的线段特征,并根据图像位姿对所述所有视觉图像进行三角化,以获得空间线特征;

46、栅格化模块,用于获取采集的点云地图,将所述点云地图生成三角面片,并对所述点云地图栅格化,形成栅格地图,以获得所述空间线特征与所述栅格地图的关联关系;

47、聚合模块,用于将所述空间线特征根据预设聚合标准进行平面特征聚合;

48、误差优化模块,用于根据所述空间线特征与所述栅格地图的关联关系,构建所述三角面片与所述空间线特征的误差方程,并根据所述误差方程对所述三角面片进行优化,获得优化后三角面片;

49、三维重建模型生成模块,用于对所述优化后三角面片的顶点位置进行优化,获得三维重建模型。

50、第三方面,本申请实施例提供一种终端设备,所述终端设备包括处理器和存储器,所述存储器存储有计算机程序,所述处理器用于执本文档来自技高网...

【技术保护点】

1.一种三维重建方法,其特征在于,包括:

2.根据权利要求1所述的三维重建方法,其特征在于,所述获取所有视觉图像的线段特征,并根据图像位姿对所述所有视觉图像进行三角化,以获得空间线特征包括:

3.根据权利要求1所述的三维重建方法,其特征在于,所述将所述空间线特征根据预设聚合标准进行平面特征聚合之前,还包括:

4.根据权利要求3所述的三维重建方法,其特征在于,所述将所述多个拟合平面按照预设聚合标准进行平面特征聚合包括:

5.根据权利要求3所述的三维重建方法,其特征在于,所述将所述空间线特征根据预设聚合标准进行平面特征聚合之后,还包括:

6.根据权利要求5所述的三维重建方法,其特征在于,所述将每个所述空间线特征对应线段的端点分别投影到多个其他视觉图像上,并计算该线段两端点的像素误差,若像素误差大于预设误差值,则滤除当前空间线特征包括:

7.根据权利要求1所述的三维重建方法,其特征在于,所述根据所述空间线特征与所述栅格地图的关联关系,构建所述三角面片与所述空间线特征的误差方程包括:

8.根据权利要求7所述的三维重建方法,其特征在于,所述对所述优化后三角面片的顶点位置进行优化,获得三维重建模型包括:

9.一种三维重建装置,其特征在于,包括:

10.一种终端设备,其特征在于,所述终端设备包括处理器和存储器,所述存储器存储有计算机程序,所述处理器用于执行所述计算机程序以实施权利要求1-8中任一项所述的三维重建方法。

...

【技术特征摘要】

1.一种三维重建方法,其特征在于,包括:

2.根据权利要求1所述的三维重建方法,其特征在于,所述获取所有视觉图像的线段特征,并根据图像位姿对所述所有视觉图像进行三角化,以获得空间线特征包括:

3.根据权利要求1所述的三维重建方法,其特征在于,所述将所述空间线特征根据预设聚合标准进行平面特征聚合之前,还包括:

4.根据权利要求3所述的三维重建方法,其特征在于,所述将所述多个拟合平面按照预设聚合标准进行平面特征聚合包括:

5.根据权利要求3所述的三维重建方法,其特征在于,所述将所述空间线特征根据预设聚合标准进行平面特征聚合之后,还包括:

6.根据权利要求5所述的三维重建方法,其特征在于,所述将每个所述空...

【专利技术属性】
技术研发人员:黎浩文
申请(专利权)人:深圳市其域创新科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1