基于非结构化彩色点云的大型城市场景表面与纹理重建制造技术

本发明专利技术基于非结构化彩色点云的大型城市场景表面与纹理重建，包括以下步骤：步骤S1：输入点云，进行多视虚拟视点选择，对视点进行渲染；步骤S2：构建可见性预测网络，设计“U”型网络框架；步骤S3：构建纹理修复网络；步骤S4：表面重建与纹理重建。本方案通过设计一个可见性预测网络与一个纹理修复网络，利用卷积模拟了神经网络的稀疏输入，并利用注意机制和跨尺度特征融合增强了特征提取能力，分别预测视图内点的可见性信息与完整纹理图，最终使用基于图割的方法进行表面重建与基于纹理映射的方法进行纹理重建，与基于端到端学习的表面重建方法相比，我们的方法使用了直接和易于理解的二维可见性信息，以提供在不同场景中的通用性。

【技术实现步骤摘要】

本专利技术属于地理信息加工服务，具体涉及基于非结构化彩色点云的大型城市场景表面与纹理重建。

技术介绍

1、随着深度传感器以及激光扫描技术的快速发展，实现了多视角、多平台、多分辨率的数据采集，人们可以更加容易地获取大量高精度点云数据。这些点云数据可以更加立体、直观地展现真实地理空间，能够同步获取几何和纹理信息，极大地推动了真实地理场景三维表达与感知技术的发展。同时，随着计算机视觉与深度学习技术的日益成熟，三维数据成为了包括自动驾驶、虚拟现实、机器人导航等应用研究的首选数据类型。常见的三维类型数据有三维点云、三维网格、三维体素、多视角图像等。其中，高质量三维表面网格是一种重要的数据产品，但这种三维数据通常难以通过传感器直接获取，因此由更易直接获取的三维点云数据转化为三维表面网格成为了当下主流的三维视觉处理任务之一。

2、中国专利cn112489202a一种基于多视角深度学习的路面宏观纹理重建方法。采集路面多视角图像和路面宏观纹理三维点云数据作为路面信息数据集；建立基于单视角路面图像的深度学习结构s，用于基于单一视角图像的路面宏观纹理重建；建立多视角本文档来自技高网...

【技术保护点】

1.基于非结构化彩色点云的大型城市场景表面与纹理重建，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于非结构化彩色点云的大型城市场景表面与纹理重建，其特征在于：所述步骤S1中的多视虚拟视点选择，首先通过指定叶节点包含点的个数，将空间进行划分，构建八叉树；其次，设置初始虚拟视点位置位于八叉树中不同深度的子节点以及根节点的中心位置，为了优化这些视点位置，将位于建筑物内部与距离地面较远的视点位置进行去除；然后，通过在每个视点位置添加一组预先设置的姿态来获得初始虚拟视点；最后，采用筛选策略有选择地细化视角，得到最终的虚拟视点。

3.根据权利要求2所述的基于非结构化...

【技术特征摘要】

1.基于非结构化彩色点云的大型城市场景表面与纹理重建，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于非结构化彩色点云的大型城市场景表面与纹理重建，其特征在于：所述步骤s1中的多视虚拟视点选择，首先通过指定叶节点包含点的个数，将空间进行划分，构建八叉树；其次，设置初始虚拟视点位置位于八叉树中不同深度的子节点以及根节点的中心位置，为了优化这些视点位置，将位于建筑物内部与距离地面较远的视点位置进行去除；然后，通过在每个视点位置添加一组预先设置的姿态来获得初始虚拟视点；最后，采用筛选策略有选择地细化视角，得到最终的虚拟视点。

3.根据权利要求2所述的基于非结构化彩色点云的大型城市场景表面与纹理重建，其特征在于：所述虚拟视点的选择，通过一种鲁棒的视点选择的策略，为每个虚拟视点进行打分，并最终选择分数最高的虚拟视点作为最终选择；将初始虚拟视点作为渲染点云的参数，得到初始虚拟视图；通过隐藏点去除算法计算每个虚拟视图的粗略可见性，从而识别每个虚拟视图内的前景点pfore；利用下面提供的公式，计算sfv，它表示前景点pfore占有效像素pvalid的比例，sfa表示前景点占图像整体像素的比例；最后，通过适当的加权计算每个虚拟视点的综合得分，记为sview；

4.根据权利要求1所述的基于非结构化彩色点云的大型城市场景表面与纹理重建，其特征在于：所述“u”型网络采用全局特征融合模块gff和多尺度特征融合模块设计。

5.根据权利要求4所述的基于非结构化彩色点云的大型城市场景表面与纹理重建，其特征在于：所述“u”型网络的全局特征融合模块分为两个分支：上方的卷积分支和下方的注意力分支；在卷积分支中，通过卷积操作从输入特征图中提取局部特征xconv；在下层分支中，通过计算全局注意力权重得到全局特征xatt，然后与局部特征、输入特征x和上层特征xupper进行集成，形成最终的聚合特征xca；因此，该模块可以...

【专利技术属性】
技术研发人员：张振鑫，李慕白，陈思耘，张立强，
申请(专利权)人：首都师范大学，
类型：发明
国别省市：