一种基于场景语义分割的三维稠密重建方法及存储介质技术

本发明专利技术公开的一种基于场景语义分割的三维稠密重建方法及存储介质，方法包括：对场景图像进行语义分割，得到语义图，提取语义图的语义信息，并根据语义信息类别，将语义信息进行分类，得到二次分类的语义标签集合；接着，通过语义标签集合，对深度图进行深度优化操作辅助处理，得到优化处理后的深度图；最后，对处理后的深度图进行点云生成，最终生成目标稠密点云。本发明专利技术通过场景语义分割的重建技术，将整个图像通过语义分割分成不同场景，分别把各个语义场景重建出来，再根据重建的关键帧信息将各个语义场景的边缘信息融合起来，这种分布式的场景重建，能够解决重建过程中算力过大消耗内存的情况。内存的情况。内存的情况。

【技术实现步骤摘要】
一种基于场景语义分割的三维稠密重建方法及存储介质


[0001]本专利技术涉及图像语义分割及三维重建领域，具体涉及一种基于场景语义分割的三维稠密重建方法及存储介质，通过深度数据获取三维模型,通过图像语义分割获取图像像素级语义分割,把预测的语义分类标签迁移到重建的三维模型中,最终生成带有简单语义分割的三维模型。

技术介绍

[0002]近年来,三维场景重建的研究越来越得到重视,使得三维数字地图等技术获得了蓬勃发展。三维场景重建是当今计算机视觉研究中备受关注的研究方向。随着深度相机的普及，基于深度数据的三维场景重建已经取得了非常大的进展,可以定位在一个场景中的位置，最终获得一个完整的三维模型。伴随着深度学习的快速迭代发展，基于卷积神经网络的图像语义分割也收效显著。图像语义分割可以对图像进行像素级的分割，所以将其应用于基于深度数据的三维场景重建中,可以获得带有简单语义分割的三维模型。基于卷积神经网络的图像语义分割应用于基于深度数据的三维场景重建中，对相关关键技术进行了深入的研究。在基于深度数据的三维重建模块中，可以利用稀疏特征匹配和稠密光度匹配的位姿优化策略，在几何优化和光度一致性优化的基础上，融合稀疏特征优化项，并在标准数据集上进行实验，验证了优化后的效果。在基于卷积神经网络的图像语义分割后端处理模块中，优化了条件随机二元势函数,大量的实验证明分割效果得到改善。
[0003]目前的大场景三维重建是先将大场景分割为子场景进行重建，然后再将重建好的子场景进行对齐拼接，所有子场景重建并拼接完成后得到整个大场景。每个子场景作为一个block，逐个block重建，每个block重建完成后，与前一个block进行对齐，然而目前大场景分割为子场景是采用直线直接分割方法，采用直线切割方法有以下两个不足的地方：第一，此种分割方法虽然快速高效，但可能会将重点关注对象切割到不同的块进行重建，比如在切割时会忽略一些重点边缘信息或者结构较小的物体单元，这会导致重接结果的完全度下降。第二，采用直线分割会导致某一个物体会被不同的block切割，这种情况特征提取时出现重复提取同一个物体的点云特征，重建时容易出现区域重建密度不同。

技术实现思路

[0004]本专利技术针对大规模的三维点云数据的语义分割的不足，提供一种基于场景语义分割的三维稠密重建方法及存储介质，方法通过采取语义分割、特征提取、分类识别和优化，基于语义分割后三维建模。本专利技术的分割有利于区别场景中不同尺度的物体，并且大大减少处理数据量，提升处理的速度；分割后在分割的基础上提取基本的几何位置特征，并进行分类识别；在有效地分割后，即使一些简单的几何特征也能够有效地识别不同的物体；在用分类器识别出物体后，还对识别结果进行有效地优化，最终得到有效语义分割的场景。
[0005]具体的，本专利技术的技术方案为：
[0006]一种基于场景语义分割的三维稠密重建方法，包括以下步骤：
[0007]步骤1，获取全局场景图像；
[0008]步骤2，对全局场景图像进行语义分割，得到语义图；
[0009]步骤3,提取语义图的语义信息，并根据语义信息类别，将语义信息进行分类，得到二次分类的语义标签集合；
[0010]步骤4,通过语义标签集合，对深度图的深度优化操作进行辅助处理，得到处理后的深度图；
[0011]步骤5,对处理后的深度图进行点云生成，最终生成目标稠密点云并重建。
[0012]本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序能够被处理器执行以实现本专利技术的基于场景语义分割的三维稠密重建方法的步骤。
[0013]本专利技术的有益效果：
[0014]本专利技术的优点在于通过语义分割，对场景图像的不同类型的语义采取不同的分类策略，获取语义标签集合，并通过具有不同语义标签集合的语义图对深度图的深度优化进行辅助策略改进，优化了稠密点云的质量和重建过程中内存消耗过大的问题，具体在以下两个方面有提升：
[0015]1)去除了动态物体对点云的干扰，此外，还去除了由于误匹配生成的错误深度值，进而去除了点云放射性噪声，及其对点云质量的干扰，提升了点云的干净度，并降低了点云噪点数目；
[0016]2)通过场景语义重建，将整个重建图像分割成不同语义的场景，分别重建不同语义场景再根据关键帧将不同场景的边缘信息进行模型匹配和平面拟合之后完成重建，解决了在对场景图像进行稠密重建时，存在算力过大，高消耗内存的问题。
附图说明
[0017]图1：本专利技术的方法流程图。
具体实施方式
[0018]这里将使用一种有关变电站的三维模型重建方法。经过场景的语义分割识别后，掌握了场景中的点云类别信息，那么就可以提取出独立的变电站点云，重建的算法就是针对变电站中每个独立结构的点云所进行的。把变电站的点集，分割成不同的类别:变压器，房屋，电线杆等。
[0019]可以分成一种树形结构：
[0020][0021]Block＝∪PairoPatches
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0022]Patch＝{Transfomer,Bulidings,Poles}
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(3)
[0023]其中，Block结构是一些变电站的整体结构，而每个Block都可以有一些Patches对来组成；Patches对可以是房屋，变压器等；而Patches就是有一些基本的结构，这些基本的结构就是通过类似场景语义分割的方法分割出来的组成变电站的基本单元。
[0024]通过特征金字塔挖掘多尺度信息，将具有横向连接的自顶向下体系结构，用于在所有尺度上构建高级语义特征映射(特征金字塔网络)。卷积核主要用于调整不同特征图的
输出channel均为256，因为需要融合，而只用使其有相同的shape才可以实现融合，使得上采样后的其他层特征可以相加，不改变feature map的尺寸大小，得的特征挖掘表达能力更为良好。
[0025][0026]式中k0设置为4，wh是RPN预测得到的proposal在原图上的高度和宽度。
[0027]通过损失函数loss进行改进优化提升语义分割训练预测效果。
[0028]L＝Lcls+Lbox+Lmask
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)
[0029]式中为Mask R
‑
CNN的损失函数表达式，它是目标分类、定位回归、mask掩码预测损失之和。其中，对于mask分支和其他的分类分支一样，使用全卷积网络输出，输出了k类的mask。注意这里mask的输出使用了sigmoid函数。最后可以通过与阈值0.5作比较输出二值mask。这样避免了类间的竞争，将分类的任务交给专业的classification分支。而Lmask对于每一个像素使用二值的sigmoid交叉熵损失。
[0030]BlockAlign通过量化不取整与本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于场景语义分割的三维稠密重建方法，其特征在于，包括以下步骤：步骤1，获取全局场景图像；步骤2，对全局场景图像进行语义分割，得到语义图；步骤3,提取语义图的语义信息，并根据语义信息类别，将语义信息进行分类，得到二次分类的语义标签集合；步骤4,通过语义标签集合，对深度图的深度优化操作进行辅助处理，得到处理后的深度图；步骤5,对处理后的深度图进行点云生成，最终生成目标稠密点云并重建。2.根据权利要求1所述的基于场景语义分割的三维稠密重建方法，其特征在于，所述步骤2还包括：将语义分割成一种树形结构：Block＝∪PairoPathches
ꢀꢀꢀꢀꢀꢀꢀꢀ
(2)Patch＝{Transfomer，BuIidings,Poles}
ꢀꢀꢀꢀꢀꢀꢀꢀ
(3)其中：Block结构是一些全局场景图像的整体结构，而每个Block都有一些用于构成所述整体结构的基本单元Patches对来组成。3.根据权利要求2所述的基于场景语义分割的三维稠密重建方法，其特征在于，所述步骤3还包括：通过特征金字塔挖掘多尺度信息，将具有横向连接的自顶向下体系结构用在所有尺度上构建高级语义特征映射其中：k0设置为4，wh是RPN预测得到的proposal在原图上的高度和宽度；通过损失函数loss进行改进优化提升语义分割训练预测效果；L＝Lcls+Lbox+Lmask
ꢀꢀꢀꢀꢀ
(5)其中：Mask R
‑
CNN的损失函数表达式，它是目标分类、定位回归、mask掩码预测损失之和；其中，对于mask分支和其他的分类分支一样，使用全卷积网络输出，输出了k类的mask；这里mask的输出使用了sigmoid函数；最后可以通过与阈值0.5作比较输出二值mask。4.根据权利要求3所述的基于场景语义分割的三维稠密重建方法，其特征在于：通过量化不取整与量化双线性插值，实现block合并对齐。5.根据权利要求4所述的基于场景语义分...

【专利技术属性】
技术研发人员：刘毅，杨阳，师智良，董昱程，杨映春，
申请(专利权)人：昆明能讯科技有限责任公司，
类型：发明
国别省市：