本申请涉及一种基于语义分割的稠密重建的方法、系统、装置和介质，其中，该方法包括：对场景图像进行语义分割，得到语义图，提取语义图的语义信息，并根据语义信息类别，将语义信息进行分类，得到二次分类的语义标签集合；接着，通过语义标签集合，对深度图的深度优化操作进行辅助处理，得到处理后的深度图；最后，对处理后的深度图进行点云生成，最终生成目标稠密点云。通过本申请，解决了在对场景图像进行稠密重建时，存在生成的点云区域噪声较多、质量不高的问题，不仅提升了点云的干净度，降低了点云噪点数目，还提升了深度和点云的正确性。性。性。
【技术实现步骤摘要】
一种基于语义分割的稠密重建的方法、系统、装置和介质
[0001]本申请涉及视觉图像
，特别是涉及一种基于语义分割的稠密重建的方法、系统、装置和介质。
技术介绍
[0002]随着计算机技术的快速发展，三维重建技术也在越来越多的领域应用，如常见的导航领域。三维重建技术是计算机视觉的重要技术之一，基于视觉的三维重建技术通过深度数据获取、预处理、点云配准与融合、生成物体表面等过程，把真实场景刻画成符合计算机逻辑表达的数学模型。具体地，视觉三维重建的流程主要包括场景定位定姿、稠密重建、表面重建和纹理贴图，其中，稠密重建是三维重建技术中很重要的一部分，影响后续地图重建的准确性。
[0003]在相关技术中，在对场景图像进行稠密重建时，一些干扰信息或者动态物体会导致在立体匹配产出深度图的阶段，产生很多的噪点和错误值，如果这些错误值无法被修正，会引起稠密点云具有较多杂乱噪点和错误。此外，在稠密重建的点云使用中，如数字孪生，数字展览，交通管控系统或模型搭建时，无法对点云中的动态物体，或者影响点云观赏性以及长期变动的部分进行智能去除。
[0004]目前针对相关技术中，在对场景图像进行稠密重建时，存在生成的点云区域噪声较多、质量不高的问题，尚未提出有效的解决方案。
技术实现思路
[0005]本申请实施例提供了一种基于语义分割的稠密重建的方法、系统、装置和介质，以至少解决相关技术中在对场景图像进行稠密重建时，存在生成的点云区域噪声较多、质量不高的问题。
[0006]第一方面，本申请实施例提供了一种基于语义分割的稠密重建的方法，所述方法包括：
[0007]对场景图像进行语义分割，得到语义图，提取所述语义图的语义信息，并根据语义信息类别，将所述语义信息进行分类，得到二次分类的语义标签集合；
[0008]通过所述语义标签集合，对深度图的深度优化操作进行辅助处理，得到处理后的深度图；
[0009]对所述处理后的深度图进行点云生成，最终生成目标稠密点云。
[0010]在其中一些实施例中，所述根据语义信息类别，将所述语义信息进行分类，得到二次分类的语义标签集合包括：
[0011]可根据最终生成物稠密点云的不同用途划分标签，对所述语义信息进行分类，其中，所述标签包括但不限于固定物标签、动态物标签、无效标签或变动标签。
[0012]在其中一些实施例中，所述通过所述语义标签集合，对深度图的深度优化操作进行辅助处理包括：
[0013]选取所述语义标签集合中所述动态物标签和所述无效标签，并对所述动态物标签和所述无效标签对应区域的深度进行无效化；
[0014]或根据所述语义信息，设置并剔除所述深度图中的异常深度值，以去除放射性噪点。
[0015]在其中一些实施例中，对所述动态物标签和所述无效标签对应区域的深度进行无效化包括：
[0016]将所述深度图的语义区域中具有所述动态物标签或所述无效标签的区域像素值，赋值为0，其余区域赋值为1，得到二进制掩码图。
[0017]在其中一些实施例中，在得到二进制掩码图之后，所述方法包括：
[0018]将所述二进制掩码图中的赋值为0的区域进行图像膨胀，获得目标二进制掩码图，并将所述目标二进制掩码图与所述深度图进行叠加，得到处理后的深度图。
[0019]在其中一些实施例中，根据所述语义信息，设置并剔除所述深度图中的异常深度值包括：
[0020]对同一张深度图中连通的语义区域，根据所述语义信息类别，进行深度限定。
[0021]在其中一些实施例中，根据所述语义信息类别，进行深度限定包括：
[0022]对同一张深度图中，被语义类别标定为平面的区域进行限定，其中，在所述平面像素点的深度值严重偏离一般平面具有的高斯噪声深度值的情况下，对所述平面中深度值偏离较大的点进行无效化处理；
[0023]对同一张深度图中，同一区域的小物体类型的深度进行集中区间限定，以所述集中区间的深度值中位数为基准，若存在深度值偏离较大的像素点，则对所述深度值偏离较大的像素点进行无效化处理；
[0024]对特殊类型的语义标签区域，允许所述区域的深度值超过预设阈值，对其余语义标签像素深度值超过预设阈值的区域做无效化处理。
[0025]第二方面，本申请实施例提供了一种基于语义分割的稠密重建的系统，所述系统包括：
[0026]语义标签模块，用于对场景图像进行语义分割，得到语义图，提取所述语义图的语义信息，并根据语义信息类别，将所述语义信息进行分类，得到二次分类的语义标签集合；
[0027]深度优化模块，用于通过所述语义标签集合，对深度图的深度优化操作进行辅助处理，得到处理后的深度图；
[0028]点云生成模块，用于对所述处理后的深度图进行点云生成，最终生成目标稠密点云。
[0029]第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的基于语义分割的稠密重建的方法。
[0030]第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的基于语义分割的稠密重建的方法。
[0031]相比于相关技术，本申请实施例提供的基于语义分割的稠密重建的方法，对场景图像进行语义分割，得到语义图，提取语义图的语义信息，并根据语义信息类别，将语义信息进行分类，得到二次分类的语义标签集合；接着，通过语义标签集合，对深度图的深度优
化操作进行辅助处理，得到处理后的深度图；最后，对处理后的深度图进行点云生成，最终生成目标稠密点云。
[0032]本申请的有益效果在于通过语义分割和语义分类，对场景图像的不同类型的语义采取不同的分类策略，获取语义标签集合，并通过具有不同语义标签集合的语义图对深度图的深度优化进行辅助策略改进，优化了稠密点云的质量，具体在以下两个方面有提升：
[0033]1、去除了动态物体对点云的干扰，此外，还去除了由于误匹配生成的错误深度值，进而去除了点云放射性噪声，及其对点云质量的干扰，提升了点云的干净度，并降低了点云噪点数目。
[0034]2、通过语义信息，提升了边缘处的深度图和点云的精确性，还通过平面假设，提升了平面区域，包括水面，地面，反光区域等的点云深度正确性
[0035]解决了在对场景图像进行稠密重建时，存在生成的点云区域噪声较多、质量不高的问题。
附图说明
[0036]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0037]图1是根据本申请实施例的基于语义分割的稠密重建的方法的流程图；
[0038]图2是根据本申请实施例的未经过语义优化处理的点云示意图；
[0039]图3是根据本申请实施例的经过语义优化处理的点云示意图；...
【技术保护点】
【技术特征摘要】
1.一种基于语义分割的稠密重建的方法，其特征在于，所述方法包括：对场景图像进行语义分割，得到语义图，提取所述语义图的语义信息，并根据语义信息类别，将所述语义信息进行分类，得到二次分类的语义标签集合；通过所述语义标签集合，对深度图的深度优化操作进行辅助处理，得到处理后的深度图；对所述处理后的深度图进行点云生成，最终生成目标稠密点云。2.根据权利要求1所述的方法，其特征在于，所述根据语义信息类别，将所述语义信息进行分类，得到二次分类的语义标签集合包括：可根据最终生成物稠密点云的不同用途划分标签，对所述语义信息进行分类，其中，所述标签包括但不限于固定物标签、动态物标签、无效标签或变动标签。3.根据权利要求1或2所述的方法，其特征在于，所述通过所述语义标签集合，对深度图的深度优化操作进行辅助处理包括：选取所述语义标签集合中所述动态物标签和所述无效标签，并对所述动态物标签和所述无效标签对应区域的深度进行无效化；或根据所述语义信息，设置并剔除所述深度图中的异常深度值，以去除放射性噪点。4.根据权利要求3所述的方法，其特征在于，对所述动态物标签和所述无效标签对应区域的深度进行无效化包括：将所述深度图的语义区域中具有所述动态物标签或所述无效标签的区域像素值，赋值为0，其余区域赋值为1，得到二进制掩码图。5.根据权利要求4所述的方法，其特征在于，在得到二进制掩码图之后，所述方法包括：将所述二进制掩码图中赋值为0的区域进行图像膨胀，获得目标二进制掩码图，并将所述目标二进制掩码图与所述深度图进行叠加，得到处理后的深度图。6.根据权利要求3所述的方法，其特征在于，根据所述语义信息，设置并剔除所述深度...
【专利技术属性】
技术研发人员：张双力，丛林，
申请(专利权)人：杭州易现先进科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。