点云超分辨率方法、装置、电子设备及存储介质制造方法及图纸

本申请公开了一种点云超分辨率方法、装置、电子设备及存储介质。该方法包括：构建并训练点云初始超分辨率模型，得到满足精度阈值的点云超分辨率模型；将待处理点云划分为分片点云，将分片点云输入点云超分辨率模型，通过生成器提取分片点云的几何信息特征和颜色信息特征，并由生成器重建超分辨率点云；通过判别器判断重建的超分辨率点云是否达到预设置信度阈值，并输出达到预设置信度阈值的超分辨率点云。本申请的方法可将稀疏的点云坐标和颜色重建出高质量密集点云几何和颜色信息，图卷积以图对点云进行建模，解决了点云无序的问题，可以有效利用上下文信息，对点云特征进行整合，能够得到轮廓准确、细节清晰的高分辨率点云。云。云。

【技术实现步骤摘要】
点云超分辨率方法、装置、电子设备及存储介质


[0001]本申请涉及视频图像处理
，具体涉及一种点云超分辨率方法、装置、电子设备及存储介质。

技术介绍

[0002]超分辨率指的是通过硬件或软件提高原有图像分辨率的技术。随着3D采集技术的飞速发展，3D传感器(例如LiDAR)变得越来越容易获得，由此获取的点云数据也越来越多，越来越多的研究者们也逐渐投入到三维点云数据的研究中。然而，处理3D点云而非2D像素网格，这带来了新的挑战。与以规则网格表示的图像空间不同，点云没有任何空间顺序和规则结构。生成的点应描述潜在目标对象的基本几何形状，这意味着它们应大致位于目标对象的表面上。生成的点应该是信息性的，并且不应杂乱无章。点云数据的无序且不规则以及以上难题限制了深度学习网络在点云超分辨率任务上的发展。类比图像处理的3D卷积网络大大限制了点云输出的分辨率，逐点卷积不能对点云这种杂乱无结构的数据进行有效地建模，缺少点云上下文信息。

技术实现思路

[0003]本申请的目的是提供一种点云超分辨率方法、装置、电子设备及存储介质。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。
[0004]根据本申请实施例的一个方面，提供一种点云超分辨率方法，包括：
[0005]构建并训练点云初始超分辨率模型，得到满足精度阈值的点云超分辨率模型；所述点云初始超分辨率模型包括生成器和判别器；
[0006]将待处理点云划分为分片点云，将所述分片点云输入所述点云超分辨率模型；
[0007]通过所述生成器提取所述分片点云的几何信息特征和颜色信息特征，并由所述生成器利用所述几何信息特征和所述颜色信息特征重建超分辨率点云；
[0008]通过所述判别器判断重建的所述超分辨率点云是否达到预设置信度阈值，并输出达到预设置信度阈值的超分辨率点云。
[0009]在本申请的一些实施例中，所述生成器包括并行的点云坐标生成通道和点云颜色生成通道；所述点云坐标生成通道用于提取所述分片点云的几何信息特征；所述点云颜色生成通道用于提取所述分片点云的颜色信息特征。
[0010]在本申请的一些实施例中，所述训练点云初始超分辨率模型，包括：
[0011]将训练集中的点云输入所述生成器，所述点云坐标生成通道和所述点云颜色生成通道进行连续两次上采样操作，得到预测点云；
[0012]计算所述预测点云的预测误差，根据所述预测误差反向更新所述生成器中的参数，迭代直至所述预测误差达到预设阈值为止，得到第一次训练完成的生成器；
[0013]将所述训练集中的点云以及对应的所述预测点云输入所述判别器以判断所述预测点云的置信度，根据置信度判断结果更新整个所述点云初始超分辨率模型，迭代直至所述置信度达到预设置信度阈值为止。
[0014]在本申请的一些实施例中，所述训练点云初始超分辨率模型，包括：使用复合损失作为超分辨率任务训练损失的一部分以训练所述点云初始超分辨率模型；其中，所述复合损失包括对抗损失、形状感知损失和基于几何位置的颜色损失。
[0015]在本申请的一些实施例中，所述形状感知损失包含整体约束和细节约束；所述整体约束使用EMD计算预测点云和真实点云两个数据分布的距离进行约束；所述细节约束使用预测点云和真实点云间逐点对的平均距离以及生成点云的密度度量进行约束。
[0016]在本申请的一些实施例中，所述将待处理点云划分为分片点云，包括：
[0017]将所述待处理点云均匀地划分为体积相同的小立方体，以所述小立方体为单位进行分片采样，采样时以预设重叠率采集相邻立方体的点，得到所述分片点云。
[0018]在本申请的一些实施例中，所述通过所述生成器提取所述分片点云的几何信息特征和颜色信息特征，包括：
[0019]通过所述生成器使用基于三维空间k近邻的图卷积操作，提取所述分片点云的几何信息特征和颜色信息特征。
[0020]根据本申请实施例的另一个方面，提供一种点云超分辨率装置，包括：
[0021]构建训练模块，用于构建并训练点云初始超分辨率模型，得到满足精度阈值的点云超分辨率模型；所述点云初始超分辨率模型包括生成器和判别器；
[0022]划分模块，用于将待处理点云划分为分片点云，将所述分片点云输入所述点云超分辨率模型；
[0023]重建模块，用于通过所述生成器提取所述分片点云的几何信息特征和颜色信息特征，并由所述生成器利用所述几何信息特征和所述颜色信息特征重建超分辨率点云；
[0024]判断输出模块，用于通过所述判别器判断重建的所述超分辨率点云是否达到预设置信度阈值，并输出达到预设置信度阈值的超分辨率点云。
[0025]根据本申请实施例的另一个方面，提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现上述任一项的点云超分辨率方法。
[0026]根据本申请实施例的另一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现上述任一项的点云超分辨率方法。
[0027]本申请实施例的其中一个方面提供的技术方案可以包括以下有益效果：
[0028]本申请实施例提供的点云超分辨率方法，利用点云超分辨率模型处理分片点云，通过生成器提取分片点云的几何信息特征和颜色信息特征，并由生成器利用几何信息特征和颜色信息特征重建超分辨率点云，通过判别器判断重建的超分辨率点云是否达到预设置信度阈值，并输出达到预设置信度阈值的超分辨率点云，可满足点云处理的上游任务的要求，有效地解决了点云无序的问题，而且可以有效地利用上下文信息，对点云特征进行整合，能够得到轮廓准确、细节清晰的高分辨率点云。
[0029]本申请的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者，部分特征和优点可以从说明书中推知或毫无疑义地确定，或者通过实施
本申请实施例了解。
附图说明
[0030]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0031]图1示出了本申请一些实施方式的点云超分辨率方法流程图；
[0032]图2示出了本申请一些实施方式中的训练点云初始超分辨率模型的流程图；
[0033]图3示出了本申请一个实施例的点云超分辨率装置结构框图；
[0034]图4示出了本申请一个实施例的电子设备结构框图；
[0035]图5示出了本申请一个实施例的计算机可读存储介质的示意图。
[0036]本申请的目的的实现、功能本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种点云超分辨率方法，其特征在于，包括：构建并训练点云初始超分辨率模型，得到满足精度阈值的点云超分辨率模型；所述点云初始超分辨率模型包括生成器和判别器；将待处理点云划分为分片点云，将所述分片点云输入所述点云超分辨率模型；通过所述生成器提取所述分片点云的几何信息特征和颜色信息特征，并由所述生成器利用所述几何信息特征和所述颜色信息特征重建超分辨率点云；通过所述判别器判断重建的所述超分辨率点云是否达到预设置信度阈值，并输出达到预设置信度阈值的超分辨率点云。2.根据权利要求1所述的点云超分辨率方法，其特征在于，所述生成器包括并行的点云坐标生成通道和点云颜色生成通道；所述点云坐标生成通道用于提取所述分片点云的几何信息特征；所述点云颜色生成通道用于提取所述分片点云的颜色信息特征。3.根据权利要求2所述的点云超分辨率方法，其特征在于，所述训练点云初始超分辨率模型，包括：将训练集中的点云输入所述生成器，所述点云坐标生成通道和所述点云颜色生成通道进行连续两次上采样操作，得到预测点云；计算所述预测点云的预测误差，根据所述预测误差反向更新所述生成器中的参数，迭代直至所述预测误差达到预设阈值为止，得到第一次训练完成的生成器；将所述训练集中的点云以及对应的所述预测点云输入所述判别器以判断所述预测点云的置信度，根据置信度判断结果更新整个所述点云初始超分辨率模型，迭代直至所述置信度达到预设置信度阈值为止。4.根据权利要求1所述的点云超分辨率方法，其特征在于，所述训练点云初始超分辨率模型，包括：使用复合损失作为超分辨率任务训练损失的一部分以训练所述点云初始超分辨率模型；其中，所述复合损失包括对抗损失、形状感知损失和基于几何位置的颜色损失。5.根据权利要求4所述的点云超分辨率方法，其特征在于，所述形状感知损失包含整体约束...

【专利技术属性】
技术研发人员：张新峰，周昳晨，黄庆明，
申请(专利权)人：中国科学院大学，
类型：发明
国别省市：