【技术实现步骤摘要】
本申请涉及计算机视觉，特别涉及一种基于图像的场景点云增强方法及装置。
技术介绍
1、相关技术中，可以通过三维激光扫描仪或者多目视觉系统获取高精度三维点云数据，或者通过低精度点云数据增强方法，如基于插值、平滑等简单数学运算，从低精度点云数据中生成高精度点云数据，从而实现点云增强。
2、然而，相关技术中由于低精度点云数据增强缺乏对图像信息的利用，导致生成的高精度点云数据精度较低，降低了点云增强的精准性，并且侧重于点云数据的局部增强，降低了点云增强的适用性，亟待解决。
技术实现思路
1、本申请提供一种基于图像的场景点云增强方法及装置，以解决相关技术中由于低精度点云数据增强缺乏对图像信息的利用，导致生成的高精度点云数据精度较低，降低了点云增强的精准性，并且侧重于点云数据的局部增强，降低了点云增强的适用性的问题。
2、本申请第一方面实施例提供一种基于图像的场景点云增强方法，包括以下步骤：获取单目视觉图像数据和所述单目视觉图像数据对应的精度大于第一预设值的第一目标点云数据，对所述第一目标点云数据进行下采样，得到精度低于第二预设值的第二目标点云数据；对所述单目视觉图像数据和所述第二目标点云数据进行特征提取，得到至少一个特征点，并利用所述至少一个特征点生成第三目标点云数据；利用预先训练模型将所述第三目标点云数据与所述第一目标点云数据进行对比并评估，得到评估结果，将所述评估结果进行矫正，以生成增强后的三维点云。
3、可选地，在本申请的一个实施例中，所述对所述单目视
4、可选地，在本申请的一个实施例中，在利用预先训练模型将所述第三目标点云数据与所述第一目标点云数据进行对比并评估之前，还包括：使用测试集计算所述第三目标点云数据与所述第一目标点云数据之间的距离和重建精度，以根据所述距离和所述重建精度评估所述预先训练模型。
5、可选地，在本申请的一个实施例中，所述使用测试集计算所述第三目标点云数据与所述第一目标点云数据之间的距离和重建精度，包括：将目标wasserstein距离作为损失函数，计算所述第三目标点云数据与所述第一目标点云数据之间的距离。
6、可选地，在本申请的一个实施例中，其中，所述损失函数的约束条件表示为：
7、
8、其中，fij表示是否将第三目标点云中编号为i的点云数据pi与第一目标点云中编号为j的点云数据qj匹配，n表示第一、第三目标点云中点的个数，其中，fij取0/1，pi表示第三目标点云数据，qj表示第一目标点云数据；
9、所述损失函数的目标函数表示为：
10、
11、其中，dij＝[dij]，表示一个n行n列的矩阵，其中，第i行第j列的元素dij为pi到qj的欧氏距离，fij＝[fij]，表示是否将pi与qj匹配，其中，pi表示第三目标点云数据，qj表示第一目标点云数据。
12、本申请第二方面实施例提供一种基于图像的场景点云增强装置，包括：获取模块，用于获取单目视觉图像数据和所述单目视觉图像数据对应的精度大于第一预设值的第一目标点云数据，对所述第一目标点云数据进行下采样，得到精度低于第二预设值的第二目标点云数据；确定模块，用于对所述单目视觉图像数据和所述第二目标点云数据进行特征提取，得到至少一个特征点，并利用所述至少一个特征点生成第三目标点云数据；处理模块，用于利用预先训练模型将所述第三目标点云数据与所述第一目标点云数据进行对比并评估，得到评估结果，将所述评估结果进行矫正，以生成增强后的三维点云。
13、可选地，在本申请的一个实施例中，所述确定模块包括：获取单元，用于利用目标图像特征提取器和目标点云特征提取器，分别提取所述单目视觉图像和所述第二目标点云数据的至少一个特征，并根据所述至少一个特征获取所述至少一个特征点；确定单元，用于将所述至少一个特征点进行融合，得到融合后的特征，将所述融合后的特征输入至多层上采样层和卷积层构成的解码器中进行重建，得到重建结果，并根据所述重建结果生成所述第三目标点云数据。
14、可选地，在本申请的一个实施例中，本申请实施例的装置还包括：计算模块，用于在利用预先训练模型将所述第三目标点云数据与所述第一目标点云数据进行对比并评估之前，使用测试集计算所述第三目标点云数据与所述第一目标点云数据之间的距离和重建精度，以根据所述距离和所述重建精度评估所述预先训练模型。
15、可选地，在本申请的一个实施例中，所述计算模块包括：计算单元，用于将目标wasserstein距离作为损失函数，计算所述第三目标点云数据与所述第一目标点云数据之间的距离。
16、可选地，在本申请的一个实施例中，其中，所述损失函数的约束条件表示为：
17、
18、其中，fij表示是否将第三目标点云中编号为i的点云数据pi与第一目标点云中编号为j的点云数据qj匹配，n表示第一、第三目标点云中点的个数，其中，fij取0/1，pi表示第三目标点云数据，qj表示第一目标点云数据；
19、所述损失函数的目标函数表示为：
20、
21、其中，dij＝|dij]，表示一个n行n列的矩阵，其中，第i行第j列的元素dij为pi到qj的欧氏距离，fij＝[fij]，表示是否将pi与qj匹配，其中，pi表示第三目标点云数据，qj表示第一目标点云数据。
22、本申请第三方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的基于图像的场景点云增强方法。
23、本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，该程序被处理器执行时实现如上的基于图像的场景点云增强方法。
24、本申请实施例可以获取单目视觉图像数据和单目视觉图像数据对应的精度大于第一预设值的第一目标点云数据，并进行下采样，得到精度低于第二预设值的第二目标点云数据，对单目视觉图像数据和第二目标点云数据进行特征提取，得到特征点，从而生成第三目标点云数据，利用预先训练模型将第三目标点云数据与第一目标点云数据进行对比并评估，得到评估结果，将评估结果进行矫正，生成增强后的三维点云，从而有效的提升了点云增强的精准性，并且提升了点云增强的适用性。由此，解决了相关技术中由于低精度点云数据增强缺乏对图像信息的利用，导致生成的高精度点云数据精度较低，降低了点云增强本文档来自技高网...
【技术保护点】
1.一种基于图像的场景点云增强方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述对所述单目视觉图像数据和所述第二目标点云数据进行特征提取，获取至少一个特征点，利用所述至少一个特征点生成第三目标点云数据，包括：
3.根据权利要求1所述的方法，其特征在于，在利用预先训练模型将所述第三目标点云数据与所述第一目标点云数据进行对比并评估之前，还包括：
4.根据权利要求3所述的方法，其特征在于，所述使用测试集计算所述第三目标点云数据与所述第一目标点云数据之间的距离和重建精度，包括：
5.根据权利要求4所述的方法，其特征在于，其中，
6.一种基于图像的场景点云增强装置，其特征在于，包括：
7.根据权利要求6所述的装置，其特征在于，所述确定模块包括：
8.根据权利要求6所述的装置，其特征在于，还包括：
9.一种电子设备，其特征在于，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如权利要求1-5任一项所述的基于图像
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行，以用于实现如权利要求1-5任一项所述的基于图像的场景点云增强方法。
...【技术特征摘要】
1.一种基于图像的场景点云增强方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述对所述单目视觉图像数据和所述第二目标点云数据进行特征提取，获取至少一个特征点，利用所述至少一个特征点生成第三目标点云数据，包括：
3.根据权利要求1所述的方法，其特征在于，在利用预先训练模型将所述第三目标点云数据与所述第一目标点云数据进行对比并评估之前，还包括：
4.根据权利要求3所述的方法，其特征在于，所述使用测试集计算所述第三目标点云数据与所述第一目标点云数据之间的距离和重建精度，包括：
5.根据权利要求4所述的方法，其特征...
【专利技术属性】
技术研发人员：高跃，顾霆枫，别林，黄晋，刘奋，张志军，罗跃军，尹玉成，李汉玢，刘春成，
申请(专利权)人：武汉中海庭数据技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。