【技术实现步骤摘要】
本专利技术涉及计算图形学、计算机视觉，尤其涉及一种三维点云配准数据的生成方法及系统、设备、介质，可以大幅度提高训练数据的数量和多样性，解决当前点云数据集数量缺乏的问题。
技术介绍
1、三维点云配准是通过估计刚体变换来匹配同一场景下两个或多个点云的过程，此技术被广泛应用于三维重建(3d reconstruction)、自动驾驶(autonomous driving)、虚拟现实(virtual reality)、增强现实(augmented reality)和机器人(robotics)等领域。
2、现有的三维点云配准方法可以分为直接配准方法和基于匹配点的配准方法两类。
3、直接配准方法通常使用神经网络学习一个从点云特征到对应刚体变换的映射。这种方法通常缺乏可扩展性以及对于复杂环境下的泛化能力。
4、基于匹配点的配准方法利用点云特征寻找匹配点，再根据匹配点估计刚体变换。这一类算法经历了从传统手工特征结合传统估计器到深度特征结合深度估计器的过程。传统手工特征通常基于点云的局部统计特性来描述关键点邻域的几何结构特征来寻找匹配点。然而仅靠人工构造的特征难以精确描述点云的几何结构，由此产生的大量错误匹配点严重影响了三维点云配准的成功率和精确度。在深度学习兴起后，许多基于深度学习的方法利用神经网络在大量点云数据中学习来获得精确描述点云几何结构的能力，极大地提高了寻找匹配点的正确率，从而使得三维点云配准的成功率和精确度都得到了提升。然而，由于三维点云数据在现实世界中的获取难度，一直以来其数据集在质量和数据数量上
5、扩散模型是一种生成式模型。它包含一个向图像逐步添加噪声直至图像满足正态分布的前向过程，和一个对噪声图像逐渐降噪直至其满足某个真实图像分布的反向过程。其中，反向过程的降噪操作通过一个预训练的神经网络实现。扩散模型具有强大的图像生成能力，可以生成高保真度图像的同时满足生成结果多样性的需求。基于这种强大能力，扩散模型已被应用在图像修复，风格变换，超分辨率等多个领域。将扩散模型的生成图像用于辅助训练神经网络的有效性也在多个任务中得以验证。
6、本专利技术提供了一种三维点云配准数据的生成方法及系统、设备、介质，可以大幅度提高训练数据的数量和多样性，解决当前点云数据集数量缺乏的问题。
技术实现思路
1、本专利技术提供了一种三维点云配准数据的生成方法及系统、设备、介质，可以大幅度提高训练数据的数量和多样性，解决当前点云数据集数量缺乏的问题。
2、本专利技术通过下述技术方案实现：一种三维点云配准数据的生成方法，包括以下步骤：
3、步骤s1，获取一张实拍的深度图作为旧视角深度图，对其进行重投影生成残缺深度图；
4、步骤s2，构建三维点云配准模型和点云配准模块，所述三维点云配准模型包括深度图矫正模块、基于扩散模型的深度图生成模块，所述深度图矫正模块包含深度图增强模块和u型卷积网络，所述深度图生成模块包括u型卷积网络；
5、步骤s3，将所述残缺深度图输入进所述深度图矫正模块中进行矫正，生成矫正深度图；
6、步骤s4，将所述矫正深度图输入进所述深度图生成模块中生成新视角深度图，所述新视角深度图包括矫正深度图的缺失部分的深度值；
7、步骤s5，将旧视角深度图和新视角深度图转化为部分重叠的点云对，用于训练所述点云配准模块；
8、步骤s6，训练好的点云配准模块作为特征提取器从任意点云中提取出特征，生成三维点云配准数据。
9、为了更好地实现本专利技术，进一步地，对所述深度图表示的点云进行随机的旋转平移变换，然后重新投影到像素坐标系下，得到同一场景下新视角的残缺深度图。
10、为了更好地实现本专利技术，进一步地，所述步骤s2包括：
11、所述u型卷积网络包括第一下采样卷积层、第二下采样卷积层、第三下采样卷积层、第四下采样卷积层、第一上采样卷积层、第二上采样卷积层、第三上采样卷积层、第一最大池化层、第二最大池化层、第三最大池化层、第一连接模块、第二连接模块和第三连接模块、第一上采样模块、第二上采样模块和第三上采样模块。
12、为了更好地实现本专利技术，进一步地，所述步骤s3包括：
13、所述深度图增强模块会通过最小池化运算和减法运算分别计算出所述残缺深度图中的每个点云像素的邻域最小值和残差，根据所述邻域最小值和残差信息分析重投影后的残缺深度图中蕴含的三维结构；
14、u型卷积网络根据所述邻域最小值和残差信息计算并识别出输入深度图中的错误像素并得到一个掩模，所述掩模表示错误像素所在位置；
15、将所述错误像素删除，获取符合真实物体遮挡关系的结果。
16、为了更好地实现本专利技术，进一步地，所述步骤s4包括：
17、将反向扩散过程中第t次迭代的结果设置为含噪深度图，预设控制条件
18、所述深度图生成模块通过反向扩散过程将所述含噪深度图降噪得到生成过程中间结果，并将生成过程中间结果通过掩模分解成值域投影部分和零域投影部分，其中值域投影被分离并替换为控制条件控制条件与零域投影求和得到本次迭代的结果。
19、为了更好地实现本专利技术，进一步地，所述步骤s5包括:
20、将旧视角深度图和新视角深度图通过三维坐标的变换转化为部分重叠的点云对。
21、为了更好地实现本专利技术，进一步地，所述步骤s6包括：
22、通过特征匹配找到匹配点，从匹配点计算出两个点云之间的刚体变换，从而实现三维点云配准。
23、本专利技术还提供了一种三维点云配准数据的系统，包括重投影单元、模型构建单元、矫正单元、生成单元和配准单元，其中：
24、重投影单元，用于获取一张实拍的深度图作为旧视角深度图，对其进行重投影生成残缺深度图；
25、模型构建单元，用于构建三维点云配准模型和点云配准模块，所述三维点云配准模型包括深度图矫正模块、基于扩散模型的深度图生成模块，所述深度图矫正模块包含深度图增强模块和u型卷积网络，所述深度图生成模块包括u型卷积网络；
26、矫正单元，用于将所述残缺深度图输入进所述深度图矫正模块中进行矫正，生成矫正深度图；
27、生成单元，用于将所述矫正深度图输入进所述深度图生成模块中生成新视角深度图，所述新视角深度图包括矫正深度图的缺失部分的深度值；
28、配准单元，用于将旧视角深度图和新视角深度图转化为部分重叠的点云对，用于训练所述点云配准模块；用于将训练好的点云配准模块作为特征提取器从任意点云中提取出特征，生成三维点云配准数据。
29、本专利技术还提供了一种电子设备，该电子设备包括处理器和存储器；处理器中包括上述第二方面所记载的三维点云配准数据的系统。
30、本专利技术还提供了一种计算机可读存储介质，该计算机可读存储介质包括指令；当指令在上述第本文档来自技高网...
【技术保护点】
1.一种三维点云配准数据的生成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种三维点云配准数据的生成方法，其特征在于，所述步骤S1包括：对所述深度图表示的点云进行随机的旋转平移变换，然后重新投影到像素坐标系下，得到同一场景下新视角的残缺深度图。
3.根据权利要求1所述的一种三维点云配准数据的生成方法，其特征在于，所述步骤S2包括：所述U型卷积网络包括第一下采样卷积层、第二下采样卷积层、第三下采样卷积层、第四下采样卷积层、第一上采样卷积层、第二上采样卷积层、第三上采样卷积层、第一最大池化层、第二最大池化层、第三最大池化层、第一连接模块、第二连接模块和第三连接模块、第一上采样模块、第二上采样模块和第三上采样模块。
4.根据权利要求1所述的一种三维点云配准数据的生成方法，其特征在于，所述步骤S3包括：所述深度图增强模块会通过最小池化运算和减法运算分别计算出所述残缺深度图中的每个点云像素的邻域最小值和残差，根据所述邻域最小值和残差信息分析重投影后的残缺深度图中蕴含的三维结构；
5.根据权利要求1所述的一种三维点云配准数据的生成
6.根据权利要求1所述的一种三维点云配准数据的生成方法，其特征在于，所述步骤S5包括:将旧视角深度图和新视角深度图通过三维坐标的变换转化为部分重叠的点云对。
7.根据权利要求1所述的一种三维点云配准数据的生成方法，其特征在于，所述步骤S6包括：通过特征匹配找到匹配点，从匹配点计算出两个点云之间的刚体变换，从而实现三维点云配准。
8.一种三维点云配准数据的系统，其特征在于，包括重投影单元、模型构建单元、矫正单元、生成单元和配准单元，其中：
9.一种电子设备，其特征在于，包括处理器和存储器；所述处理器用于运行如权利要求8所述的三维点云配准数据的系统。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括指令；当指令在如权利要求9所述的电子设备上运行时，使得所述电子设备执行如权利要求1-7任一项所述的方法。
...【技术特征摘要】
1.一种三维点云配准数据的生成方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种三维点云配准数据的生成方法，其特征在于，所述步骤s1包括：对所述深度图表示的点云进行随机的旋转平移变换，然后重新投影到像素坐标系下，得到同一场景下新视角的残缺深度图。
3.根据权利要求1所述的一种三维点云配准数据的生成方法，其特征在于，所述步骤s2包括：所述u型卷积网络包括第一下采样卷积层、第二下采样卷积层、第三下采样卷积层、第四下采样卷积层、第一上采样卷积层、第二上采样卷积层、第三上采样卷积层、第一最大池化层、第二最大池化层、第三最大池化层、第一连接模块、第二连接模块和第三连接模块、第一上采样模块、第二上采样模块和第三上采样模块。
4.根据权利要求1所述的一种三维点云配准数据的生成方法，其特征在于，所述步骤s3包括：所述深度图增强模块会通过最小池化运算和减法运算分别计算出所述残缺深度图中的每个点云像素的邻域最小值和残差，根据所述邻域最小值和残差信息分析重投影后的残缺深度图中蕴含的三维结构；
5.根据权利要求1所述的一种三维点云配准数据的生成方法，其特征在于，所述步骤s4包括：将反向扩散过程中第...
【专利技术属性】
技术研发人员：刘帅成，陈苏逸，刘光辉，李海鹏，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。