一种基于隐空间拓扑结构约束的残缺点云补全方法技术

本发明专利技术公开一种基于隐空间拓扑结构约束的残缺点云补全方法，属于计算机视觉技术领域。基于单视角残缺点云的三维形状补全技术，对深度图转换得到的单视角残缺点云进行补全，获得对象的完整三维点云形状，实现感知对象几何信息的快速重构。S1、采集目标对象的三维空间坐标；S2、对系统输入的原始残缺点云进行点云姿态规范化；S3、基于姿态规范化残缺点云预测其对应的完整关键点骨架；S4、基于预测的完整关键点骨架，恢复其对应的稠密完整点云；S5、基于完整三维点云进行机器人感知任务优化。本发明专利技术可以针对任意位姿的真实三维点云进行形状补全，具有更强的泛化性和鲁棒性，应用范围广、速度快且抗噪声能力强。

【技术实现步骤摘要】
一种基于隐空间拓扑结构约束的残缺点云补全方法
本专利技术涉及一种基于隐空间拓扑结构约束的残缺点云补全方法，属于计算机视觉

技术介绍
作为现代计算机、自动控制、机械制造等技术的应用综合体，机器人具有极高的自主决策和执行能力，可以代替人类完成很多复杂任务。机器人技术中的感知环节是机器人实现环境交互的重要接口，机器人通过感知手段与环境进行信息交互，获取各种环境对象信息以协助操控者进行决策。随着近年来计算机视觉技术的发展，基于计算机视觉的机器人感知技术得到了广泛运用，机器人通过视觉传感器采集对象的三维立体信息进而实现分析感知。但是在实际信息采集过程中，由于遮挡、环境噪声、设备误差等因素的影响，直接采集得到的三维信息(本专利技术使用三维点云作为三维信息表征形式)往往是残缺的，存在信息损失，因此无法对对象的完整几何形状进行描述和表征，这就给后续任务中基于对象完整三维模型的感知理解和行动规划造成了一定的困难。所以有必要专利技术一种残缺点云补全技术对直接采集的残缺点云进行修复，从而获得感知对象完整的三维立体信息，进一步优化后续任务。
技术实现思路
本专利技术针对以上问题，提出了一种基于隐空间拓扑结构约束的残缺点云补全方法，基于单视角残缺点云的三维形状补全技术，对深度图转换得到的单视角残缺点云进行补全，获得对象的完整三维点云形状，实现感知对象几何信息的快速重构。本专利技术的技术方案为：按以下步骤进行处理：S1、通过便携式深度相机拍摄目标对象的单视角深度图像，并根据已知的相机内参数将单视角深度图转换为三维空间坐标，并进行位置规范化预处理，得到原始残缺点云数据；S2、对系统输入的原始残缺点云进行位姿估计，并根据所预测位姿进行点云姿态规范化，得到姿态规范化残缺点云；S3、基于姿态规范化残缺点云预测其对应的完整关键点骨架；S4、基于预测的完整关键点骨架，使用上采样网络恢复其对应的稠密完整点云，即完整三维点云；S5、基于完整三维点云进行机器人感知任务优化。步骤S1具体为：S1.1、使用Kinect二代深度相机拍摄目标对象的深度图片，利用图像分割获取对象实际对应的深度图像区域，并根据相机内参数与针孔相机模型将对象的深度图像转换为原始残缺点云数据；S1.2、针对步骤S1.1获取的原始残缺点云数据，将根据当前的坐标范围通过平移和缩放将其变换到到半径为1的单位球体中，实现位置规范化。步骤S2具体为：S2.1、构建相对位姿特征向量，该位姿向量由旋转轴角、偏移量和缩放因子联合构成，根据罗德里格斯公式可根据位姿向量对点云进行三维仿射变换，变换计算过程如下：R＝I+sinθ*K+(1-cosθ)*K2P'＝R*(s*P)+t其中R为根据罗德里格斯公式计算得到的旋转矩阵，(kx,ky,kz)是单位转轴向量，K是由转轴向量构建的矩阵，θ为旋转角度；P为输入的非对齐点云，P’为经过变换后的对齐点云，s和t为缩放因子和偏移量；S2.2、基于步骤S2.1构建的相对位姿特征向量，借助虚拟三维形状数据集ShapeNet构建训练数据集，对所有点云数据施加已知的位姿变换向量，形成点云-位姿向量数据对用于训练；S2.3、构建位姿预测网络，主要由多层感知器A与全连接网络B组成，并利用步骤S2.2构建的数据集进行网络训练和测试，获取最优的网络训练模型；S2.4、将原始残缺点云输入训练好的网络模型预测位姿，并根据步骤S2.1将位姿转换为三维仿射变换矩阵进一步施加于点云上，将其变换至归一化形状空间。步骤S3具体为：S3.1、利用已有完整点云数据训练关键点提取网络，即实现由稠密完整三维点云到稀疏关键点骨架的映射，Chamfer距离作为深度神经网络的损失函数来监督该训练过程，该指标衡量了两个无序点集之间的相似程度，具体计算方法如下：其中，P1是输入完整稠密点云，P2是预测得到的关键点骨架点云；S3.2、构建残缺点云关键点补全网络，该网络主要由多层感知器C和全连接层网络D构成，将残缺三维点云输入网络，估计其对应潜在关键点骨架的点云坐标，其训练方法与步骤S3.1类似，使用预测关键点和真值关键点间的Chamfer距离作为网络训练约束。步骤S4具体为：S4.1、在S3.1构建的关键点提取网络后增加关键点上采样网络，将提取得到的关键点骨架进一步恢复得到其对应的稠密完整点云，该训练过程将预测点云与真值稠密点云之间的Chamfer距离作为训练约束；S4.2、基于步骤S4.1预训练好的上采样网络，将残缺点云预测到的关键点骨架进行上采样，恢复出其对应的潜在完整稠密点云；S4.3、为保证输入残缺点云中的细节结构信息不会在网络学习过程中丢失，最后采用最远点采样技术将输入的残缺点云和预测的完整点云进行混合采样，最终得到残缺点云的补全结果。在一种应用情况下，步骤S5具体为：基于该完整三维点云模型，机器人可以进行更加准确的目标检测任务，即基于三维点云进行目标检测，并与传统基于二维图片的检测方法相融合，实现基于多模态数据的目标检测，优化检测性能。在另一种应用情况下，步骤S5具体为：基于完整三维点云模型，可以优化机器人感知中的目标抓取任务，即基于完整的三维空间信息，机器人控制系统可以更加准确地计算抓取位置。本专利技术着眼于机器人感知的对象建模环节，即获取感知对象的立体三维形状信息，拟进行基于单幅深度图像的三维点云补全。在单视角深度图像采样条件下，感知对象存在自遮挡这一本质问题，机器人很难在复杂环境下快速获取感知对象的完整三维信息，所以目前基于三维的环境感知技术并没有取得理想的效果。针对视觉感知环节中立体信息缺失、采样范围有限、精度要求较高等问题，本专利技术提出基于单视角残缺点云的三维形状补全技术，对深度转换得到的单视角残缺点云进行补全，获得对象的完整三维点云形状，实现感知对象几何信息的快速重构。基于已有的完整稠密点云数据，本专利技术拟首先训练一个点云下采样-上采样自编码器，稠密点云经过全连接网络下采样得到稀疏关键点骨架，该关键点骨架再经过上采样恢复为稠密完整点云，这么做的原因是摆脱网络训练对真值三维点骨架的依赖，并构建出一种可解释的隐空间拓扑结构特征编码。接着，残缺点云在其对应的拓扑结构特征编码监督下生成其对应潜在完整形状的关键点骨架，预测得到的骨架送入之前预训练好的上采样模块恢复得到稠密点云。为保证输入残缺点云中的细节结构信息不会在网络学习的过程中丢失或被破坏，最后还将利用最远点采样技术将输入点云和网络预测点云进行混合采样，得到目标点云的完整稠密点云作为补全最终结果。本专利技术可以针对任意位姿的真实三维点云进行结构补全，具有更强的泛化性和鲁棒性，应用范围广、速度快且抗噪声能力强。附图说明图1为完整与残缺点云示意图；图2为基于隐空间拓扑结构约束的残缺点云补全方法流程图；图3为迭代位姿估计网络结构示意图；图4为基于PointNet网络结构的编码器-解码器网络结构示本文档来自技高网...

【技术保护点】
1.一种基于隐空间拓扑结构约束的残缺点云补全方法，其特征在于，按以下步骤进行处理：/nS1、通过便携式深度相机拍摄目标对象的单视角深度图像，并根据已知的相机内参数将单视角深度图转换为三维空间坐标，并进行位置规范化预处理，得到原始残缺点云数据；/nS2、对系统输入的原始残缺点云进行位姿估计，并根据所预测位姿进行点云姿态规范化，得到姿态规范化残缺点云；/nS3、基于姿态规范化残缺点云预测其对应的完整关键点骨架；/nS4、基于预测的完整关键点骨架，使用上采样网络恢复其对应的稠密完整点云，即完整三维点云；/nS5、基于完整三维点云进行机器人感知任务优化。/n

【技术特征摘要】
1.一种基于隐空间拓扑结构约束的残缺点云补全方法，其特征在于，按以下步骤进行处理：
S1、通过便携式深度相机拍摄目标对象的单视角深度图像，并根据已知的相机内参数将单视角深度图转换为三维空间坐标，并进行位置规范化预处理，得到原始残缺点云数据；
S2、对系统输入的原始残缺点云进行位姿估计，并根据所预测位姿进行点云姿态规范化，得到姿态规范化残缺点云；
S3、基于姿态规范化残缺点云预测其对应的完整关键点骨架；
S4、基于预测的完整关键点骨架，使用上采样网络恢复其对应的稠密完整点云，即完整三维点云；
S5、基于完整三维点云进行机器人感知任务优化。


2.根据权利要求1所述的一种基于隐空间拓扑结构约束的残缺点云补全方法，其特征在于，步骤S1具体为：
S1.1、使用Kinect二代深度相机拍摄目标对象的深度图片，利用图像分割获取对象实际对应的深度图像区域，并根据相机内参数与针孔相机模型将对象的深度图像转换为原始残缺点云数据；
S1.2、针对步骤S1.1获取的原始残缺点云数据，将根据当前的坐标范围通过平移和缩放将其变换到到半径为1的单位球体中，实现位置规范化。


3.根据权利要求1所述的一种基于隐空间拓扑结构约束的残缺点云补全方法，其特征在于，步骤S2具体为：
S2.1、构建相对位姿特征向量，该位姿向量由旋转轴角、偏移量和缩放因子联合构成，根据罗德里格斯公式可根据位姿向量对点云进行为三维仿射变换，变换计算过程如下：



R＝I+sinθ*K+(1-cosθ)*K2
P′＝R*(s*P)+t
其中R为根据罗德里格斯公式计算得到的旋转矩阵，(kx,ky,kz)是单位转轴向量，K是由转轴向量构建的矩阵，θ为旋转角度；P为输入的非对齐点云，P’为经过变换后的对齐点云，s和t为缩放因子和偏移量；
S2.2、基于步骤S2.1构建的相对位姿特征向量，借助虚拟三维形状数据集ShapeNet构建训练数据集，对所有点云数据施加已知的位姿变换向量，形成点云-位姿向量数据对用于训练；
S2.3、构建位姿预测网络，主要由多层感知器A与全连接网络B组成，并利用步骤S2.2构建的数据集进行网络训练和测试，获取最优的网络训练模型；
S2.4、将原始残缺点云...

【专利技术属性】
技术研发人员：彭聪，朱一凡，王雁刚，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32