基于图像的点云补全方法及系统技术方案

本申请提出一种基于图像的点云补全方法及系统，涉及计算机视觉及计算摄像学技术领域，其中，方法包括：获取目标物体的单张真彩RGB图像和在不同场景下的残缺点云，对RGB图像进行点云重建获取稀疏点云；将稀疏点云与残缺点云统一至同一视角后合并，使用最远点采样方式进行采样获取粗点云；计算粗点云与残缺点云之间的最近邻点距离，根据最近邻点距离和阈值获取精细点云区域与粗糙点云区域；对精细点云区域与粗糙点云区域分别预测不同长度的位移向量，将位移向量分别与不同的点云进行相加，获取强化后的精细点云区域与粗糙点云区域后进行合并获取高精度点云。由此，引入视图信息，以提升补全点云的精度，实现基于视图的三维点云跨模态补全。

【技术实现步骤摘要】
基于图像的点云补全方法及系统
本申请涉及计算机视觉及计算摄像学
，尤其涉及一种基于图像的点云补全方法及系统。
技术介绍
通常，立体视觉在增强现实AR/虚拟现实VR、电影制作、工业探伤等领域有着重要应用价值，对于三维物体的精确描述与完整呈现至关重要。三维点云是三维物体常见的表示形式，其能够精确的描述空间中每一个点云的坐标。每一个点为三元组(x,y,z)，描述一个点在空间中的位置，点云由一系列点组成，描述空间内的三维物体。点云因其结构简单、易于处理的特性，成为深度相机的主要采集格式。深度相机使用结构光、飞时传感器等元件感知立体空间内的深度信息，并以点云的形式进行存储。受限于采集视角与物体遮挡等因素，深度相机无法一次性采集三维物体的完整的三维结构，或因被采集物体处于运动状态，采集的点云存在不同程度的缺陷。残缺点云无法有效完整的描述三维物体的结构，实用价值低，难以有效应用于各类生产场景。对残缺点云的补全与增强是工业界亟需的技术手段。
技术实现思路
本申请旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本申请的第一个目的在于提出一种基于图像的点云补全方法，引入视图信息，以提升补全点云的精度，实现基于视图的三维点云跨模态补全。本申请的第二个目的在于提出一种基于图像的点云补全系统。为达上述目的，本申请第一方面实施例提出了一种基于图像的点云补全方法，包括：获取目标物体的单张真彩RGB图像，并采集所述目标物体在不同场景下的残缺点云，以及利用点云重建神经网络对所述RGB图像进行点云重建，获取具有完整轮廓的稀疏点云；使用相机外参矩阵将所述稀疏点云与所述残缺点云进行对齐以使统一至同一视角，并将所述稀疏点云与所述残缺点云进行合并，并使用最远点采样方式进行采样，获取粗点云；使用倒角距离计算所述粗点云与所述残缺点云之间的最近邻点距离，根据所述最近邻点距离和阈值，获取精细点云区域与粗糙点云区域；针对所述精细点云区域与所述粗糙点云区域分别使用动态位移预测方法预测不同长度的位移向量，将所述位移向量分别与不同的点云进行相加，获取强化后的精细点云区域与粗糙点云区域；将所述强化后的精细点云区域与粗糙点云区域进行合并，获取高精度点云。本申请实施例的基于图像的点云补全方法，通过获取目标物体的单张真彩RGB图像和在不同场景下的残缺点云，对RGB图像进行点云重建获取稀疏点云；将稀疏点云与残缺点云统一至同一视角后合并，使用最远点采样方式进行采样获取粗点云；计算粗点云与残缺点云之间的最近邻点距离，根据最近邻点距离和阈值获取精细点云区域与粗糙点云区域；对精细点云区域与粗糙点云区域分别预测不同长度的位移向量，将位移向量分别与不同的点云进行相加，获取强化后的精细点云区域与粗糙点云区域后进行合并获取高精度点云。由此，引入视图信息，以提升补全点云的精度，实现基于视图的三维点云跨模态补全。可选地，在本申请的一个实施例中，采集所述目标物体在不同场景下的残缺点云，包括：使用深度相机或激光雷达从所述目标物体在自我遮挡场景下进行拍摄，获取残缺点云；和/或，使用深度相机或激光雷达从所述目标物体在自我遮挡和相互遮挡场景下进行拍摄，获取残缺点云；其中，每一个点为三元组(x,y,z)，点云整体可以表示为其中，P表示所述目标物体的三维结构，N表示点云的点数。可选地，在本申请的一个实施例中，所述利用点云重建神经网络对所述RGB图像进行点云重建，获取具有完整轮廓的稀疏点云，包括：使用一系列卷积构建图像编码器，提取所述RGB图像的图像特征，将所述图像特征编码为隐空间向量；使用一系列反卷积作为点云解码器，将所述隐空间向量恢复为粗糙重建点云，获取所述具有完整轮廓的稀疏点云。可选地，在本申请的一个实施例中，所述倒角距离定义为：其中，P与Q为两个空间内的两个点集，倒角距离描述了两个点云之间最近点间的距离；所述使用倒角距离计算所述粗点云与所述残缺点云之间的最近邻点距离，根据所述最近邻点距离和阈值，获取精细点云区域与粗糙点云区域，包括：将所述粗点云划分为两部分，使用公式(1)计算所述点云的两部分之间的最近邻点距离的平均值作为所述阈值，使用公式(1)计算所述粗点云与所述残缺点云之间的最近邻点距离，其中，最近邻点距离小于所述阈值的为精细点云，获取所述精细点云区域与所述粗糙点云区域。可选地，在本申请的一个实施例中，所述针对所述精细点云区域与所述粗糙点云区域分别使用动态位移预测方法预测不同长度的位移向量，将所述位移向量分别与不同的点云进行相加，获取强化后的精细点云区域与粗糙点云区域，包括:获取点云三维特征、视图二维特征、粗点云全局特征融合处理，获取融合特征；构建动态位移预测器对所述精细点云区域，依据输入的融合特征预测小尺度的位移向量，与所述精细点云区域自身的空间坐标相加，获取强化后的精细点云区域；所述动态位移预测器对于粗糙点云区域，依据输入的融合特征预测大尺度的位移向量，与所述粗糙点云区域自身的空间坐标相加，获取强化后的粗糙点云区域。为达上述目的，本申请第二方面实施例提出了一种基于图像的点云补全系统，包括：第一获取模块，用于获取目标物体的单张真彩RGB图像；采集模块，用于采集所述目标物体在不同场景下的残缺点云；重建模块，用于利用点云重建神经网络对所述RGB图像进行点云重建，获取具有完整轮廓的稀疏点云；第二获取模块，用于使用相机外参矩阵将所述稀疏点云与所述残缺点云进行对齐以使统一至同一视角，并将所述稀疏点云与所述残缺点云进行合并，并使用最远点采样方式进行采样，获取粗点云；第三获取模块，用于使用倒角距离计算所述粗点云与所述残缺点云之间的最近邻点距离，根据所述最近邻点距离和阈值，获取精细点云区域与粗糙点云区域；第四获取模块，用于针对所述精细点云区域与所述粗糙点云区域分别使用动态位移预测方法预测不同长度的位移向量，将所述位移向量分别与不同的点云进行相加，获取强化后的精细点云区域与粗糙点云区域；合并模块，用于将所述强化后的精细点云区域与粗糙点云区域进行合并，获取高精度点云。本申请实施例的基于图像的点云补全系统，通过获取目标物体的单张真彩RGB图像和在不同场景下的残缺点云，对RGB图像进行点云重建获取稀疏点云；将稀疏点云与残缺点云统一至同一视角后合并，使用最远点采样方式进行采样获取粗点云；计算粗点云与残缺点云之间的最近邻点距离，根据最近邻点距离和阈值获取精细点云区域与粗糙点云区域；对精细点云区域与粗糙点云区域分别预测不同长度的位移向量，将位移向量分别与不同的点云进行相加，获取强化后的精细点云区域与粗糙点云区域后进行合并获取高精度点云。由此，引入视图信息，以提升补全点云的精度，实现基于视图的三维点云跨模态补全。可选地，在本申请的一个实施例中，所述采集模块，具体用于：使用深度相机或激光雷达从所述目标物体在自我遮挡场景下进行拍摄，获取残缺点云；和/或，使用深本文档来自技高网...

【技术保护点】
1.一种基于图像的点云补全方法，其特征在于，包括以下步骤：/n获取目标物体的单张真彩RGB图像，并采集所述目标物体在不同场景下的残缺点云，以及利用点云重建神经网络对所述RGB图像进行点云重建，获取具有完整轮廓的稀疏点云；/n使用相机外参矩阵将所述稀疏点云与所述残缺点云进行对齐以使统一至同一视角，并将所述稀疏点云与所述残缺点云进行合并，并使用最远点采样方式进行采样，获取粗点云；/n使用倒角距离计算所述粗点云与所述残缺点云之间的最近邻点距离，根据所述最近邻点距离和阈值，获取精细点云区域与粗糙点云区域；/n针对所述精细点云区域与所述粗糙点云区域分别使用动态位移预测方法预测不同长度的位移向量，将所述位移向量分别与不同的点云进行相加，获取强化后的精细点云区域与粗糙点云区域；/n将所述强化后的精细点云区域与粗糙点云区域进行合并，获取高精度点云。/n

【技术特征摘要】
1.一种基于图像的点云补全方法，其特征在于，包括以下步骤：
获取目标物体的单张真彩RGB图像，并采集所述目标物体在不同场景下的残缺点云，以及利用点云重建神经网络对所述RGB图像进行点云重建，获取具有完整轮廓的稀疏点云；
使用相机外参矩阵将所述稀疏点云与所述残缺点云进行对齐以使统一至同一视角，并将所述稀疏点云与所述残缺点云进行合并，并使用最远点采样方式进行采样，获取粗点云；
使用倒角距离计算所述粗点云与所述残缺点云之间的最近邻点距离，根据所述最近邻点距离和阈值，获取精细点云区域与粗糙点云区域；
针对所述精细点云区域与所述粗糙点云区域分别使用动态位移预测方法预测不同长度的位移向量，将所述位移向量分别与不同的点云进行相加，获取强化后的精细点云区域与粗糙点云区域；
将所述强化后的精细点云区域与粗糙点云区域进行合并，获取高精度点云。


2.如权利要求1所述的方法，其特征在于，采集所述目标物体在不同场景下的残缺点云，包括：
使用深度相机或激光雷达从所述目标物体在自我遮挡场景下进行拍摄，获取残缺点云；和/或，
使用深度相机或激光雷达从所述目标物体在自我遮挡和相互遮挡场景下进行拍摄，获取残缺点云；其中，每一个点为三元组(x,y,z)，点云整体可以表示为其中，P表示所述目标物体的三维结构，N表示点云的点数。


3.如权利要求1所述的方法，其特征在于，所述利用点云重建神经网络对所述RGB图像进行点云重建，获取具有完整轮廓的稀疏点云，包括：
使用一系列卷积构建图像编码器，提取所述RGB图像的图像特征，将所述图像特征编码为隐空间向量；
使用一系列反卷积作为点云解码器，将所述隐空间向量恢复为粗糙重建点云，获取所述具有完整轮廓的稀疏点云。


4.如权利要求1所述的方法，其特征在于，所述倒角距离定义为：



其中，P与Q为两个空间内的两个点集，倒角距离描述了两个点云之间最近点间的距离；
所述使用倒角距离计算所述粗点云与所述残缺点云之间的最近邻点距离，根据所述最近邻点距离和阈值，获取精细点云区域与粗糙点云区域，包括：
将所述粗点云划分为两部分，使用公式(1)计算所述点云的两部分之间的最近邻点距离的平均值作为所述阈值，使用公式(1)计算所述粗点云与所述残缺点云之间的最近邻点距离，其中，最近邻点距离小于所述阈值的为精细点云，获取所述精细点云区域与所述粗糙点云区域。


5.如权利要求1所述的方法，其特征在于，所述针对所述精细点云区域与所述粗糙点云区域分别使用动态位移预测方法预测不同长度的位移向量，将所述位移向量分别与不同的点云进行相加，获取强化后的精细点云区域与粗糙点云区域，包括:
获取点云三维特征、视图二维特征、粗点云全局特征融合处理，获取融合特征；
构建动态位移预测器对所述精细点云区域，依据输入的融合特征预测小尺度的位移向量，与所述精细点云区域自身的空间坐标相加，获取强化后的精细点云区域；
所述动态位移预测器对于粗糙点云区域，依据输...

【专利技术属性】
技术研发人员：赵曦滨，张轩诚，高跃，
申请(专利权)人：清华大学，
类型：发明
国别省市：北京;11