生成点云补全网络及点云数据的处理制造技术

本公开实施例提供生成点云补全网络的方法和装置，以及点云数据的处理方法、装置和系统。由第一点云补全网络基于隐空间采样出的隐空间向量获取第一点云数据，再基于第一点云数据中的点的分布特征调整第一点云补全网络，以生成第二点云补全网络。由于在生成第二点云补全网络的过程中考虑了点云数据中点的分布特征，从而使训练出的第二点云补全网络能够对点云数据中点的分布特征进行修正，进而输出点的分布特征比较均匀的点云数据。分布特征比较均匀的点云数据。分布特征比较均匀的点云数据。

【技术实现步骤摘要】
【国外来华专利技术】生成点云补全网络及点云数据的处理
[0001]交叉引用声明
[0002]本申请要求2021年3月30日递交的新加坡专利申请10202103270P的优先权，该申请的全部内容在此引入本申请作为参考。


[0003]本公开涉及计算机视觉
，尤其涉及生成点云补全网络的方法和装置，以及点云数据的处理方法、装置和系统。

技术介绍

[0004]点云补全用于修补有所缺失的点云数据(即残缺点云数据)，从残缺点云数据出发估计完整点云数据。点云补全在自动驾驶、机器人导航等多个领域有着诸多应用。传统的点云补全网络输出的点云分布不均匀，使得输出的点云在下游任务中的应用效果较差。

技术实现思路

[0005]本公开提供生成点云补全网络的方法和装置，以及点云数据的处理方法、装置和系统。
[0006]根据本公开实施例的第一方面，提供一种生成点云补全网络的方法，包括：基于隐空间采样出隐空间向量；将所述隐空间向量输入至第一点云补全网络以获取基于所述隐空间向量生成的第一点云数据；确定所述第一点云数据中的点的分布特征；根据所述点的分布特征调整所述第一点云补全网络，以生成第二点云补全网络。
[0007]在一些实施例中，所述确定所述第一点云数据中的点的分布特征，包括：确定所述第一点云数据中的多个点云块；计算所述多个点云块的点密度的方差，作为所述第一点云数据中的点的分布特征。
[0008]在一些实施例中，所述确定所述第一点云数据中的多个点云块，包括：从所述第一点云数据中采样多个种子位置的点作为种子点；针对每个种子点，确定所述种子点的多个邻近点，并将所述种子点与所述多个邻近点确定为一个点云块。
[0009]在一些实施例中，所述点云块的点密度根据所述点云块内的种子点与所述种子点的各邻近点之间的距离确定。
[0010]在一些实施例中，所述根据所述点的分布特征调整所述第一点云补全网络，以生成第二点云补全网络，包括：基于所述第一点云数据中的点的分布特征建立第一损失函数，所述第一损失函数表征第一点云数据中的点的分布的均匀性；基于所述第一点云数据与样本点云数据集中的完整点云数据建立第二损失函数，所述第二损失函数表征所述第一点云数据与所述完整点云数据之间的差异；基于所述第一损失函数和第二损失函数对所述第一点云补全网络进行训练，得到所述第二点云补全网络。
[0011]在一些实施例中，所述根据所述点的分布特征调整所述第一点云补全网络，以生成第二点云补全网络，包括：基于所述第一点云数据中的点的分布特征建立第三损失函数；
基于所述第一点云数据经过预设的退化处理后得到的相应点云数据与从物理空间采集的真实点云数据之间的差异建立第四损失函数；基于所述第三损失函数和第四损失函数对所述第一点云补全网络进行优化，得到所述第二点云补全网络。
[0012]在一些实施例中，所述预设的退化处理包括：对所述真实点云数据中的任意一个目标点，从所述第一点云数据中确定与所述目标点最邻近的至少一个邻近点；将所述真实点云数据中各个目标点在所述第一点云数据中的邻近点的并集确定为所述相应点云数据。
[0013]在一些实施例中，所述方法还包括：获取点云采集装置从三维空间中采集的原始点云数据；对所述原始点云数据进行点云分割得到至少一个对象的第二点云数据；采用第二点云补全网络对所述第二点云数据进行补全。
[0014]在一些实施例中，所述方法还包括：根据至少两个对象的补全后的第二点云数据检测所述至少两个对象之间的关联性。
[0015]根据本公开实施例的第二方面，提供一种点云数据的处理方法，所述方法包括：获取游戏区域内的游戏参与者的第一待处理点云以及游戏对象的第二待处理点云；将所述第一待处理点云和所述第二待处理点云输入预先训练的第二点云补全网络，获取所述第二点云补全网络输出的所述第一待处理点云对应的第一经处理点云以及所述第二待处理点云对应的第二经处理点云；基于所述第一经处理点云和所述第二经处理点云对所述游戏参与者和所述游戏对象进行关联处理；其中，所述第二点云补全网络通过基于第一点云数据中的点的分布特征对第一点云补全网络进行调整得到，且所述第一点云数据由所述第一点云补全网络基于隐空间向量生成。
[0016]在一些实施例中，所述游戏对象包括所述游戏区域内投入的游戏币；所述方法还包括：基于所述第一经处理点云和所述第二经处理点云的关联结果，确定所述游戏参与者在所述游戏区域内投入的游戏币。
[0017]在一些实施例中，所述方法还包括：基于所述第一经处理点云和所述第二经处理点云的关联结果，确定所述游戏参与者针对所述游戏对象执行的动作。
[0018]在一些实施例中，所述获取游戏区域内的游戏参与者的第一待处理点云以及游戏对象的第二待处理点云，包括：获取设置在所述游戏区域周围的点云采集装置采集的原始点云数据；对所述原始点云数据进行点云分割，得到所述游戏参与者的第一待处理点云以及游戏对象的第二待处理点云。
[0019]在一些实施例中，所述第二点云补全网络用于对多个类别的游戏参与者的第一待处理点云和/或多个类别的游戏对象的第二待处理点云进行补全；或者所述第二点云补全网络包括第一点云补全子网络和第二点云补全子网络，所述第一点云补全子网络用于对第一类别的游戏参与者的第一待处理点云进行补全，所述第二点云补全子网络用于对第二类别的游戏对象的第二待处理点云进行补全。
[0020]根据本公开实施例的第三方面，提供一种生成点云补全网络的装置，所述装置包括：采样模块，用于基于隐空间采样出隐空间向量，将所述隐空间向量输入至第一点云补全网络以获取所基于所述隐空间向量生成的第一点云数据；确定模块，用于确定所述第一点云数据中的点的分布特征；生成模块，用于根据所述点的分布特征调整所述第一点云补全网络，以生成第二点云补全网络。
[0021]在一些实施例中，所述确定模块包括：点云块确定单元，用于确定所述第一点云数
据中的多个点云块；计算单元，用于计算所述多个点云块的点密度的方差，作为所述第一点云数据中的点的分布特征。
[0022]在一些实施例中，所述点云块确定单元包括：采样子单元，用于从所述第一点云数据中采样多个种子位置的点作为种子点；确定子单元，用于针对每个种子点，确定所述种子点的多个邻近点，并将所述种子点与所述多个邻近点确定为一个点云块。
[0023]在一些实施例中，所述点云块的点密度根据所述点云块内的种子点与所述种子点的各邻近点之间的距离确定。
[0024]在一些实施例中，所述生成模块包括：第一建立单元，用于基于所述第一点云数据中的点的分布特征建立第一损失函数，所述第一损失函数表征第一点云数据中的点的分布的均匀性；第二建立单元，用于基于所述第一点云数据与样本点云数据集中的完整点云数据建立第二损失函数，所述第二损失函数表征所述第一点云数据与所述完整点云数据之间的差异；训练单元，用于基于所述第一损失函数和第二损失函数对所述第一点云补全网络进行训练，得到所述第二点云补全网络。
[0025]在一些实施例中，本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种生成点云补全网络的方法，包括：基于隐空间采样出隐空间向量；将所述隐空间向量输入至第一点云补全网络以获取基于所述隐空间向量生成的第一点云数据；确定所述第一点云数据中的点的分布特征；根据所述点的分布特征调整所述第一点云补全网络，以生成第二点云补全网络。2.根据权利要求1所述的方法，其中，所述确定所述第一点云数据中的点的分布特征，包括：确定所述第一点云数据中的多个点云块；计算所述多个点云块的点密度的方差，作为所述第一点云数据中的点的分布特征。3.根据权利要求2所述的方法，其中，所述确定所述第一点云数据中的多个点云块，包括：从所述第一点云数据中采样多个种子位置的点作为种子点；针对每个种子点，确定所述种子点的多个邻近点，并将所述种子点与所述多个邻近点确定为一个点云块。4.根据权利要求3所述的方法，其中，所述点云块的点密度根据所述点云块内的种子点与所述种子点的各邻近点之间的距离确定。5.根据权利要求1至4任意一项所述的方法，其中，所述根据所述点的分布特征调整所述第一点云补全网络，以生成第二点云补全网络，包括：基于所述第一点云数据中的点的分布特征建立第一损失函数，所述第一损失函数表征第一点云数据中的点的分布的均匀性；基于所述第一点云数据与样本点云数据集中的完整点云数据建立第二损失函数，所述第二损失函数表征所述第一点云数据与所述完整点云数据之间的差异；基于所述第一损失函数和第二损失函数对所述第一点云补全网络进行训练，得到所述第二点云补全网络。6.根据权利要求1至4任意一项所述的方法，其中，所述根据所述点的分布特征调整所述第一点云补全网络，以生成第二点云补全网络，包括：基于所述第一点云数据中的点的分布特征建立第三损失函数；基于所述第一点云数据经过预设的退化处理后得到的相应点云数据与从物理空间采集的真实点云数据之间的差异建立第四损失函数；基于所述第三损失函数和第四损失函数对所述第一点云补全网络进行优化，得到所述第二点云补全网络。7.根据权利要求6所述的方法，其中，所述预设的退化处理包括：对所述真实点云数据中的任意一个目标点，从所述第一点云数据中确定与所述目标点最邻近的至少一个邻近点；将所述真实点云数据中各个目标点在所述第一点云数据中的邻近点的并集确定为所述相应点云数据。8.根据权利要求1至7任意一项所述的方法，还包括：获取点云采集装置从三维空间中采集的原始点云数据；
对所述原始点云数据进行点云分割得到至少一个对象的第二点云数据；采用第二点云补全网络对所述第二点云数据进行补全。9.根据权利要求8所述的方法，还包括：根据至少两个对象的补全后的第二点云数据检测所述至少两个对象之间的关联性。10.一种点云数据的处理方法，包括：获取游戏区域内的游戏参与者的第一待处理点云以及游戏对象的第二待处理点云；将所述第一待处理点云和所述第二待处理点云输入预先训练的第二点云补全网络，获取所述第二点云补全网络输出的所述第一待处理点云对应的第一经处理点云以及所述第二待处理点云对应的第二经处理点云；基于所述第一经处理点云和所述第二经处理点云对所述游戏参与者和所述游戏对象进行关联处理；其中，所述第二点云补全网络通过基于第一点云数据中的点的分布特征对第一点云补全网络进行调整得到，且所述第一点云数据由所述第一点云补全网络基于隐空间向量生成。11.根据权利要求10所述的方法，所述游戏对象包括所述游戏区域内投入的游戏币；所...

【专利技术属性】
技术研发人员：张俊哲，陈心怡，蔡中昂，赵海宇，伊帅，
申请(专利权)人：商汤国际私人有限公司，
类型：发明
国别省市：