生成点云补全网络及点云数据处理制造技术

技术编号:30529672 阅读:40 留言:0更新日期:2021-10-27 23:19
本公开实施例提供一种生成点云补全网络及点云数据处理方法、装置和系统。所述方法包括,将隐空间向量输入经过预训练的第一点云补全网络,得到第一点云数据;获取从物理空间采集的针对真实对象的真实点云数据;对所述真实点云数据中的一个真实点,从所述第一点云数据中选择与所述真实点邻近的预设数量个点作为所述真实点的邻近点;基于多个所述真实点在所述第一点云数据中的邻近点生成第二点云数据;根据所述第二点云数据与所述真实点云数据之间的差异对所述第一点云补全网络进行调整,得到第二点云补全网络。到第二点云补全网络。到第二点云补全网络。

【技术实现步骤摘要】
【国外来华专利技术】生成点云补全网络及点云数据处理
[0001]相关申请的交叉引用
[0002]本申请要求2021年3月30日递交的、题为“生成点云补全网络及点云数据处理”、申请号为10202103264X的新加坡专利申请,其全部内容通过引用并入本文。


[0003]本公开涉及计算机视觉
,尤其涉及生成点云补全网络及点云数据处理方法、装置和系统。

技术介绍

[0004]点云补全用于修补有所缺失的点云数据(即残缺点云数据),从残缺点云数据出发估计完整点云数据。点云补全在自动驾驶、机器人导航等多个领域有着诸多应用。因此,有必要对点云补全网络的生成方式进行改进,以提高点云补全网络的准确性。

技术实现思路

[0005]本公开提供一种生成点云补全网络及点云数据处理方法、装置和系统。
[0006]根据本公开实施例的第一方面,提供一种生成点云补全网络的方法,所述方法包括:将隐空间向量输入经过预训练的第一点云补全网络,得到第一点云数据;获取从物理空间采集的针对真实对象的真实点云数据;对所述真实点云数据中的一个真实点,从所述第一点云数据中选择与所述真实点邻近的预设数量个点作为所述真实点的邻近点;基于多个所述真实点在所述第一点云数据中的邻近点生成第二点云数据;根据所述第二点云数据与所述真实点云数据之间的差异对所述第一点云补全网络进行调整,得到第二点云补全网络。
[0007]在一些实施例中,所述方法还包括:获取第三点云数据;采用所述第二点云补全网络对所述第三点云数据进行补全,得到第四点云数据。
[0008]在一些实施例中,所述方法还包括:获取点云采集装置从物理空间中采集的初始点云数据;对所述初始点云数据进行点云分割,以获取所述第三点云数据。
[0009]在一些实施例中,所述方法还包括:对多帧第四点云数据进行关联处理。
[0010]在一些实施例中,所述从所述第一点云数据中选择与所述真实点邻近的预设数量个点作为所述真实点的邻近点,包括:从所述第一点云数据中选择与所述真实点距离最近的预设数量个点,作为所述真实点的邻近点。
[0011]在一些实施例中,所述基于多个所述真实点在所述第一点云数据中的邻近点生成第二点云数据,包括:对所述真实点云数据中的多个真实点在所述第一点云数据中的所述邻近点取并集,得到所述第二点云数据。
[0012]在一些实施例中,所述方法还包括:基于样本点云数据集中的完整点云数据对所述第一点云补全网络进行预训练。
[0013]在一些实施例中,所述方法还包括:获取所述第一点云数据中的多个点云块;分别
确定各个点云块中点的分布特征;基于所述各个点云块中点的分布特征,建立损失函数;基于所述损失函数对经训练的所述第二点云补全网络进行优化处理。
[0014]在一些实施例中,所述方法还包括:基于以下方式获取所述隐空间向量:从隐空间中采样多个初始隐空间向量;分别获取所述第一点云补全网络基于各个初始隐空间向量生成的点云数据;针对每个初始隐空间向量,基于所述初始隐空间向量对应的点云数据以及所述真实点云数据,确定所述初始隐空间向量的目标函数;基于各个初始隐空间向量的目标函数,从各个初始隐空间向量中确定所述隐空间向量。
[0015]根据本公开实施例的第二方面,提供一种点云数据处理方法,所述方法包括:获取游戏区域内的游戏参与者对应的第一待处理点云数据以及游戏对象对应的第二待处理点云数据;获取点云补全网络对所述第一待处理点云数据进行补全后得到的第一经处理点云数据,以及所述点云补全网络对所述第二待处理点云数据进行补全后得到的第二经处理点云数据;对所述第一经处理点云数据和所述第二经处理点云数据进行关联处理;其中,所述点云补全网络在经过预训练之后,基于第二点云数据以及从物理空间采集的针对真实对象的真实点云数据调整得到,所述第二点云数据基于所述真实点云数据中的多个真实点在第一点云数据中的邻近点生成,所述第一点云数据由预训练的所述点云补全网络基于隐空间向量生成。
[0016]在一些实施例中,所述游戏对象包括所述游戏区域内放置的游戏积分卡;所述方法还包括:基于所述第一经处理点云数据和所述第二经处理点云数据的关联结果,执行以下至少任一操作:确定所述游戏参与者在所述游戏区域内放置的游戏积分卡;确定所述游戏参与者针对所述游戏对象执行的动作。
[0017]在一些实施例中,所述获取游戏区域内的游戏参与者的第一待处理点云数据以及游戏对象对应的第二待处理点云数据,包括:获取设置在所述游戏区域周围的点云采集装置采集的初始点云数据;对所述初始点云数据进行点云分割,得到所述游戏参与者的第一待处理点云数据以及游戏对象对应的第二待处理点云数据。
[0018]在一些实施例中,所述点云补全网络用于对多个类别的游戏参与者对应的第一待处理点云数据和/或多个类别的游戏对象对应的第二待处理点云数据进行补全;或者所述点云补全网络包括第三点云补全网络和第四点云补全网络,所述第三点云补全网络用于对第一类别的游戏参与者对应的第一待处理点云数据进行点云补全,所述第四点云补全网络用于对第二类别的游戏对象对应的第二待处理点云数据进行点云补全。
[0019]根据本公开实施例的第三方面,提供一种生成点云补全网络的装置,所述装置包括:输入模块,用于将隐空间向量输入经过预训练的第一点云补全网络,得到第一点云数据;第一获取模块,用于获取从物理空间采集的针对真实对象的真实点云数据;选择模块,用于对所述真实点云数据中的一个真实点,从所述第一点云数据中选择与所述真实点邻近的预设数量个点作为所述真实点的邻近点;生成模块,用于基于多个所述真实点在所述第一点云数据中的邻近点生成第二点云数据;调整模块,用于根据所述第二点云数据与所述真实点云数据之间的差异对所述第一点云补全网络进行调整,得到第二点云补全网络。
[0020]在一些实施例中,所述装置还包括:第三点云获取装置,用于获取第三点云数据;补全装置,用于采用所述第二点云补全网络对所述第三点云数据进行补全,得到第四点云数据。
[0021]在一些实施例中,所述装置还包括:初始点云获取装置,用于获取点云采集装置从物理空间中采集的初始点云数据;点云分割装置,用于对所述初始点云数据进行点云分割,以获取所述第三点云数据。
[0022]在一些实施例中,所述装置还包括:关联处理装置,用于对多帧第四点云数据进行关联处理。
[0023]在一些实施例中,所述选择模块用于:从所述第一点云数据中选择与所述真实点距离最近的预设数量个点,作为所述真实点的邻近点。
[0024]在一些实施例中,所述生成模块用于:对所述真实点云数据中的多个真实点在所述第一点云数据中的所述邻近点取并集,得到所述第二点云数据。
[0025]在一些实施例中,所述装置还包括:预训练模块,用于基于样本点云数据集中的完整点云数据对所述第一点云补全网络进行预训练。
[0026]在一些实施例中,所述装置还包括:点云块获取模块,用于获取所述第一点云数据中的多个点云块;特征确定模块,用于分别确定各个点云本文档来自技高网
...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种生成点云补全网络的方法,包括:将隐空间向量输入经过预训练的第一点云补全网络,得到第一点云数据;获取从物理空间采集的针对真实对象的真实点云数据;对所述真实点云数据中的每个真实点,从所述第一点云数据中选择与所述真实点邻近的预设数量个点作为所述真实点的邻近点;基于多个所述真实点的邻近点生成第二点云数据;根据所述第二点云数据与所述真实点云数据之间的差异对所述第一点云补全网络进行调整,得到第二点云补全网络。2.根据权利要求1所述的方法,还包括:获取第三点云数据;采用所述第二点云补全网络对所述第三点云数据进行补全,得到第四点云数据。3.根据权利要求2所述的方法,还包括:获取点云采集装置从物理空间中采集的初始点云数据;对所述初始点云数据进行点云分割,以获取所述第三点云数据。4.根据权利要求2或3所述的方法,还包括:对多帧所述第四点云数据进行关联处理。5.根据权利要求1至4任意一项所述的方法,其中,从所述第一点云数据中选择与所述真实点邻近的预设数量个点作为所述真实点的邻近点,包括:从所述第一点云数据中选择与所述真实点距离最近的预设数量个点,作为所述真实点的邻近点。6.根据权利要求1至5任意一项所述的方法,其中,基于多个所述真实点在所述第一点云数据中的邻近点生成第二点云数据,包括:对所述真实点云数据中的多个真实点在所述第一点云数据中的所述邻近点取并集,得到所述第二点云数据。7.根据权利要求1至6任意一项所述的方法,还包括:基于样本点云数据集中的完整点云数据对所述第一点云补全网络进行预训练。8.根据权利要求7所述的方法,还包括:获取所述第一点云数据中的多个点云块;分别确定各个点云块中点的分布特征;基于所述各个点云块中点的分布特征,建立损失函数;基于所述损失函数对经训练的所述第二点云补全网络进行优化处理。9.根据权利要求1至8任意一项所述的方法,其中,基于以下方式获取所述隐空间向量:从隐空间中采样多个初始隐空间向量;针对每个初始隐空间向量,获取所述第一点云补全网络基于该初始隐空间向量生成的点云数据;基于该初始隐空间向量对应的点云数据以及所述真实点云数据,确定所述初始隐空间向量的目标函数;基于各个初始隐空间向量的目标函数,从各个初始隐空间向量中确定所述隐空间向量。
10.一种点云数据处理方法,包括:获取游戏区域内的游戏参与者对应的第一待处理点云数据以及游戏对象对应的第二待处理点云数据;获取点云补全网络对所述第一待处理点云数据进行补全后得到的第一经处理点云数据,以及所述点云补全网络对所述第二待处理点云数据进行补全后得到的第二经处理点云数据;对所述第一经处理点云数据和所述第二经处理点云数据进行关联处理;其中,所述点云补全网络在经过预训练之后,基于第二点云数据以及从物理空间采集的针对真实对象的真实点云数据调整得到,所述第二点云数据基于所述真实点云数据中的多个真实点在第一点云数据中的邻近点生成,所述第一点云数据由经过预训练的所述点云补全网络基于隐空间向量生成。11.根据权利要求10所述的方法,其中,所述游戏对象包括所述游戏区域内放置的游戏积分卡;所述方法还包括:基于所述第一经处理点云数据和所述第二经处理点云数据的关联结果,执行以下至少任一操作:确定所述游戏参与者在所述游戏区域内放置的游戏积分卡;确定所述游戏参与者针对所述游戏对象执行的动作。12.根据权利要求10或11所述的方法,其中,所述获取游戏区域内的游戏参与者的第一待处理点云数据以及游戏对象...

【专利技术属性】
技术研发人员:张俊哲陈心怡蔡中昂赵海宇伊帅
申请(专利权)人:商汤国际私人有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1