由精细到粗略细化的对比性点补全系统和方法技术方案

一种电子装置执行从经由原始扫描获得的

【技术实现步骤摘要】
【国外来华专利技术】由精细到粗略细化的对比性点补全系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求于
2021
年6月
30
日提交的题为“SYSTEMS AND METHODS OF CONTRASTIVE POINT COMPLETION WITH FINE
‑
TO
‑
COARSE REFINEMENT”的美国专利申请第
17/364,586
号的优先权权益，并且是该美国专利申请的延续，其全部内容通过引用并入本文中
。


[0003]本申请总体上涉及图像技术，具体地，涉及图像处理和三维
(3D)
点云补全方法和系统
。

技术介绍

[0004]由于遮挡和采集传感器的限制，局部原始点云通常是不完整的
、
稀疏的且是有噪声的
。
因此，
3D
点云补全成为在实际应用中成功使用点云数据的关键步骤
。
解决这个问题的挑战来自于恢复具有几何形状细节的精确完整形状，本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.
一种计算机实现的生成
3D
对象的点云的方法，所述方法包括：获得所述
3D
对象的第一点云；使用教师
‑
学生神经网络从所述第一点云构建所述
3D
对象的第二点云，所述教师
‑
学生神经网络具有双重网络结构，所述双重网络结构包括共享相同架构的教师网络和学生网络；以及通过以下方式细化所述第二点云：对所述第二点云应用对称性检测和富集，以获得所述
3D
对象的对称的第二点云；以及更新所述对称的第二点云以获得所述
3D
对象的第三点云
。2.
根据权利要求1所述的方法，其特征在于，所述第一点云是对所述
3D
对象进行原始扫描获得的局部点云，所述第二点云是所述
3D
对象的完整稀疏点云，并且所述第三点云是所述
3D
对象的完整密集点云
。3.
根据权利要求2所述的方法，其特征在于，所述教师网络是以基准真值完整稀疏点云为输入的点云自重构网络；并且所述学生网络是以所述局部点云为输入的点云补全网络
。4.
根据权利要求3所述的方法，其特征在于，所述使用教师
‑
学生神经网络从所述第一点云构建所述
3D
对象的所述第二点云，包括：根据基准真值数据和由所述教师网络从所述局部点云学习到的特征，来训练所述学生网络，使得由所述学生网络生成的所述局部点云的第一特征表征接近由所述教师网络生成的所述完整稀疏点云的第二特征表征，其中，所述教师网络和所述学生网络被联合训练
。5.
根据权利要求4所述的方法，其特征在于，在所述训练之后，使由所述学生网络生成的所述局部点云的所述第一特征表征与由所述教师网络生成的所述完整稀疏点云的所述第二特征表征之间的差异最小化
。6.
根据权利要求3所述的方法，其特征在于，所述学生网络具有第一编码器，所述第一编码器用于学习所述局部点云的第一特征表征，所述教师网络具有第二编码器，所述第二编码器用于学习所述完整稀疏点云的第二特征表征，所述第一编码器和所述第二编码器以不同的权重共享相同的点网
(PointNet)
网络架构；以及所述学生网络具有第一解码器，所述第一解码器用于预测所述局部点云的所述第一特征表征，并且所述教师网络具有第二解码器，所述第二解码器用于预测所述完整稀疏点云的所述第二特征表征，所述第一解码器和所述第二解码器以不同的权重共享相同的多层感知器
(MLP)
架构
。7.
根据权利要求2所述的方法，其特征在于，所述更新所述对称的第二点云包括：以预定的迭代次数，通过大于1的比率迭代地对所述
3D
对象的所述第三点云进行上采样
、
并在每次上采样迭代后对所述
3D
对象的经上采样的点云进行去噪
。8.
根据权利要求7所述的方法，其特征在于，所述
3D
对象的所述第三点云是通过混合所输入的局部点云和所述对称的第二点云以形成所述
3D
对象的所述完整密集点云而生成的
。9.
根据权利要求7所述的方法，其特征在于，应用所述对称性检测和富集包括：检测所述第二点云的对称平面；以及
响应于确定存在所述对称平面，对所述第一点云内的点应用平面对称，以获得所述对称的第二点云，响应于确定不存在所述对称平面，将所述对称的第二点云设置为与所述第一点云相同
。10.
根据权利要求9所述的方法，其特征在于，所述更新所述对称的第二点云包括：预测所述完整稀疏点云中的点的偏移，以匹配由所输入的局部点云和所述对称的第二点云合并的点云；以及将所述偏移应用于所述完整稀疏点云中的所述点，以获得细化的完整稀疏点云
。11.
根据权利要求7所述的方法，其特征在于，所述去噪包括：基于与基准真值完整点云的比较来确定所述经上采样的点云中的每个点的分数，以及当所述经上采样的点云中的点的相应分数超过预定阈值时，丢弃所述经上采样的点云中的点
。12.
一种电子装置，包括一个或多个处理单元
...

【专利技术属性】
技术研发人员：王博，陈伟凯，杨博，刘松润，
申请(专利权)人：腾讯美国有限责任公司，
类型：发明
国别省市：