用于重建表示3D对象的点云的方法和装置制造方法及图纸

本公开涉及一种从通过对原始点云的至少一个深度图像进行逆投影而获得的逆投影点云(IPPC)来重建表示3D对象的点云的方法，所述至少一个深度图像是通过将原始点云的点投影到至少一个表面上而获得，所述方法包括以下步骤：‑在逆投影点云(IPPC)中检测(900)至少一个缺失部分(MPq)，以及‑基于所述至少一个缺失部分的邻域中的点来完善(910)所述至少一个缺失部分(MPq)。

【技术实现步骤摘要】
【国外来华专利技术】用于重建表示3D对象的点云的方法和装置
本原理总体上涉及从逆投影点云(IPPC)重建表示3D对象的点云，并且最终涉及与基于八叉树的结构相关联的点云。具体地但非排他性地，本原理的
涉及使用纹理和深度投影方案的点云重建。
技术介绍
本部分旨在向读者介绍本领域的各个方面，这些方面可能与以下描述和/或要求保护的本原理的各个方面有关。认为该讨论有助于向读者提供背景信息，以便于更好地理解本原理的各个方面。因此，应该理解的是，应当从该角度来阅读这些陈述，而不是作为对现有技术的承认。点云是一组点，通常旨在表示3D对象的外部表面，但也表示更复杂的几何形状(如头发、皮毛)，这些几何形状可能无法通过其他数据格式(如网格)有效地表示。点云的每个点通常由3D空间位置(3D空间中的X、Y和Z坐标)以及可能地由其他关联属性来定义，诸如例如在RGB或YUV颜色空间中表示的颜色、透明度、反射率、两分量法向矢量等。在下文中，考虑有色点云，即一组6分量点(X，Y，Z，R，G，B)或等同地(X，Y，Z，Y，U，V)，其中(X，Υ，Z)定义点在3D空间中的空间位置，(R，G，B)或(Y，U，V)定义该点的颜色。有色点云可以是静态的也可以是动态的，这取决于云是否相对于时间而演变。应当注意，在动态点云的情况下，点的数量不是恒定的，而是相反，通常随时间而演变。因此，动态点云是多组点的按时间排序的列表。实践中，有色点云可用于多种目的，诸如文化遗产/建筑物，其中以3D形式扫描如雕像或建筑物之类的对象，以便在不发送或访问对象的情况下共享对象的空间配置。这也是一种在对象可能被破坏的情况下(例如，被地震破坏的庙宇)确保保留对象的知识的方式。这种有色点云通常是静态且巨大的。另一使用情况是在地形学和制图学中，其中通过使用3D表示，地图不限于平面，还可以包括起伏(relief)。汽车工业和自动驾驶汽车也是可以使用点云的领域。自动驾驶汽车应该能够“探测”其环境，从而基于其紧邻的现实采取安全驾驶决策。通常的传感器产生由决策引擎使用的动态点云。这些点云并非旨在供人类查看。它们通常是小的，不一定是有色的，并且是动态的，具有高的捕获频率。它们可能具有其他属性，如反射率，其为与感测对象的物理表面的材质相关的有价值的信息并且可以帮助做出决策。虚拟现实(VR)和沉浸式世界近来已成为热门话题，并被许多人预见为2D平板视频的未来。基本构思是使观看者沉浸在他周围的环境中，而不是只能观看他前面的虚拟世界的标准电视。取决于环境中观看者的自由度，沉浸性有若干等级。有色点云是分发VR世界的一种良好的格式候选。它们可以是静态的或动态的，并且通常具有平均尺寸，例如一次不超过几百万个点。仅当比特流的尺寸足够小以允许实际存储/传输给终端用户时，点云压缩才能成功为沉浸式世界存储/传输3D对象。同样关键的是，能够以合理的带宽消耗将动态点云分发给终端用户，同时保持可接受的(或优选是非常好的)体验质量。与视频压缩相似，良好地使用时间相关性被认为是将得到动态点云的高效压缩的关键要素。众所周知的方法将表示3D对象的几何形状和颜色的有色点云投影到包含该3D对象的立方体的表面上，以获得有关纹理和深度的视频，并使用诸如3D-HEVC(HEVC的扩展，其规范可在ITU网站，T推荐，H系列，h265，https://www.itu.int/rec/T-REC-H.265-201802-I附件I上找到)的传统编码器对纹理和深度视频进行编码。在速率失真性能的意义上，已经证明了混合基于投影的点云编码(pointcloudcoding，以下称为PCC)和基于八叉树的PCC的一些PCC策略非常高效。然而，由这种点云编解码器生成的重建点云(在将点云编码到至少一个比特流中、传输所述至少一个比特流以及解码所述至少一个比特传输流之后)通常是不完整的，如图1a和图1b中所示。重建点云的不完整部分是在如下的编解码器的不同阶段期间生成的：·在图1和图1b中用虚线圆圈表示的完全缺失的部分通常是原始点云中与点云编解码器中使用的投影方向平行的那些部分；因此，它们通常不会被点云编码器的投影阶段“看到”；这些部分通常不够大，无法使八叉树编码阶段在其周围放更多点。·如图1b中的连续圆圈所示，具有不足点(换句话说，采样分辨率不足)的部分通常是在八叉树编码阶段期间由速率失真优化(ratedistortionoptimization，以下称为RDO)生成的。重建点云的视觉质量因此受到影响。
技术实现思路
本专利技术的目的是改善由点云编解码器基于投影和八叉树生成的重建点云的视觉质量。本专利技术的另一个目的是通过完善缺失部分来改善重建点云的视觉质量，同时在不引入高计算复杂度的情况下，最小化添加到重建点云的新点的数量。以下呈现本原理的简化概述，以提供对本原理某些方面的基本理解。该概述不是本原理的广泛总结。其不旨在标识本原理的关键或重要要素。以下概述仅以简化形式呈现本专利技术原理的一些方面，作为下面提供的更详细描述的序言。本原理涉及从通过在与投影结构的体积相关联的表面上投影点云而获得的深度图像(以及可选地，纹理图像)来重建点云。使用投影结构使体积位置灵活，从而能够精细地捕获遮挡。优选地，为了便于实现，使用立方体上的投影。本原理涉及一种用于从通过对原始点云的至少一个深度图像进行逆投影而获得的逆投影点云IPPC来重建表示3D对象的点云的方法和设备，所述至少一个深度图像是通过将原始点云的点投影到至少一个表面上而获得，所述方法包括以下步骤：-在逆投影点云中检测至少一个缺失部分，以及-基于所述至少一个缺失部分的邻域中的点来完善所述至少一个缺失部分。该方法允许校正参照图1a-图1b在本申请的
技术介绍
部分中提到的完全缺失的部分。根据实施例，在逆投影点云中检测所述至少一个缺失部分的步骤包括以下子步骤：-在逆投影点云中，检测围绕所述至少一个缺失部分的称为边界点的点，以及-为所述至少一个缺失部分中的每个缺失部分确定围绕所述缺失部分的一组边界点。根据实施例，边界点是在其距离-SClose邻域中具有低于预定义的高阈值并且大于预定义的低阈值的邻居数量的点。例如，SClose＝1。根据实施例，在逆投影点云中检测所述至少一个缺失部分的步骤还包括，在确定围绕所述缺失部分的一组边界点之前，去除在其距离-SClose邻域中具有少于预定义的边界点数量的边界点，所述预定义的数量大于或等于SClose+1。这允许去除假的边界点。根据实施例，完善所述至少一个缺失部分的步骤包括以下步骤：通过沿着连接所述一组边界点中的两个边界点的线添加至少一个点，来完成(fulfill)所述至少一个缺失部分。根据实施例，还从与表示所述原始点云的基于八叉树的结构相关联的点云重建点云。根据实施例，该方法还包括以下步骤：-在与基于八叉树的结构相关联的点云中，检测欠采样点，以及-在检测到的欠采样点周围添加新点本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n-从通过对原始点云(IPC)的至少一个深度图像(DI

【技术特征摘要】
【国外来华专利技术】20171006 EP 17306350.41.一种方法，包括：
-从通过对原始点云(IPC)的至少一个深度图像(DIi,j)进行逆投影而获得的逆投影点云(IPPC)来重建表示3D对象的点云，所述至少一个深度图像(DIi,j)是通过将原始点云的点投影到至少一个表面(Fi,j)上而获得，所述重建包括：
-确定围绕逆投影点云(IPPC)中的缺失部分(MPq)的一组点，所述一组点被称为一组边界点，以及
-通过沿着连接所述一组边界点中的两个边界点的线添加至少一个点，来完善(910)所述缺失部分(MPq)。


2.一种设备，包括用于以下功能的部件：从通过对原始点云(IPC)的至少一个深度图像(DIi,j)进行逆投影而获得的逆投影点云(IPPC)来重建表示3D对象的点云，所述至少一个深度图像(DIi,j)是通过将原始点云的点投影到至少一个表面(Fi,j)上而获得，所述重建部件包括用于以下功能的部件：
-确定围绕逆投影点云(IPPC)中的缺失部分(MPq)的一组点，所述一组点被称为一组边界点，以及
-通过沿着连接所述一组边界点中的两个边界点的线添加至少一个点，来完善(910)所述缺失部分(MPq)。


3.根据权利要求1所述的方法或根据权利要求2所述的设备，其中，所述边界点是在其距离-Sclose邻域中具有低于预定义的高阈值并且大于预定义的低阈值的邻居数量的点。


4.根据权利要求1或3所述的方法或根据权利要求2或3所述的设备，还包括用于以下功能的步骤或部件：在确定围绕所述缺失部分(MPq)的一组边界点之前，去除在其距离-Sclose邻域中具有少于预定义的边界点数量的边界点。


5.根据权利要求4所述的方法或设备，其中，所述预定义的边界点数量大于或等于Sclose+1。


6.根据权利要求1或3-5中任一项所述的方法或根据权利要求2-5中任一项所述的设备，其中，还从与表示所述原始点云(IPC)的基于八叉树的结构(GO)相关联的点云重建所述点云。


7.根据权利要求6所述的方法或设备，其中，还包括用于以下功能的步骤或部件：
-在与基于八叉树的结构(GO)相关联的所述点云中，检测(1300)欠采样点，以及
-在检测到的欠采样点周围添加(1310)新点。


8.根据权利要求7所述的方法或设备，其中，用于检测(1300)欠采样点的步骤或部件包括以下步骤：在与基于八叉树的结构(GO)相关联的所述点云中，检测在其距离-Sclose邻域中具有低于预定义的阈值(T1)的邻居数量并且在其距离-Sfurther邻域中具...

【专利技术属性】
技术研发人员：J里卡德，C盖德，蔡康颖，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：美国;US