点云的孔洞填充的方法和设备技术

具有至少一个孔洞的点云的孔洞填充的这种方法包括：‑检测(2)点云的边界点；‑基于所检测到的边界点的空间邻接，在边界区域中对所检测到的边界点进行分组(12)；‑用至少一个平面覆盖(16)每个边界区域；以及‑使用覆盖边界区域的平面在点云中插入(18)新点。

【技术实现步骤摘要】
【国外来华专利技术】点云的孔洞填充的方法和设备
本公开总体上涉及表示3D对象的点云数据源的领域。更具体地，它涉及点云的后处理。因此，本公开涉及点云的孔洞填充的方法和对应的设备。它还涉及用于对点云进行编码和解码的方法以及对应的编码器和解码器。它还涉及实现本专利技术的孔洞填充方法的计算机程序。
技术介绍
本部分中描述的方案可被实行，但不一定是先前已经设想或实行的方案。因此，除非本文另外指出，否则本部分中描述的方案不是本申请中权利要求的现有技术，并且也不因包含在本部分中而被承认为现有技术。点云由点的集合构成，这些点通常用于表示3D对象的外表面，也用于表示更复杂的几何形状，如头发、毛发，这些几何形状可能无法由其他数据格式(如网格)有效地表示。每个点由其3D空间位置(3D空间中的x、y和z坐标)(即几何信息)以及可能地由其他相关联的属性来定义，这些属性典型地包括在RGB或YUV或任何其他颜色坐标系统中表示的颜色信息。其他属性可以包括透明度、反射率等。几何形状可以被视为属性数据中的一个。在本公开的其余部分中，将几何形状和其他属性数据都视为点的属性。在下文中，考虑有色点云，即6分量点(X，Y，Z，R，G，B)或等效地(X，Y，Z，Y，U，V)的集合，其中(X，Y，Z)定义点在3D空间中的空间位置，并且(R，G，B)或(Y，U，V)定义该点的颜色。有色点云可以是静态的或动态的，取决于点云是否随时间演变。应当注意，在动态点云的情况下，点的数量不是恒定的，而是相反，通常随时间演变。因此，动态点云是点集的按时间排序的列表。点云数据源可以在许多应用中找到。依赖于巨大点云数据源的重要应用可以在地理信息系统、机器人技术、医学断层扫描和科学可视化中找到。除了这些更加工业化和科学导向的应用之外，基于飞行时间或其他深度传感技术的廉价3D扫描仪的普及、移动设备上的3D捕获以及基于云的3D打印的兴起，正在产生对消费市场中的大规模可互操作的压缩3D点云存储和传输数据格式的巨大需求。扫描的3D点云通常具有数千个点，并占用大量存储空间。另外，当从3D扫描仪实时捕获时，它们可以以高速率生成，从而甚至进一步增加数据速率。因此，点云压缩对于有效的网络分发和存储至关重要。在捕获点云期间，由于表面反射性质、遮挡和可访问性限制，可能无法对对象的某些区域进行采样，导致得到的点云中出现孔洞。这些孔洞表示3D点云的重要缺失部分。因此，必须使用孔洞填充技术以便完成点云。关于点云孔洞填充的现有技术工作主要基于边界点检测、闭合边界环提取和边界环填充。通过将点云的每个点的相邻点投影到其局部切平面来执行边界点检测。其投影的相邻点不能形成完整的圆的那些点被视为边界点。然后，通过跟踪相邻的检测到的边界点来执行边界环提取。在当前跟踪边界遇到当前跟踪开始的边界点时，找到闭合边界环。然后，通过在边界环的中间添加点来填充得到的闭合边界环。在现有技术中，只有闭合的边界点环被视为边界并且将被填充。因此，边界点检测需要是准确的。如果在检测步骤期间错过了某些边界点或将某些点错误地检测为边界点或者是其他情况，则边界环无法闭合。然而，边界点检测通常是困难的，因为无法获得点之间的连通性。实际上，局部切平面的计算取决于邻域的选择。由于没有可用的连通性信息，因此难以定义点云中每个点的正确邻域。因此，边界点检测通常是困难的。同样，边界环填充步骤通常取决于复杂运算，如多项式拟合、表面重建和三角剖分。因此，现有技术的点云孔洞填充技术不适用于要求低复杂度的用例，诸如空中(on-the-fly)点云渲染和点云解码。
技术实现思路
通过提供根据所附权利要求的方法和设备，本公开提出了一种改善状况的解决方案。相应地，本公开提供了一种具有至少一个孔洞的点云的孔洞填充的方法，包括：-检测点云的边界点；-基于所检测到的边界点的空间邻接(adjacency)，在边界区域中对所检测到的边界点进行分组；-用至少一个平面覆盖每个边界区域；以及-使用覆盖边界区域的平面在点云中插入新点。因此，本公开的方法通过使用平面插入操作能够显著降低现有技术的孔洞填充技术的复杂度。而且，由于本解决方案不需要提取闭合边界点环，因此不需要准确的边界点检测，使得本公开的孔洞填充方法比现有技术的解决方案更鲁棒。根据实施例，使用角度标准将点云的点检测为边界点。在Bendels等人的文章(“检测点集表面中的孔洞(Detectingholesinpointsetsurfaces)”，WSCG期刊，第14卷，WSCG2006，2006年1月30日至2006年2月3日)的第4.2节中描述了这种检测边界点的技术。其精度不是最佳的，但是对于不需要提取精确且闭合的边界点环的本公开的孔洞填充方法来说是足够的。有利地，如果点的两个连续的局部邻居之间的最大角度间隙大于第一阈值并且该点的两个连续的较远邻居之间的最大角度间隙小于第二阈值，则将点云的该点检测为边界点。局部邻居在这里是指近邻，例如距离为1的邻居，而较远邻居位于较远处，例如距离为10的邻居。第二阈值条件允许避免检测错误的边界点。例如，第一阈值等于60度，并且第二阈值等于120度。根据实施例，连续邻居之间的角度间隙是这些邻居在点的切平面上的投影之间的角度间隙。有利地，对每个边界区域定义至少一个边界点组，并且每个边界点组被一个平面覆盖。有利地，该方法包括确定每个新点的属性。根据实施例，属性是颜色。有利地，通过从点云的附近点进行插值来确定属性。根据实施例，在(R，G，B)颜色空间中执行插值。根据另一实施例，在(Y，U，V)颜色空间中执行插值。本专利技术还提供了一种用于对具有至少一个孔洞的点云进行孔洞填充的孔洞填充设备，包括：-检测模块，被配置为检测点云的边界点；-分组模块，被配置为基于所检测到的边界点的空间邻接，在边界区域中对所检测到的边界点进行分组；-覆盖模块，被配置为用至少一个平面覆盖每个边界区域；以及-插入模块，被配置为使用覆盖边界区域的平面在点云中插入新点。有利地，孔洞填充设备的模块由一个或多个处理器实现。根据另一方面，本公开提供了一种用于对表示3D对象的点云进行编码的方法，包括根据本公开的孔洞填充后处理。本公开还提供了一种用于对表示3D对象的点云进行解码方法，包括根据本公开的孔洞填充后处理。本公开还提供了一种编码器，包括本公开的孔洞填充设备。本公开还提供了一种解码器，包括本公开的孔洞填充设备。根据本公开的方法可以在可编程装置上以软件实现。它们可以仅以硬件或软件实现，或者以其组合来实现。由于这些方法可以以软件实现，因此它们可以体现为计算机可读代码，以在任何合适的载体介质上提供给可编程装置。载体介质可以包括存储介质，诸如软盘、CD-ROM、硬盘驱动器、磁带设备或固态存储器设备等。因此，本公开提供了一种计算机本文档来自技高网...

【技术保护点】
1.一种具有至少一个孔洞的点云的孔洞填充的方法，包括：/n-检测(2)所述点云的边界点；/n-基于所检测到的边界点的空间邻接，在边界区域中对所检测到的边界点进行分组(12)；/n-用至少一个平面覆盖(16)每个边界区域；以及/n-使用覆盖所述边界区域的所述平面在所述点云中插入(18)新点。/n

【技术特征摘要】
【国外来华专利技术】20171006 EP 17306346.21.一种具有至少一个孔洞的点云的孔洞填充的方法，包括：
-检测(2)所述点云的边界点；
-基于所检测到的边界点的空间邻接，在边界区域中对所检测到的边界点进行分组(12)；
-用至少一个平面覆盖(16)每个边界区域；以及
-使用覆盖所述边界区域的所述平面在所述点云中插入(18)新点。


2.一种用于对具有至少一个孔洞的点云进行孔洞填充的孔洞填充设备(36)，包括：
-检测模块(38)，被配置为检测所述点云的边界点；
-分组模块(40)，被配置为基于所检测到的边界点的空间邻接，在边界区域中对所检测到的边界点进行分组；
-覆盖模块(42)，被配置为用至少一个平面覆盖每个边界区域；以及
-插入模块(44)，被配置为使用覆盖所述边界区域的所述平面在所述点云中插入新点。


3.如权利要求1所述的方法或如权利要求2所述的设备，其中，使用角度标准将所述点云的点检测为边界点。


4.如权利要求3所述的方法或设备，其中，基于所述点云的点的两个连续局部邻居之间的角度间隙，将所述点检测为边界点。


5.如权利要求4所述的方法或设备，其中，连续邻居之间的所述角度间隙是这些邻居在平面上的投影之间的角度间隙。


6.如权利要求1或3至5中任一项所述的方法或如权利要求2至5中任一项所述的设备，其中，对边界区域定义至少一个边界点组，并且边界点组由一个平面覆盖。


7.如权利...

【专利技术属性】
技术研发人员：蔡康颖，J拉赫平萨克，C格德，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：美国;US