用于对点云进行上采样的方法和装置制造方法及图纸

用于对表示3D对象的点云进行上采样的方法包括：‑基于至少一个期望的采样率(K)来检测(2)属于该点云的至少一个欠采样区域的点；‑对于每个检测到的点，获得(12)关联的切面；‑如果邻近点和与检测到的点关联的切面之间的距离小于第一阈值，则在点云中插入(14)每个检测到的点的至少一个邻近点。

Method and device for sampling point cloud

【技术实现步骤摘要】
【国外来华专利技术】用于对点云进行上采样的方法和装置
本公开一般涉及表示3D对象的点云数据源的领域。更具体地，它处置点云的后处理。因此，本公开涉及用于对点云进行上采样的方法和对应装置。它还涉及用于编码和解码点云的方法以及对应的编码器和解码器。它还涉及实现本专利技术的上采样方法的计算机程序。
技术介绍
可以执行本部分中描述的方案，但这些方案不一定是先前已经设想或执行的方案。因此，除非本文另外指出，否则本部分中描述的方案不是本申请中的权利要求的现有技术，并且不通过包括在本部分中而被承认为现有技术。点云可以包括通常意欲表示3D对象的外表面的点的集合，也可以包括可能无法通过其他数据格式(如网格)有效地表示的较复杂的几何形状(如头发或毛发)。每个点都由其3D空间位置(3D空间中的x、y和z坐标)(即几何信息)定义，并且可能由其他关联属性定义，这些关联属性通常包括以RGB或YUV或任何其他颜色坐标系统表示的颜色信息。其他属性可以包括透明度、反射率等。几何形状可以被视为属性数据之一。在本公开的其余部分中，将几何形状和其他属性数据都视为点的属性。在下文中，考虑有色点云，即6成分点的集合(X，Y，Z，R，G，B)或等效地(X，Y，Z，Y，U，V)，其中(X，Y，Z)定义3D空间中的点的空间位置，并且(R，G，B)或(Y，U，V)定义该点的颜色。有色点云可以是静态的或者动态的，取决于该云是否相对于时间演化。应当注意，在动态点云的情况下，点的数目不是恒定的，但是相反，通常随着时间演化。因此，动态点云是点集的按时间排序的列表。在许多应用中发现点云数据源。可以在地理信息系统、机器人、医学断层扫描和科学可视化中，发现依赖于巨大点云数据源的重要应用。除了更加工业化和有科学导向的这些应用之外，基于飞行时间或其他深度感测技术的廉价3D扫描仪普及的兴起、移动装置上的3D捕获以及基于云的3D打印的兴起，正在创建对消费者市场中的大规模可共同操作的压缩3D点云存储和传输数据格式的巨大需求。扫描的通常具有数千个点，并占用大量存储空间。此外，当从3D扫描仪捕获实况时，可以按照高速率生成3D点云，这甚至进一步增加数据速率。因此，点云压缩对于有效的网络分发和存储至关重要。碰巧有些点云(例如使用商用激光测距扫描仪捕获的点云)总是有噪声，这主要是由扫描仪伪影和扫描之间的对准误差引起的。另外，被遮挡或尖锐的区域通常被欠采样。由于噪声和欠采样，原始点的直接渲染或表面重构会产生颗粒状的表面、间隙和孔、以及不规则的边界。这些伪像尤其在视觉上造成干扰，必须通过包括上采样在内的后处理进行校正，所述后处理是在数据集的原始样本之间插入样本的处理，以便增加整个数据集或数据集的几个部分的采样率。在动态点云压缩的情况下，欠采样问题更严重，其中通过内部编码模式压缩的点云的欠采样部分可能会严重损害编解码器性能。关于点云上采样的现有技术工作主要基于多项式拟合，其中将某一次数(通常为2或3次)的多项式局部拟合在点云的每个点周围。多项式拟合运算在计算上很复杂。因此，点云的基于多项式拟合的上采样方案不适用于要求低复杂度的用例，例如即时(on-the-fly)点云渲染和点云解码。
技术实现思路
本公开提出了一种用于改善情况的解决方案，并且提供了根据所附权利要求的方法和装置。因此，本公开提供了一种用于对表示3D对象的点云进行上采样的方法，包括：-基于至少一个期望的采样率，来检测属于点云的至少一个欠采样区域的点；-为每个检测到的点获得关联的切面；-如果邻近点和与检测到的点关联的切面之间的距离小于第一阈值，则在点云中插入每个检测到的点的至少一个邻近点。因此，本公开的上采样方法通过用局部点插入操作代替现有技术的多项式拟合而允许显著降低的复杂度，该局部点插入操作是适合于实时应用的高度可并行化的处理。而且，通过使用点周围的局部切面，可以合理地保留由点云表示的底层局部表面。期望的采样率在此被有利地定义为以点为中心并且具有给定大小的球体或立方体中的点云的每个点的最小邻域数。有利地，如果满足以下条件，则将点检测为属于欠采样区域：-其距离S的邻域的数目小于第二阈值K，其中S是整数；和-其距离S’的邻域的数目至少等于第三阈值K’，其中S’是大于S的整数。这意味着，如果点云的点P的距离S的邻域的数目小于K，并且其距离S的邻域的数目至少为K’，则P周围的空间被视为欠采样。然后，根据本公开的方法，应在P周围插入新点。点的距离S的邻域在此定义为落入其中心为该点并且球体直径或立方体标度(scale)等于2*S的球体或立方体中的邻近点。因此，有利地需要两个条件，以便检测属于至少一个欠采样区域的点。第一条件与期望的采样率直接相关，而第二条件避免在点云的隔离点周围添加新点，例如可以由编码伪像导致的不需要的嘈杂点。有利地，取决于以下条件来确定是否插入邻近点：-它的距离S的邻域的数目；和/或-当插入邻近点时，由距离S’定义的另一邻域与由检测点的距离S定义的局部邻域之间的距离的变化。这意味着邻近点的距离S的邻域的数目越多，越可能将该邻近点添加到点云。有利地，使用主成分分析PCA技术，来确定与检测到的点关联的切面。有利地，该方法包括确定每个插入点的属性。有利地，该属性是颜色。根据实施例，通过插值从所述点云的附近点确定所述属性。根据实施例，在(R，G，B)颜色空间中执行插值。根据另一实施例，在(Y，U，V)颜色空间中执行插值。本公开还提供了一种用于对表示3D对象的点云进行上采样的上采样装置，包括：-检测模块，被配置为基于至少一个期望的采样率，来检测属于点云的至少一个欠采样区域的点；-切面模块，被配置为针对每个检测到的点获得关联的切面；和-插入模块，被配置为如果邻近点和与检测到的点关联的切面之间的距离小于第一阈值，则在点云中插入每个检测到的点的至少一个邻近点。有利地，所述上采样装置的模块由一个或多个处理器实现。根据另一方面，本公开提供了一种用于对表示3D对象的点云进行编码的方法，包括根据本公开的上采样后处理。本公开还提供了一种用于从比特流解码表示3D对象的点云的方法，该方法包括根据本公开的上采样后处理。本公开还提供了一种编码器，包括本公开的上采样装置。本公开进一步提供了一种解码器，包括本公开的上采样装置。根据本公开的方法可以在可编程设备上的软件中实现。它们可以仅以硬件或软件或其组合来实现。由于这些方法可以用软件实现，因此它们可以实施为计算机可读代码，用于提供到任何合适的载体介质上的可编程设备。载体介质可以包括诸如软盘、CD-ROM、硬盘驱动器、磁带装置或固态存储装置等的存储介质。因此，本公开提供了一种包括计算机可执行指令的计算机可读程序，以使得计算机能够执行本专利技术的上采样方法。图1的图图示了用于这种计算机程序的通用算法的本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n-基于至少一个采样率(K)来检测(2)点云的多个点；/n-对于多个检测到的点，获得(12)关联的平面；/n-基于邻近点和与检测到的点相关联的平面之间的距离，在点云中插入(14)用于多个检测到的点中的每一个的至少一个邻近点。/n

【技术特征摘要】
【国外来华专利技术】20171006 EP 17306347.01.一种方法，包括：
-基于至少一个采样率(K)来检测(2)点云的多个点；
-对于多个检测到的点，获得(12)关联的平面；
-基于邻近点和与检测到的点相关联的平面之间的距离，在点云中插入(14)用于多个检测到的点中的每一个的至少一个邻近点。


2.一种装置(36)，包括：
-检测模块(38)，配置为基于至少一个采样率来检测点云的多个点；
-平面模块(40)，配置为对于多个检测到的点获得关联的平面；和
-插入模块(42)，配置为基于邻近点和与检测到的点相关联的平面之间的距离，在点云中插入用于多个检测到的点中的每一个的至少一个邻近点。


3.根据权利要求1所述的方法或根据权利要求2所述的装置，其中所述采样率被定义为其中心是所述点并且具有给定大小的球体或立方体中的、点云的每个点的最小邻域数目。


4.根据权利要求1或3所述的方法或根据权利要求2或3所述的装置，其中，如果满足以下条件，则检测到点：
-它的距离S的邻域的数目小于第一值；和
-它的距离S’的邻域的数目大于第二值，其中S’大于S。


5.根据权利要求4所述的方法或装置，其中，根据取决于以下情况来确定是否插入邻近点：
-它的距离S的邻域的数目；和/或
-当插入邻近点时、由距离S’定义的另一邻域与由检测到的点的距离S定义的局部邻域之间的距离的变化。


6.根据权利要求1或3至5中任一项所述的方法或根据权利要求2至5中任一项所述的装置，其中使用主成分分析PCA技术...

【专利技术属性】
技术研发人员：蔡康颖，C格德，J拉赫平萨克，S拉塞尔，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：美国;US