处理点云制造技术

至少一个实施例涉及方法，该方法用于向点云帧添加至少一个3D样本和向所述至少一个3D样本分配颜色编码模式，所述颜色编码模式指示与所述至少一个3D样本相关联的颜色信息是否在比特流中被显式编码或者所述颜色信息是否是隐式。

【技术实现步骤摘要】
【国外来华专利技术】处理点云
本实施例中的至少一个一般涉及点云的处理。
技术介绍
本部分旨在向读者介绍本领域的各个方面，这些方面可能与以下描述和/或要求保护的本实施例中的至少一个的各个方面有关。认为该讨论有助于向读者提供背景信息，以有助于更好地理解至少一个实施例的各个方面。点云可用于多种目的，诸如文化遗产/建筑物，其中以3D扫描诸如雕像或建筑物之类的对象，以便在不发送或访问对象的情况下共享对象的空间配置。另外，在对象可能被破坏的情况下，它是确保保留对象的知识的方式。例如，经由地震的庙宇。这种点云典型是静态的，彩色的和巨大的。另一使用情况是在地形和地图投影中，其中使用3D表示允许不限于平面而可以包括地势的地图。谷歌地图(GoogleMap)现在是3D地图的良好示例，但使用网格代替点云。然而，点云可能是3D地图的合适数据格式，并且这种点云典型是静态的，彩色的和巨大的。汽车工业和自动驾驶汽车也是其中可以使用点云的领域。自动驾驶汽车应该能够″探测″其环境，以便根据紧邻邻居的现实做出良好的驾驶决定。像LIDAR(光检测和测距)那样的典型传感器产生由决定引擎使用的动态点云。这些点云不意图由人类观看，并且它们典型很小，不一定是彩色的，并且具有高捕获频率的动态性。这些点云可能具有其他属性，像由LIDAR提供的反射率，因为该属性提供有关被感测对象的材料的良好信息，并可能有助于做出决定。虚拟现实和沉浸式世界近来已成为热门话题，并且许多人都将其预见为2D平面视频的未来。与其中观看者只能看着观看者面前的虚拟世界的标准电视相比，其基本想法是将观看者沉浸在观看者周围的环境中。取决于环境中观察者的自由度，沉浸性有若干个等级。点云是用于分发虚拟现实(VR)世界的良好格式候选。在许多应用中，重要的是能够通过仅消耗合理量的比特率(或存储应用程序的存储空间)而将动态点云分发给最终用户(或将其存储在服务器中)，同时保持可接受的(或优选非常好的)体验质量。这些动态点云的有效压缩是关键，以使许多沉浸式世界的分发链可行。考虑到上述情况，已经设计出至少一个实施例。
技术实现思路
以下呈现本实施例中的至少一个的简化的概述，以提供本公开的一些方面的基本理解。该
技术实现思路
不是实施例的广泛概述。其并非旨在标识实施例的关键或重要元素。以下概述仅以简化形式呈现本实施例中的至少一个的一些方面，作为本文其他地方提供的更详细描述的序言。根据至少一个实施例的一般方面，提供一种方法，该方法向点云添加至少一个3D样本，并且向所述至少一个3D样本分配颜色编码模式，所述颜色编码模式指示与所述至少一个3D样本相关联的颜色信息是否被显式编码在比特流中，或者所述颜色信息是否是隐式的。本实施例的至少一个或多个还提供一种设备，一种计算机程序，一种计算机可读存储介质和一种信号。从以下结合附图对示例的描述，本实施例的至少一个的特定性质以及所述本实施例的所述至少一个的其他目的，优点，特征和用途将变得显而易见。附图说明在附图中，例示若干个实施例的示例。附图示出：-图1例示根据本实施例中的至少一个的基于两层的点云编码结构的示例的示意性框图；-图2例示根据本实施例中的至少一个的基于两层的点云解码结构的示例的示意性框图；-图3例示根据本实施例中的至少一个的基于图像的点云编码器的示例的示意性框图。-图3a示意性地例示根据步骤3100的示例补片(patch)生成；-图4例示根据本实施例中的至少一个的基于图像的点云解码器4000的示例的示意性框图；-图5示意性地例示根据本实施例中的至少一个的表示基本层BL的比特流的语法的示例；-图6例示其中实现各个方面和实施例的系统的示例的示意性框图；-图7例示根据本实施例中的至少一个的用于将至少一个填充3D样本添加到点云帧PCF的方法的示例的示意性框图；-图7a例示图7的方法的实施例的示例的示意性框图；-图7b例示根据本实施例中的至少一个的用于将至少一个填充3D样本添加到点云帧PCF的方法的示例的示意性框图；-图8示意性地例示根据图7的方法的至少一个实施例的图3a的连接组件的示例；-图9示意性地例示子步骤7110的示例；-图10示意性地例示子步骤7110的示例；-图11示意性地例示步骤7200的实施例的变型的示例；和-图12示意性地例示步骤7200的实施例的变型的示例。具体实现方式在下文中参考附图更全面地描述本实施例中的至少一个，在附图中示出本实施例中的至少一个的示例。然而，实施例可以以许多替代形式来体现，并且不应被解释为限于本文阐述的示例。因此，应当理解，无意将实施例限制为公开的具体形式。相反，本公开旨在覆盖落入本申请的精神和范围内的所有修改，等同和替代。当将图作为流程图呈现时，应当理解，其还提供对应装置的框图。类似地，当将图表示为框图时，应理解，其还提供对应方法/处理的流程图。相似或相同的元素用相同的附图标记表示。下面描述和设想的方面可以以许多不同的形式实现。下面的图1至12提供一些实施例，但是可以设想其他实施例，并且图1至12的讨论不限制实现方式的广度。方面中的至少一个一般涉及点云编码和解码，并且至少另一个方面一般涉及传输生成或编码的比特流。更精确地，本文描述的各种方法和其他方面可以用于修改模块。它们可以正好在重构点云的几何结构(geometry)之后，或者在重构几何结构并分配颜色信息之后完成。补片生成模块PGM(图3中的步骤3100)，纹理图像生成器TIG(图3中的步骤3400)和几何结构生成模块GGM(图4中的步骤4500)是潜在修改的模块的示例。例如，补片生成模块PGM(图3中的步骤3100)添加至少一个填充3D样本，并且显式地编码(或不编码)与所述至少一个填充3D样本相关联的颜色信息。纹理图像生成器TIG(图3中的步骤3400)或几何结构生成模块GGM(图4中的步骤4500)可以将内插的颜色信息或解码的颜色信息分配给填充3D样本。此外，本方面不限于诸如涉及点云压缩的MPEG-I第5部分之类的MPEG标准，并且可以应用于例如现有或未来开发的其他标准和推荐以及任何这种标准和推荐(包括MPEG-I第5部分)的扩展。除非另外指出或在技术上被排除，否则本申请中描述的方面可以单独或组合使用。在下文中，图像数据指代数据，例如，特定图像/视频格式的2D样本的一个或若干个阵列。特定图像/视频格式可以规定与图像(或视频)的像素值有关的信息。特定图像/视频格式也可以规定可由显示器和/或任何其他设备使用以例如可视化和/或解码图像(或视频)的信息。图像典型包括2D样本的第一阵列的形状的第一分量，通常表示图像的亮度(luminance)(或luma))。图像还可以包括2D样本的其他阵列的形状的第二分量和第三分量，通常表示图像的色度(chrominance)(或色度(chroma))。一些实施例使用颜色样本的一组2D阵列(诸如传统的三色RGB表本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n-向点云帧添加至少一个3D样本；和/n-向所述至少一个3D样本分配颜色编码模式，所述颜色编码模式指示与所述至少一个3D样本相关联的颜色信息是否在比特流中被显式编码或者所述颜色信息是否是隐式的；和/n-如果显式颜色编码模式与所述至少一个3D样本相关联，则在比特流中编码与至少一个3D样本相关联的颜色信息。/n

【技术特征摘要】
【国外来华专利技术】20180119 EP 18305048.3;20180410 EP 18305420.4;20181.一种方法，包括：
-向点云帧添加至少一个3D样本；和
-向所述至少一个3D样本分配颜色编码模式，所述颜色编码模式指示与所述至少一个3D样本相关联的颜色信息是否在比特流中被显式编码或者所述颜色信息是否是隐式的；和
-如果显式颜色编码模式与所述至少一个3D样本相关联，则在比特流中编码与至少一个3D样本相关联的颜色信息。


2.根据权利要求1所述的方法，其中，所述点云帧是通过对表示点云帧的几何结构的至少一个几何图像进行去投影而获得的。


3.权利要求1或2所述的方法，其中，根据点云帧的当前3D样本的相邻3D样本的深度值与所述当前3D样本的深度值之间的差，从当前3D样本添加至少一个3D样本。


4.根据权利要求1-3之一所述的方法，其中，至少一个3D样本被添加深度值，其范围从所述点云帧的当前3D样本的深度值到等于所述当前3D样本的深度值与最大深度差的总和减去1，所述最大深度差等于所述当前3D样本的深度和所述当前3D样本的相邻3D样本的深度之间的差。


5.根据权利要求4所述的方法，其中，在与表示所述点云帧的当前3D样本在图像平面上的投影的2D样本相同的2D位置处，添加至少一个3D样本，直至最大深度差。


6.根据权利要求5所述的方法，其中，当最大深度差等于0或1时，在所述2D位置处添加3D样本。


7.根据权利要求3所述的方法，其中，在与表示所述点云帧的当前3D样本在图像平面上的投影的2D样本相同的2D位置处，添加至少一个3D样本，直至最大深度差减去1，并且在表示具有深度值等于最大深度差减去1的相邻3D样本的投影的2D样本的2D位置处添加另一个3D样本。


8.根据权利要求4-7之一所述的方法，其中，最大深度差至少等于最小值。


9.根据权利要求8所述的方法，其中，所述最小值在比特流中传输。


10.根据权利要求3所述的方法，其中，当计算最大深度差时，如果点云帧的当前3D样本的深度值与相邻3D样本的深度值之间的差不属于给定范围的值，则忽略点云帧的当前3D样本的深度值与相邻3D样本的深度值之间的差。


11.根据权利要求4所述的方法，其中，根据与所述3D样本相关联的所述最大深度差，将颜色编码模式分配给3D样本。


12.根据权利要求1所述的方法，如果显式的颜色编码模式与3D样本相关联，则与所述3D样本相关联的颜色信息被编码为图像数据，并且如果隐式的颜色编码模式与3D样本相关联，则通过内插与其他3D样本相关联的颜色信息来获得与所述3D样本相关联的颜色信息。


13.根据权利要求1所述的方法，其中，所述方法还包括：在比特流中编码与3D样本相关联的颜色编码模式。


14.一种方法，包括：
-向点云帧添加至少一个3D样本；
-如果与所述至少一个3D样本相关联的颜色编码模式指示与所述至少一个3D样本相关联的颜色信息被显式地编码在比特流中，则从比特流中解码与所述至少一个3D样本相关联的颜色信息二
-否则，与所述至少一个3D样本相关联的颜色信息是从与点云帧的其他3D样本相关联的颜色信息推导的。


15.根据权利要求14所述的方法，其中，所述点云帧通过对表示点云帧的几何结构的至少一个几何图像进行去投影而获得的。


16.根据权利要求14或15所述的方法，其中，根据点云帧的当前3D样本的相邻3D样本的深度值与所述当前3D样本的深度值之间的差，从当前3D样本添加至少一个3D样本。


17.根据权利要求14或15所述的方法，其中，至少一个3D样本被添加深度值，其范围从所述点云帧的当前3D样本的深度值到等于所述当前3D样本的深度值与最大深度差的总和减去1，所述最大深度差等于所述当前3D样本的深度和所述当前3D样本的相邻3D样本的深度之间的差。

【专利技术属性】
技术研发人员：J里卡德，C盖德，Y奥利维尔，J拉赫平萨克，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：美国;US