用于生成3D场景的点的方法和装置制造方法及图纸

一种用于从深度图像生成3D场景的点的方法和装置。为了达到该目的，将与当前像素相关联的深度信息与和所述深度图像中在空间上相邻于所述当前像素的像素相关联的深度信息进行比较。当所述当前像素与相邻像素之间的深度差大于第一值且小于第二值时，除了与所述深度图像的所述当前像素相关联的当前点之外，生成所述3D场景的至少附加点，所述附加点的数目取决于所述深度差。

【技术实现步骤摘要】
【国外来华专利技术】用于生成3D场景的点的方法和装置
本文档涉及处理3D场景的领域。具体地，但非排他地，本原理的
涉及表示3D场景或其一部分的几何形状和/或纹理(例如，3D对象的几何形状和/或纹理)的点云的点的处理。本原理的
还可以涉及使用纹理和深度投影方案的3D图像数据的编码/解码。
技术介绍
本部分旨在向读者介绍技术的各个方面，这些方面可涉及以下描述和/或要求保护的本文档的各个方面。认为该讨论有助于向读者提供背景信息，以有助于更好地理解本专利技术的各个方面。因此，应从这个角度来阅读这些陈述，而不是作为对现有技术的承认。用点云或网格表示3D对象是公知的。网格包括其每一个由顶点和连接顶点的边缘表示的网格元素(例如三角形)。网格通常旨在表示3D对象的外表面。点云是通常旨在表示3D对象外表面的点集，也可能是更复杂的几何形状(如头发、毛发)，它们可能无法通过其他数据格式(例如网格)有效地表示。点云的每个点通常由3D空间位置(3D空间中的X、Y和Z坐标)定义，并且可能由其他关联属性定义，例如在RGB或YUV颜色空间中表示的颜色，例如透明度、反射率、两分量法向向量等。可以考虑有色点云，即六分量点的集合(X，Y，Z，R，G，B)或等效地(X，Y，Z，Y，U，V)，其中(X，Y，Z)定义3D空间中的点的空间位置，而(R，G，B)或(Y，U，V)定义该点的颜色或纹理。可以用与基于图像的点云表示相对应的纹理和深度投影，来表示点云。在深度压缩之后，3D场景的一些点可能会被错误地重构或简单地丢失，这导致可能根据视点可见的3D场景中的孔。
技术实现思路
说明书中对“一个实施例”、“实施例”、“示例实施例”、“特定实施例”的指代指示所描述的实施例可以包括特定特征、结构或特性，但是每个实施例并非必须都包括所述特定特征、结构或特性。而且，这样的短语并非必须指代相同的实施例。此外，当结合实施例描述这些特定特征、结构或特性时，认为结合没有明确描述的其他实施例影响这样的特征、结构或特性是本领域技术人员公知的。本文档涉及一种用于从深度图像生成3D场景的点的方法，该方法包括：-对于所述深度图像的当前像素，将与所述当前像素相关联的深度信息与和所述深度图像中在空间上相邻于所述当前像素的像素相关联的深度信息进行比较；-当所述当前像素与相邻像素之间的深度差大于第一值且小于第二值时，除了与所述深度图像的所述当前像素相关联的当前点之外，生成所述3D场景的至少附加点，所述附加点的数目取决于所述差。本文档还涉及一种适于从深度图像生成3D场景的点的装置/设备，所述装置/设备包括与至少处理器相关联的存储器，该处理器被配置为：-对于所述深度图像的当前像素，将与所述当前像素相关联的深度信息与和所述深度图像中在空间上相邻于所述当前像素的像素相关联的深度信息进行比较；-当所述当前像素与相邻像素之间的深度差大于第一值且小于第二值时，除了与所述深度图像的所述当前像素相关联的当前点之外，生成所述3D场景的至少附加点，所述附加点的数目取决于所述差。本文档还涉及一种适于从深度图像生成3D场景的点的装置/设备，所述装置/设备包括：-用于对于所述深度图像的当前像素、将与所述当前像素相关联的深度信息与和所述深度图像中在空间上相邻于所述当前像素的像素相关联的深度信息进行比较的部件；-用于当所述当前像素与相邻像素之间的深度差大于第一值且小于第二值时、除了与所述深度图像的所述当前像素相关联的当前点之外、生成所述3D场景的至少附加点的部件，所述附加点的数目取决于所述差。根据特性，在与当前像素具有在所述第一值和所述第二值之间包括的深度差的相邻像素之中，选择与当前像素具有最大深度差的相邻像素，所生成的附加点的数目取决于所述最大深度差根据特定特性，体积单位与所述3D场景的点相关联，所述深度差对应于体积单位的数目，所生成的点的数目对应于所述深度差减去1。根据另一特性，确定要与所述至少一个附加点相关联的属性，所述属性是根据与所述当前点和所述相邻像素相关联的属性来确定的。根据另一特性，要与所述至少一个附加点相关联的属性包括深度信息和/或纹理信息。根据另一特性，从接收到的比特流中解码深度图像。根据另一特性，3D场景的点是点云的一部分。本文档还涉及一种计算机程序产品，该计算机程序产品包括程序代码的指令，当在计算机上执行该程序时，该程序代码的指令用于由至少一个处理器执行用于从深度图像生成3D场景的点的上述方法。本文档还涉及一种(非瞬时)处理器可读介质，其中存储有指令，所述指令用于促使处理器至少执行用于从深度图像生成3D场景的点的上述方法。附图说明通过阅读以下描述，将更好地理解本文档，并且将显露其他特定特征和优点，该描述参考了附图，其中：-图1示出了根据本原理的示例的3D场景的3D对象的示例；-图2A和2B示出了根据本原理的非限制性实施例的、与图1的3D对象相关联的属性图像的示例；-图3示出了根据本原理的非限制性实施例的、用于获得图2A和2B的属性图像的第一示例；-图4示出了根据本原理的非限制性实施例的、用于获得图2A和2B的属性图像的第二示例；-图5A和5B示出了根据本原理的非限制性实施例的、根据确定的视点的图1的3D对象的点；-图6A和6B示出了根据本原理的非限制性实施例的、图1的3D对象的一些点和相关联的深度图像的3D表示；-图7A和7B中的每一个示出了根据本原理的非限制性实施例的、在图6A的3D表示中包括的孔的2D表示；-图8示出了根据本原理的非限制性实施例的、用于生成图1的3D场景的一个或多个点的方法；-图9示出了根据本原理的非限制性实施例的、用于实现图8、12和/或13的方法的设备的架构的示例；-图10示出了根据本原理的示例的、表示图1的3D对象的点云的编码/解码方案的示例；-图11示出了根据本原理的非限制性实施例的、传输通过图10的方案获得的比特流的信号的语法的示例；-图12示出了根据本原理的非限制性实施例的、在表示图1的3D对象的点云的编码中实现的处理的示例；和-图13示出了根据本原理的非限制性实施例的、用于对比特流进行解码以获得表示图1的对象图1的3D对象的解码点云的处理的示例。具体实施方式现在参考附图描述主题，其中，贯穿全文使用相同的附图标记指代相同的元件。在下面的描述中，出于解释的目的，阐述了许多具体细节，以便提供对主题的透彻理解。然而，显而易见的是，可以在没有这些具体细节的情况下实践主题实施例。根据非限制性实施例，公开了一种生成三维(3D)场景的点的方法和装置。在下文中，图像包含特定图像/视频格式的一个或几个样本的阵列(像素值)，这些阵列指定了与图像(或视频)的像素值有关的所有信息、以及可能例如由显示器和/或任何其他装置可视化和/或解码图像(或视频)所使用的所有信息。图像包括具有第一样本阵本文档来自技高网...

【技术保护点】
1.一种用于从深度图像生成3D场景的点的方法，该方法包括：/n-对于所述深度图像的当前像素，将和所述当前像素相关联的深度信息与和所述深度图像中在空间上相邻于所述当前像素的像素相关联的深度信息进行比较；/n-当所述当前像素与相邻像素之间的深度差大于第一值且小于第二值时，除了与所述深度图像的所述当前像素相关联的当前点之外，生成所述3D场景的至少附加点，所述附加点的数目取决于所述差。/n

【技术特征摘要】
【国外来华专利技术】20171006 EP 17306345.41.一种用于从深度图像生成3D场景的点的方法，该方法包括：
-对于所述深度图像的当前像素，将和所述当前像素相关联的深度信息与和所述深度图像中在空间上相邻于所述当前像素的像素相关联的深度信息进行比较；
-当所述当前像素与相邻像素之间的深度差大于第一值且小于第二值时，除了与所述深度图像的所述当前像素相关联的当前点之外，生成所述3D场景的至少附加点，所述附加点的数目取决于所述差。


2.根据权利要求1所述的方法，还包括：在与当前像素具有在所述第一值和所述第二值之间包括的深度差的相邻像素之中，选择与当前像素具有最大深度差的相邻像素，所生成的附加点的数目取决于所述最大深度差。


3.根据权利要求1至2中的一项所述的方法，其中，体积单位与所述3D场景的点相关联，所述深度差对应于体积单位的数目，所生成的点的数目对应于所述深度差减去1。


4.根据权利要求1至3中的一项所述的方法，还包括：确定要与所述至少一个附加点相关联的属性，所述属性是根据与所述当前点和所述相邻像素相关联的属性来确定的。


5.根据权利要求4所述的方法，其中要与所述至少一个附加点相关联的属性包括深度信息和/或纹理信息。


6.根据权利要求1至5中的一项所述的方法，还包括：从接收到的比特流中解码所述深度图像。


7.根据权利要求1至6中的一项所述的方法，其中所述3D场景的所述点是点云的一部分。


8.一种装置，被配置为从深度图像生成3D场景的点，该装置包括与至少一个处理器相关联的存...

【专利技术属性】
技术研发人员：S拉塞尔，J里卡德，R朱利安，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：美国;US