编码/解码体积视频的方法、装置和流制造方法及图纸

根据视点范围对表示场景的3D表示的数据进行编码/解码可以涉及根据表示与3D表示的部分相关联的二维参数化的参数和与该部分中包括的点相关联的数据，生成与该部分相关联的深度图，其中二维参数化可以响应于与点相关联的几何信息，并且响应于与视点范围相关联的姿势信息。可以根据与点相关联的参数和数据生成与该部分相关联的纹理图。可以获得表示该部分的一部分中的点的点密度的第一信息。在比特流的相应语法元素中可以包括深度图、纹理图、参数和第一信息。

【技术实现步骤摘要】
【国外来华专利技术】编码/解码体积视频的方法、装置和流
本公开涉及体积视频(volumetricvideo)内容的领域。还可以在表示体积内容的数据的编码和/或格式化的上下文中理解本公开，例如用于在诸如移动设备或头戴式显示器的最终用户设备上进行渲染。
技术介绍
本部分旨在向读者介绍本领域的各个方面，其可能与以下描述和/或要求保护的本公开的各个方面有关。认为本讨论有助于向读者提供背景信息，以有助于更好地理解本专利技术的各个方面。因此，应该理解的是，应从此角度来阅读这些陈述，而不是作为对现有技术的承认。近来，可用的大视野内容(高达360°)日益增长。这类内容可能并不能由用户在诸如头戴式显示器、智能眼镜、PC屏幕、平板、智能电话等沉浸式显示设备上观看内容时完全看到。这意味着在给定时刻，用户可能仅在观看内容的一部分。然而，用户通常可以通过诸如头部移动、鼠标移动、触摸屏、语音等各种手段在内容之内导航。通常期望对该内容进行编码和解码。沉浸式视频(也称为360°平面视频)允许用户通过其头部围绕静止视点的旋转来观看自己周围的一切。旋转仅允许3自由度(3DoF)体验。本文档来自技高网...

【技术保护点】
1.一种将表示场景的3D表示的数据编码到比特流中的方法，所述3D表示根据视点范围，所述方法包括：/n-根据表示与所述3D表示的至少一部分相关联的二维参数化的至少一个参数，并且根据与所述至少一部分中包括的至少一个点相关联的数据，确定与所述至少一部分相关联的深度图，所述至少一个二维参数化响应于与所述至少一个点相关联的几何信息，并且响应于与所述视点范围相关联的姿势信息；/n-根据所述至少一个参数和与所述至少一部分中包括的所述至少一个点相关联的数据，确定与所述至少一部分相关联的纹理图；/n-获得表示所述3D表示的所述至少一部分中的至少一部分中包括的至少一些点的点密度的第一信息；/n-将所述深度图、所述...

【技术特征摘要】
【国外来华专利技术】20171123 EP 17306629.11.一种将表示场景的3D表示的数据编码到比特流中的方法，所述3D表示根据视点范围，所述方法包括：
-根据表示与所述3D表示的至少一部分相关联的二维参数化的至少一个参数，并且根据与所述至少一部分中包括的至少一个点相关联的数据，确定与所述至少一部分相关联的深度图，所述至少一个二维参数化响应于与所述至少一个点相关联的几何信息，并且响应于与所述视点范围相关联的姿势信息；
-根据所述至少一个参数和与所述至少一部分中包括的所述至少一个点相关联的数据，确定与所述至少一部分相关联的纹理图；
-获得表示所述3D表示的所述至少一部分中的至少一部分中包括的至少一些点的点密度的第一信息；
-将所述深度图、所述纹理图、所述至少一个参数、所述第一信息以及表示所述二维参数化与对应的深度图和纹理图之间的映射的第二信息编码到所述比特流中。


2.一种配置为将表示场景的3D表示的数据编码到比特流中的设备，所述3D表示根据视点范围，所述设备包括与至少一个处理器相关联的存储器，所述至少一个处理器被配置为：
-根据表示与所述3D表示的至少一部分相关联的二维参数化的至少一个参数，并且根据与所述至少一部分中包括的至少一个点相关联的数据，确定与所述至少一部分相关联的深度图，所述至少一个二维参数化响应于与所述至少一个点相关联的几何信息，并且响应于与所述视点范围相关联的姿势信息；
-根据所述至少一个参数和与所述至少一部分中包括的所述至少一个点相关联的数据，确定与所述至少一部分相关联的纹理图；
-获得表示所述3D表示的所述至少一部分中的至少一部分中包括的至少一些点的点密度的第一信息；
-将所述深度图、所述纹理图、所述至少一个参数、所述第一信息以及表示所述二维参数化与对应的深度图和纹理图之间的映射的第二信息编码到所述比特流中。


3.根据权利要求1所述的方法或根据权利要求2所述的设备，其中，所述第一信息包括关于所述3D表示的哪些部分的点密度低于确定密度值的指示。


4.根据权利要求3所述的方法或根据权利要求3所述的设备，其中，通过根据所述视点范围中包括的视点检测场景的至少一个图像中的场景的对象之间的至少一个边界来获得所述第一信息，所述3D表示的所述部分的点密度低于与包括边界的场景的区域相对应的确定密度值。


5.根据权利要求3所述的方法或根据权利要求3所述的设备，其中，通过计算所述3D表示的多个体积元素中的每个体积元素中包括的点的数量从而获得所述每个体积元素的点密度，并且通过将所述每个体积元素的点密度与所述确定密度值进行比较来获得所述第一信息。


6.一种承载表示场景的3D表示的数据的流，所述3D表示根据视点范围，其中，所述数据包括：
-表示部分所述3D表示的至少一部分的二维参数化的至少一个参数，所述至少一个参数是根据与所述3D表示的所述至少一部分的至少一个点相关联的几何信息以及根据与所述视点范围相关联的姿势信息而获得的；
-表示纹理图的数据，所述纹理图与所述3D表示的所述至少一部分相关联并且是从所述至少一个参数以及与所述3D表示的所述至少一部分中包括的至少一个点相关联的数据中确定的；
-表示深度图的数据，所述深度图与所述3D表示的所述至少一部分相关联并且是从所述至少一个参数以及与所述3D表示的所述至少一部分中包括的至少一个点相关联的数据中确定的；

【专利技术属性】
技术研发人员：F图多尔，B丘佩奥，R多尔，T塔皮，J弗勒罗，
申请(专利权)人：交互数字VC控股公司，
类型：发明
国别省市：美国;US