用于全向视频的装置、方法及计算机程序制造方法及图纸

公开了用于视频编码和解码的各种方法、设备及计算机程序产品。在一些实施例中，用于视频编码的方法包括：获得压缩体积视频数据，该压缩体积视频数据表示三维场景或对象(71)；将该压缩体积视频数据封装到数据结构中(72)；获得从特定视口看到的该三维场景的至少一部分的二维投影的数据(73)；以及将该二维投影的数据包括到该数据结构中(74)。据包括到该数据结构中(74)。据包括到该数据结构中(74)。

【技术实现步骤摘要】
【国外来华专利技术】用于全向视频的装置、方法及计算机程序


本专利技术涉及用于压缩点云的视口信令的装置、方法及计算机程序。

技术介绍

本节旨在提供权利要求中所述的本专利技术的背景或上下文。在本文中的描述可以包括可追求的概念，但未必是先前已经构思或追求的概念。因此，除非在本文中另有说明，否则在本节中描述的内容不是本申请中的描述和权利要求的现有技术，并且不因包括在本节中而被认为是现有技术。体积视频数据表示三维场景或对象，并且可以被用作用于虚拟现实(VR)、增强现实(AR)和混合现实(MR)应用的输入。这种数据描述了几何结构(例如，三维(3D)空间中的形状、大小、位置)和相应的属性(例如，颜色、不透明度、反射率)以及在给定时间实例处几何结构和属性的任何可能的时间变化。体积视频要么是通过计算机生成的图像(CGI)从3D模型生成的，要么是使用各种捕获方案(例如，多相机、激光扫描、视频和专用深度传感器的组合等)从真实世界场景中捕获的。此外，CGI和真实世界数据的组合也是可能的。用于这种体积数据的典型表示格式是多边形网格、点云(PC)、或体素阵列。在密集点云或体素阵列中，经重构的3D场景可以包含数千万甚至数亿个点。一种用于压缩时变体积场景/对象的方法是将3D表面投影到一些数量的预定义2D平面上。进而，可以使用常规的2D视频压缩算法来压缩投影表面的各方面。例如，基于MPEG视频的点云编码(V
‑
PCC)提供了一种用于通过将3D表面投影到若干预定义2D平面上，进而可以使用常规的2D视频压缩算法对其进行压缩来压缩时变体积场景/对象的过程。使用不同的补片(patch)来呈现投影，其中，每组补片可以表示特定对象或者场景的特定部分。在3D图形中，多边形网格被广泛使用。因此，V
‑
PCC也提供对网格编码和解码的支持。其中，每个顶点(即，定义对象的形状的3D空间中的点)与对象的对应的颜色值和纹理坐标相映射。更大数量的顶点使能编码对象的更详细的几何结构。然而，如果期望通过减少顶点数量来获得更好的压缩效率，则这也将会导致纹理细节的丢失。点云是体积内容的一种形式，以其很差的压缩性能而闻名。MPEG一直致力于基于视频的点云压缩(V
‑
PCC)，其中，点云被投影到2d表面上并使用传统的视频编码工具对其进行压缩。利用相关联的元数据，可以从2d视频重构3d点云。压缩点云包括对应于3D对象的属性(如纹理或法线)的一个或多个编码视频比特流、对应于3D对象的几何结构的一个或多个编码视频比特流、描述2d表面占用的编码视频比特流、以及对应于在3D对象的合成期间必需的所有其他辅助信息的编码元数据比特流。根据使用情况，如由多轨封装的V
‑
PCC比特流所提供的完整V
‑
PCC“体验”可能不是所期望的或者是不可能的。这种场景可能包括但不限于：
‑
连续的“联播(simulcast)”：用户能够随时在2D“导演的剪辑”视图与交互式3D视图之间切换。
‑
3D高亮：在某些时间，用户可以从预渲染的2D视图切换到交互式3D视图(静态或
动态)中。
‑
2D讲故事(Storytelling)：在某些时间，将用户从交互式3D视图带入预渲染的2D视图中，例如，以用于场景转换或“导演的剪辑”视图。
‑
设备适配：设备接收多轨封装的V
‑
PCC比特流，但无法提供3D观看/AR功能(例如，固定的TV屏幕)。
‑
比特率适配：提供预渲染的2D视口以防3D交互将需要太多比特率。
‑
两个或更多个体积内容示例之间的转换，其中，用户首先在探索一组点云内容，然后应用预渲染的动画以将用户平滑地转移到第二个点云域中。当前，在V
‑
PCC数据的运输中不支持这些场景。此外，对于上述支持在预渲染的2D视口与交互式3D视图之间切换的场景，平滑转换应是可能的。也缺少此功能。

技术实现思路

一些实施例提供了一种用于编码和解码视频信息的方法。在本专利技术的一些实施例中，提供了用于视频编码以及解码的方法、装置及计算机程序产品。根据实施例，为了促进视口信令，V
‑
PCC多轨道封装被扩展有一个或多个附加的预渲染的2D视口轨道和相关联的元数据以支持上述所有用例。“视口轨道”是动态的视口序列，即，3D场景中的3D补片上的2D相机视图的动态渲染。“视口轨道”是动态的视口序列，即，3D场景中的3D补片上的2D相机视图的动态渲染。在详细描述中提供了本专利技术的示例的各方面。根据第一方面，提供了一种装置，其包括用于执行以下操作的部件：获得压缩体积视频数据，该压缩体积视频数据表示三维场景或对象；将该压缩体积视频数据封装到数据结构中；获得从特定视口看到的该三维场景的至少一部分的二维投影的数据；以及将该二维投影的数据包括到该数据结构中。根据第二方面，提供了一种用于编码的方法，其包括：获得压缩体积视频数据，该压缩体积视频数据表示三维场景或对象；将该压缩体积视频数据封装到数据结构中；获得从特定视口看到的该三维场景的至少一部分的二维投影的数据；以及将该二维投影的数据包括到该数据结构中。根据第三方面的一种装置包括至少一个处理器和至少一个存储器，在所述至少一个存储器上存储有代码，该代码在由所述至少一个处理器执行时使该装置至少执行：获得压缩体积视频数据，该压缩体积视频数据表示三维场景或对象；将该压缩体积视频数据封装到数据结构中；获得从特定视口看到的该三维场景的至少一部分的二维投影的数据；以及将该二维投影的数据包括到该数据结构中。根据第四方面的一种计算机可读存储介质包括供装置使用的代码，该代码在由处理器执行时使该装置执行：获得压缩体积视频数据，该压缩体积视频数据表示三维场景或对象；将该压缩体积视频数据封装到数据结构中；
获得从特定视口看到的该三维场景的至少一部分的二维投影的数据；以及将该二维投影的数据包括到该数据结构中。根据第五方面的一种装置包括用于执行以下操作的部件：接收数据结构，该数据结构包括表示三维场景或对象的压缩体积视频数据以及从特定视口看到的该三维场景的至少一部分的二维投影的数据；以及选择该三维场景或对象或者该二维投影以用于呈现。根据第六方面的一种方法，其包括：接收数据结构，该数据结构包括表示三维场景或对象的压缩体积视频数据以及从特定视口看到的该三维场景的至少一部分的二维投影的数据；以及选择该三维场景或对象或者该二维投影以用于呈现。根据第七方面的一种装置包括至少一个处理器和至少一个存储器，在所述至少一个存储器上存储有代码，该代码在由所述至少一个处理器执行时使该装置至少执行：接收数据结构，该数据结构包括表示三维场景或对象的压缩体积视频数据以及从特定视口看到的该三维场景的至少一部分的二维投影的数据；以及选择该三维场景或对象或者该二维投影以用于呈现。根据第七方面的一种计算机可读存储介质包括供装置使用的代码，该代码在由处理器执行时使该装置执行：接收数据结构，该数据结构包括表示三维场景或对象的压缩体积视频数据以及从特定视口看到的该三维场景的至少一部分的二维投影的数本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种装置，包括用于执行以下操作的部件：获得压缩体积视频数据，所述压缩体积视频数据表示三维场景或对象；将所述压缩体积视频数据封装到数据结构中；获得从特定视口看到的所述三维场景的至少一部分的二维投影的数据；以及将所述二维投影的所述数据包括到所述数据结构中。2.根据权利要求1所述的装置，其中，所述部件进一步被配置为执行：以比其他所封装的体积视频数据高的质量或分辨率包括所述二维投影的所述数据。3.根据权利要求1或2所述的装置，其中，所述部件进一步被配置为执行：形成点云编码数据单元，所述点云编码数据单元表示所述三维场景或对象内的点的数据集；基于所述点云编码数据单元的类型，将所述点云编码数据单元映射到所述数据结构内的单独的轨道；从所述二维投影的所述数据构建视口轨道；以及构建视口同步轨道，所述视口同步轨道包含将二维视口轨道与一个或多个三维观看轨道链接的投影数据。4.根据权利要求3所述的装置，其中，所述部件进一步被配置为执行：包括与用于所述视口同步轨道的视口有关的虚拟相机信息。5.根据权利要求1至4中任一项所述的装置，其中，所述部件进一步被配置为执行：将所述二维投影的所述数据包括到所述数据结构中，作为一个或多个三维场景或对象的一个或多个预渲染的二维视频。6.根据权利要求1至5中任一项所述的装置，其中，所述部件进一步被配置为执行：将用于所述二维投影的两个或更多个备选的数据包括到所述数据结构中。7.根据权利要求1至6中任一项所述的装置，其中，所述部件进一步被配置为执行：包括具有与所述视口轨道相关联的视口同步轨道的数据的视口轨道。8.一种装置，包括至少一个处理器和至少一个存储器，在所述至少一个存储器上存储有代码，所述代码在由所述至少一个处理器执行时使所述装置至少执行：获得压缩体积视频数据，所述压缩体积视频数据表示三维场景或对象；将所述压缩体积视频数据封装到数据结构中；获得从特定视口看到的所述三维场景的至少一部分的二维投影的数据；以及将所述二维投影的所述数据包括到所述数据结构中。9.一种用于编码的方法，包括：获得压缩体积视频数据，所述压缩体积视频数据表示三维场景或对象；将所述压缩体积视频...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：诺基亚技术有限公司，
类型：发明
国别省市：