用于体积视频编码和解码的方法、装置和计算机程序产品制造方法及图纸

一种解码方法，包括：接收与视频呈现有关的压缩比特流；从所接收的比特流中解码与视频帧的一个或多个三维块有关的数据；对于视频帧的每个块，确定关于表面参数的信息；根据表面参数，生成三维块的边界框；针对三维块的每个像素，计算从视点到该像素的坐标的光线方向；根据光线与所生成的边界框的交点，确定至少两个点；对在所确定的至少两个点之间的点进行光线投射，直到满足完成光线投射的条件为止；根据关于块的一个或多个表面参数的信息，从几何图像和纹理图像中重建三维数据；根据所重建的三维数据，重建视频呈现以用于渲染。重建视频呈现以用于渲染。重建视频呈现以用于渲染。

【技术实现步骤摘要】
【国外来华专利技术】用于体积视频编码和解码的方法、装置和计算机程序产品


[0001]本方案一般涉及体积视频编码。特别地，该方案涉及点云压缩。

技术介绍

[0002]自照相和摄影开始以来，图像和视频内容的最常见类型是由视场相对较窄的相机捕获的，并在平板显示器上被显示为矩形场景。相机主要是定向的，因此它们仅捕获有限的角视场(它们指向的视场)。
[0003]最近，有新的图像和视频捕获设备可用。这些设备能够捕获它们四周的视觉和音频内容，即它们可以捕获有时也被称360度视场的整个角视场。更准确地，它们可以捕获球形视场(即，在所有空间方向上的360度)。此外，还专利技术并生产了新型输出技术，诸如头戴式显示器。这些设备允许人们看到他/她四周的视觉内容，给人一种“沉浸”到由360度相机所捕获的场景中的感觉。在视场为球形的情况下，新的捕获和显示范例通常被称为虚拟现实(VR)并且被认为是人们将在未来体验媒体内容的常见方式。
[0004]对于体积视频，可以使用一个或多个3D(三维)相机来捕获场景。这些相机在场景中处于不同的位置和定向。需要考虑的一个问题是与2D(二维)视频内容相比，体积3D视频内容具有更多的数据，因此观看它需要大量带宽(无论是否将其从存储位置传输到观看设备)：磁盘I/O、网络流量、存储器带宽、GPU(图形处理单元)上传。捕获体积内容也会产生大量数据，尤其是在并行使用多个捕获设备时。

技术实现思路

[0005]现在已经专利技术了一种改进的方法和实现该方法的技术设备，以用于为体积视频编码提供改进。各个方面包括方法、装置以及包括存储在其中的计算机程序的计算机可读介质，其特征在于独立权利要求中所述的内容。在从属权利要求中公开了各种实施例。
[0006]第一方面，提供了一种编码方法，包括：接收视频呈现帧，其中，该视频呈现表示三维数据；从视频呈现帧生成一个或多个补片(patch)；将视频帧的补片划分成一个或多个块(block)；根据与补片的所述一个或多个块有关的信息，针对每个补片确定表面参数；将所确定的表面参数编码到比特流中；以及存储所编码的比特流以用于发送到渲染装置。
[0007]根据第二方面，提供了一种用于解码的方法，包括：接收与视频呈现有关的压缩比特流，该比特流至少包括几何图像和纹理图像；从所接收的比特流中解码与视频帧的一个或多个三维块有关的数据；对于视频帧的每个块，确定关于一个或多个表面参数的信息；根据一个或多个表面参数，生成三维块的边界框；针对三维块的每个像素，计算从视点到该像素的坐标的光线方向；根据光线与所生成的边界框的交点，确定至少两个点；对在所确定的至少两个点之间的点进行光线投射，直到满足完成光线投射的条件为止；根据关于块的一个或多个表面参数的信息，从几何图像和纹理图像中重建三维数据；根据所重建的三维数据，重建视频呈现以用于渲染。
[0008]根据第三方面，提供了一种用于编码比特流的装置，包括：用于接收视频呈现帧的
部件，其中，该视频呈现表示三维数据；用于从视频呈现帧生成一个或多个补片的部件；用于将视频帧的补片划分成一个或多个块的部件；用于根据与补片的所述一个或多个块有关的信息，针对每个补片确定表面参数的部件；用于将所确定的表面参数编码到比特流中的部件；以及用于存储所编码的比特流以用于发送到渲染装置的部件。
[0009]根据第四方面，提供了一种用于解码比特流的装置，包括：用于接收与视频呈现有关的压缩比特流的部件，该比特流至少包括几何图像和纹理图像；用于从所接收的比特流中解码与视频帧的一个或多个三维块有关的数据的部件；用于对于视频帧的每个块，确定关于一个或多个表面参数的信息的部件；用于根据一个或多个表面参数，生成三维块的边界框的部件；用于针对三维块的每个像素，计算从视点到该像素的坐标的光线方向的部件；用于根据光线与所生成的边界框的交点，确定至少两个点的部件；用于对在所确定的至少两个点之间的点进行光线投射，直到满足完成光线投射的条件为止的部件；用于根据关于块的一个或多个表面参数的信息，从几何图像和纹理图像中重建三维数据的部件；用于根据所重建的三维数据，重建视频呈现以用于渲染的部件。
[0010]根据第五方面，提供了一种装置，包括至少一个处理器和包括计算机程序代码的存储器，该存储器和计算机程序代码被配置为与至少一个处理器一起使该装置至少执行以下操作：接收视频呈现帧，其中，该视频呈现表示三维数据；从视频呈现帧生成一个或多个补片；将视频帧的补片划分成一个或多个块；根据与补片的所述一个或多个块有关的信息，针对每个补片确定表面参数；将所确定的表面参数编码到比特流中；以及存储所编码的比特流以用于发送到渲染装置。
[0011]根据第六方面，提供了一种装置，包括至少一个处理器和包括计算机程序代码的存储器，该存储器和计算机程序代码被配置为与至少一个处理器一起使该装置至少执行以下操作：接收与视频呈现有关的压缩比特流，该比特流至少包括几何图像和纹理图像；从所接收的比特流中解码与视频帧的一个或多个三维块有关的数据；对于视频帧的每个块，确定关于一个或多个表面参数的信息；根据一个或多个表面参数，生成三维块的边界框；针对三维块的每个像素，计算从视点到该像素的坐标的光线方向；根据光线与所生成的边界框的交点，确定至少两个点；对在所确定的至少两个点之间的点进行光线投射，直到满足完成光线投射的条件为止；根据关于块的一个或多个表面参数的信息，从几何图像和纹理图像中重建三维数据；根据所重建的三维数据，重建视频呈现以用于渲染。
[0012]根据第七方面，提供了一种包括计算机程序代码的计算机程序产品，该计算机程序代码被配置为当在至少一个处理器上被执行时使装置或系统：接收视频呈现帧，其中，该视频呈现表示三维数据；从视频呈现帧生成一个或多个补片；将视频帧的补片划分成一个或多个块；根据与补片的所述一个或多个块有关的信息，针对每个补片确定表面参数；将所确定的表面参数编码到比特流中；以及存储所编码的比特流以用于发送到渲染装置。
[0013]根据第八方面，提供了一种包括计算机程序代码的计算机程序产品，该计算机程序代码被配置为当在至少一个处理器上被执行时使装置或系统：接收与视频呈现有关的压缩比特流，该比特流至少包括几何图像和纹理图像；从所接收的比特流中解码与视频帧的一个或多个三维块有关的数据；对于视频帧的每个块，确定关于一个或多个表面参数的信息；根据一个或多个表面参数，生成三维块的边界框；针对三维块的每个像素，计算从视点到该像素的坐标的光线方向；根据光线与所生成的边界框的交点，确定至少两个点；对在所
确定的至少两个点之间的点进行光线投射，直到满足完成光线投射的条件为止；根据关于块的一个或多个表面参数的信息，从几何图像和纹理图像中重建三维数据；根据所重建的三维数据，重建视频呈现以用于渲染。
[0014]根据实施例，关于一个或多个表面参数的信息是从比特流中解码的。
[0015]根据实施例，关于一个或多个表面参数的信息是从各种深度层的像素中确定的。
[0016]根据实施例，通过以下操作来确定完成光线透射的条件：确本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于编码的方法，包括：
‑
接收视频呈现帧，其中，所述视频呈现表示三维数据；
‑
从所述视频呈现帧生成一个或多个补片；
‑
将视频帧的补片划分成一个或多个块；
‑
根据与补片的所述一个或多个块有关的信息，针对每个补片确定表面参数；
‑
将所确定的表面参数编码到比特流中；以及
‑
存储所编码的比特流以用于发送到渲染装置。2.一种用于解码的方法，包括：
‑
接收与视频呈现有关的压缩比特流，所述比特流至少包括几何图像和纹理图像；
‑
从所接收的比特流中解码与视频帧的一个或多个三维块有关的数据；
‑
对于所述视频帧的每个块，确定关于一个或多个表面参数的信息；
‑
根据所述一个或多个表面参数，生成三维块的边界框；
‑
针对所述三维块的每个像素，计算从视点到该像素的坐标的光线方向；
‑
根据所述光线与所生成的边界框的交点，确定至少两个点；
‑
对在所确定的至少两个点之间的点进行光线投射，直到满足完成所述光线投射的条件为止；
‑
根据关于块的一个或多个表面参数的所述信息，从所述几何图像和所述纹理图像中重建三维数据；
‑
根据所重建的三维数据，重建视频呈现以用于渲染。3.一种用于编码比特流的装置，包括：
‑
用于接收视频呈现帧的部件，其中，所述视频呈现表示三维数据；
‑
用于从所述视频呈现帧生成一个或多个补片的部件；
‑
用于将视频帧的补片划分成一个或多个块的部件；
‑
用于根据与补片的所述一个或多个块有关的信息，针对每个补片确定表面参数的部件；
‑
用于将所确定的表面参数编码到比特流中的部件；以及
‑
用于存储所编码的比特流以用于发送到渲染装置的部件。4.根据权利要求3所述的装置，其中，所述表面参数是补片的深度或深度差。5.根据权利要求3所述的装置，其中，所述表面参数是根据所述深度差确定的渲染厚度参数。6.根据权利要求3至5中任一项所述的装置，还包括：用于将所述渲染厚度参数编码到补充增强信息(SEI)消息中的部件。7.根据权利要求3至6中任一项所述的装置，其中，针对每个块确定所述渲染参数。8.根据权利要求3至7中任一项所述的装置，其中，所述渲染参数被编码到占用图中。9.根据权利要求3至8中任一项所述的装置，还包括：将深度层之间的颜色插值编码到所述比特流中。10.根据权利要求3至9中任一项所述的装置，包括：至少一个处理器，以及包括计算机程序代码的存储器。11.一种用于解码比特流的装置，包括：
‑
用于接收与视频呈现有关的压缩比特流的部件，所述比特流至少包括几何图像和纹理图像；
‑
用于从所接收的比特流中解码与视频帧的一个或多个三维块有关的数据的部件；
‑
用于对于所述视频帧的每个块，确定关于一个或多个表面参数的信息的部件；
‑
用于根据所述一个或多个表面参数，生成三维块的边界框的部件；
‑
用于针对所述三维块的每个像素，计算从视点到该像素的坐标的光线方向的部件；
‑
用于根据所述光线与所生成的边界框的交点，确定至少两个点的部件；
‑
用于对在所确定的至少两个点之间的点进行光线投射，直到满足完成所述光线投射的条件为止的部件；以及
‑
用于根据关于块的一个或多个表面参数的所述信息...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：诺基亚技术有限公司，
类型：发明
国别省市：