用于对动画3D对象的至少一个属性进行编码/解码的方法和装置制造方法及图纸

本发明专利技术公开了一种用于对动画3D对象的至少一个属性的至少一个分量进行编码的方法、装置以及用于对动画3D对象的至少一个属性的至少一个分量进行解码的方法和装置。该动画3D对象的该至少一个属性的该至少一个分量通过以下进行编码：将属性的值重构成第一子集和第二子集，其中该值的第一子集包括该至少一个分量的在值范围内的值，并且该值的第二子集包括该至少一个分量的在该值范围之外的值；以及对该值的第一子集和该值的第二子集进行编码。值的第一子集和该值的第二子集进行编码。值的第一子集和该值的第二子集进行编码。

【技术实现步骤摘要】
【国外来华专利技术】用于对动画3D对象的至少一个属性进行编码/解码的方法和装置


[0001]本专利技术实施方案总体涉及一种用于动画网格的编码/解码的方法和装置。

技术介绍

[0002]可以通过使用在空间上调度的一组物理捕获设备(视频、红外光，
…
)捕获动画模型来实现自由视点视频。随后可以对经捕获的动画序列进行编码并将其传输到终端，以便以六自由度(6dof)从任何虚拟视点进行播放。存在用于对动画模型进行编码的不同方法。例如，动画模型可以表示为图像/视频、点云或纹理网格。
[0003]在基于图像/视频的方法中，存储一组视频流加上附加元数据，并且执行扭曲或任何其他重投影以在回放时从虚拟视点产生图像。这种解决方案需要大量的带宽并且引入许多伪影。
[0004]在点云方法中，由一组输入动画图像重建动画3D点云，从而产生更紧凑的3D模型表示。随后可以将动画点云投影在包裹动画点云的体积的平面上并将经投影的点(也称为补块(patch))编码到一组2D编码视频流(例如，使用HEVC、AVC、VVC
…
)中以用于递送该动画点云。这种解决方案是例如在MPEG V
‑
PCC标准(“ISO/IEC JTC1/SC29 WG11，w19332，V
‑
PCC编解码器说明”，Alpbach，Austria，2020年4月)中开发的。然而，模型的实质在空间扩展方面非常有限，并且可能出现一些伪影，诸如表面上的针对近距离视图的孔穴。
[0005]在纹理网格方法中，由一组输入动画图像重建动画纹理网格，诸如例如在以下文献中：[1]A.Collet、M.Chuang、P.Sweeney、D.Gillett、D.Evseev、D.Calabrese、H.Hoppe、A.Kirk和S.Sullivan，“High
‑
quality streamable free
‑
viewpoint video”，ACM Transaction on Graphics(SIGGRAPH)，2015；或者J.Carranza，C.Theobalt、M.A.Magnor和H.
‑
P.Seidel，“Free
‑
Viewpoint Video of Human Actor”，ACM SIGGRAPH，2003。这种重建通常经历作为体素或点云的中间表示。网格的特征为：几何定义可以非常低，并且光度测定纹理图集可以被编码在标准视频流中。点云解决方案可能需要“复杂”且“有损”的隐式或显式投影(如在V
‑
PCC中)，以获得与基于视频的编码方法兼容的平面表示。对应地，纹理网格编码依赖于纹理坐标(UV)来执行纹理图像到网格的三角形的映射。

技术实现思路

[0006]根据一个实施方案，提供了一种用于对动画3D对象的至少一个属性的至少一个分量进行编码的方法。该方法包括：将至少一个属性的至少一个分量的值重构成第一子集和第二子集，其中值的第一子集包括至少一个分量的在值范围内的值，并且值的第二子集包括至少一个分量的在值范围之外的值；以及对值的第一子集和值的第二子集进行编码。
[0007]根据另一个实施方案，提供了一种用于对动画3D对象的至少一个属性的至少一个分量进行编码的装置，该装置包括一个或多个处理器，该一个或多个处理器被配置用于：将至少一个属性的值重构成第一子集和第二子集，其中值的第一子集包括至少一个分量的在
值范围内的值，并且值的第二子集包括至少一个分量的在值范围之外的值；以及对第一子集进行编码并对值的第二子集进行编码。
[0008]根据另一个实施方案，提供了一种用于对动画3D对象的至少一个属性的至少一个分量进行解码的方法，其中解码包括：对值的第一子集和值的第二子集进行解码；以及由第一子集和第二子集重建至少一个属性的至少一个分量，其中值的第一子集包括至少一个分量的在值范围内的值，并且值的第二子集包括至少一个分量的在值范围之外的值。
[0009]根据另一个实施方案，提供了一种用于对动画3D对象的至少一个属性的至少一个分量进行解码的装置，该装置包括一个或多个处理器，该一个或多个处理器被配置用于：对值的第一子集和值的第二子集进行解码；以及由第一子集和第二子集重建至少一个属性，其中值的第一子集包括至少一个分量的在值范围内的值，并且值的第二子集包括至少一个分量的在值范围之外的值。
[0010]根据另一个实施方案，提供了一种用于对3D对象进行编码/解码的方法，该方法包括对3D对象的至少一个属性的至少一个分量至少进行编码/解码。
[0011]根据另一个实施方案，提供了一种用于对3D对象进行编码/解码的装置，该装置包括一个或多个处理器，该一个或多个处理器被配置用于：对3D对象的至少一个属性的至少一个分量至少进行编码/解码。
[0012]根据另一个实施方案，提供了一种包括动画3D对象的至少一个属性的编码的比特流，该比特流包括编码视频数据和编码元数据，该编码视频数据表示动画3D对象的至少属性的至少一个分量的值的第一子集；编码元数据表示动画3D对象的至少一个属性的至少一个分量的值的第二子集，所述至少一个属性被重构成值的第一子集和第二子集，其中值的第一子集包括至少一个分量的在值范围内的值，并且值的第二子集包括至少一个分量的在值范围之外的值。
[0013]一个或多个实施方案还提供了一种计算机程序，该计算机程序包括指令，该指令在由一个或多个处理器执行时使该一个或多个处理器执行根据上述任一实施方案的编码方法或解码方法中的任一者。本专利技术实施方案中的一个或多个实施方案还提供了一种计算机可读存储介质，该计算机可读存储介质在其上存储有指令，该指令用于根据上述方法对3D对象或动画3D对象的至少一个属性的至少一个分量进行编码或解码。一个或多个本专利技术实施方案还提供了一种计算机可读存储介质，该计算机可读存储介质在其上存储有根据上述方法生成的比特流。一个或多个本专利技术实施方案还提供了一种用于发送或接收根据上述方法生成的比特流的方法和装置。
附图说明
[0014]图1示出了其中可实现本专利技术实施方案的各方面的系统的框图。
[0015]图2示出了视频编码器的实施方案的框图。
[0016]图3示出了视频解码器的实施方案的框图。
[0017]图4示出了八面体表示。
[0018]图5示出了具有对应的3D对象和纹理图集的示例性网格。
[0019]图6示出了使用CL＝0(无EdgeBreaker)的Draco的针对篮球运动员模型的给定帧的位置属性的演变。
[0020]图7示出了使用CL＝4(带EdgeBreaker)的Draco的针对篮球运动员模型的给定帧的位置'增量的演变。
[0021]图8示出了使用CL＝4(带EdgeBreaker)的Draco的针对芭蕾舞者模型的给定帧的位置'增量的演变。
[0022]图9示出了使用CL＝10(带EdgeBreaker)的Draco的针对篮球运动本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：对动画3D对象的至少一个属性的至少一个分量进行编码，其中编码包括：
‑
将所述至少一个属性的所述至少一个分量的值重构成第一子集和第二子集，其中所述值的第一子集包括所述至少一个分量的在值范围内的值，并且所述值的第二子集包括所述至少一个分量的在所述值范围之外的值；
‑
对所述第一子集和所述第二子集进行编码。2.一种装置，包括一个或多个处理器，其中所述一个或多个处理器被配置为对动画3D对象的至少一个属性的至少一个分量进行编码，其中编码包括：
‑
将至少一个属性的所述至少一个分量的值重构成第一子集和第二子集，其中所述值的第一子集包括所述至少一个分量的在值范围内的值，并且所述值的第二子集包括所述至少一个分量的在所述值范围之外的值；
‑
对所述第一子集和所述第二子集进行编码。3.根据权利要求1所述的方法或根据权利要求2所述的装置，其中使用基于视频的编码器来对所述第一子集进行编码。4.根据权利要求1或3中任一项所述的方法或根据权利要求2至3中任一项所述的装置，其中使用基于视频的编码器来对所述第二子集进行编码或者将其编码为元数据。5.根据权利要求1或3至4中任一项所述的方法，还包括，或根据权利要求2至4中任一项所述的装置，其中所述一个或多个处理器被进一步配置用于将所述值的第一子集封装到视频的图像的至少一个分量中。6.根据权利要求1或3至5中任一项所述的方法，或根据权利要求2至5中任一项所述的装置，其中将所述至少一个属性的所述至少一个分量的值重构成第一子集和第二子集包括：对所述值的第一子集进行无损量化。7.根据权利要求1或3至5中任一项所述的方法，或根据权利要求2至5中任一项所述的装置，其中将所述至少一个属性的所述至少一个分量的值重构成第一子集和第二子集包括：
‑
根据定义所述值范围的半径参数来确定所述值的第一子集和所述值的第二子集；
‑
对所述半径参数进行编码。8.根据权利要求7所述的方法或装置，其中所述半径参数被确定为所述至少一个属性的所述至少一个分量的所述值的半最大偏差。9.根据权利要求7或8所述的方法或装置，其中将所述至少一个属性的所述至少一个分量的值重构成第一子集和第二子集包括：根据所述半径参数来确定用于在没有损失的情况下量化所述值的第一子集的比特数。10.根据权利要求7至9中任一项所述的方法或装置，其中针对所述至少一个属性的所有分量确定相同的半径参数。11.根据权利要求7至9中任一项所述的方法或装置，其中针对所述至少一个属性的每个分量确定不同的半径参数。12.根据权利要求7至11中任一项所述的方法或装置，其中针对所述动画3D对象的至少一个帧确定所述半径参数。13.根据权利要求7至12中任一项所述的方法或装置，其中针对所述动画3D对象的至少
两个帧中的每个帧确定半径参数，并且根据所确定的半径参数中的最大值来确定所述值范围。14.根据权利要求3至13中任一项所述的方法或装置，其中所述值的第一子集包括所述至少一个属性的所述至少一个分量的所述值，并且其中在所述第一子集中用根据所述第一子集的至少一个值确定的值来替换与属于所述第二子集的值相对应的至少一个值。15.根据权利要求3至13中任一项所述的方法或装置，其中所述值的第一子集包括所述至少一个属性的所述至少一个分量的值，其中属于所述第二子集的值被去除。16.根据权利要求1或3至15中任一项所述的方法或根据权利要求2至15中任一项所述的装置，其中当所述第二子集被编码为元数据时，对所述第二子集的值进行熵编码。17.根据权利要求1或3至15中任一项所述的方法或根据权利要求2至15中任一项所述的装置，其中当所述第二子集被编码为元数据时，对所述第二子集的值进行原始编码。18.根据权利要求1或3至17中任一项所述的方法或根据权利要求2至17中任一项所述的装置，其中对所述值的第二子集进行编码包括：针对所述第二子集的至少一个值，对所述至少一个值在所述至少一个属性的所述至少一个分量中的位置进行编码。19.根据权利要求1或3至18中任一项所述的方法，还包括，或根据权利要求2至18中任一项所述的装置，其中所述一个或多个处理器被进一步配置用于：将所述值的第二子集重构成值的第三子集和第四子集，以及对所述第三子集的值和所述第四子集的值进行无损量化。20.根据权利要求1或3至19中任一项所述的方法，还包括，或根据权利要求2至19中任一项所述的装置，其中所述一个或多个处理器被进一步配置用于：将所述动画3D对象的拓扑编码为元数据。21.一种计算机可读存储介质，所述计算机可读存储介质在其上存储有指令，所述指令用于使一个或多个处理器执行根据权利要求1、3至20中任一项所述的方法。22.一种方法，包括：对动画3D对象的至少一个属性的至少一个分量进行解码，其中解码包括：
‑
对值的第一子集和值的第二子集进行解码；
‑
由所述第一子集和所述第二子集重建所述至少一个属性的所述至少一个分量，其中所述值的第一子集包括所述至少一个分量的在值范围内的值，并且所述值的第二子集包括所述至少一个分量的在所述值范围之外的值。23.一种装置，包括一个或多个处理器，其中所述一个或多个处理器被配置为对动画3D对象的至少一个属性的至少一个分量进行解码，其中解码包括：<...

【专利技术属性】
技术研发人员：JE，
申请(专利权)人：交互数字CE专利控股有限公司，
类型：发明
国别省市：