用于对纹理化网格进行编码/解码的方法和装置制造方法及图纸

技术编号:42628773 阅读:41 留言:0更新日期:2024-09-06 01:30
提供了用于对动画纹理化网格进行编码或解码的方法和装置,其中对纹理图进行编码,该纹理图包括图块的规则格网,其中每个图块包括与投影到该图块上的补块相关联的纹理数据,所述补块属于该纹理化网格的表面的分区。根据一个实施方案,通过将该网格的该表面细分成一组规则补块来获得该纹理化网格的该表面的该分区。根据一个实施方案,对该纹理图进行编码包括基于图块间过渡成本来对该纹理图的该图块进行布置。根据另一实施方案,对该纹理图进行编码包括基于参考帧的纹理图与当前帧的纹理图之间的失真成本来对该纹理图的该图块进行布置。

【技术实现步骤摘要】
【国外来华专利技术】

本专利技术实施方案整体涉及一种用于对动画纹理化网格进行编码和解码并且更具体地涉及对表示为网格的3d对象进行编码和解码的方法和装置。


技术介绍

1、可以通过使用在空间上调度的一组物理捕获设备(视频、红外光,……)捕获动画模型来实施自由视点视频。随后可以对经捕获的动画序列进行编码并将其发送到终端,以便以六自由度(6dof)从任何虚拟视点进行播放。存在用于对动画模型进行编码的不同方法。例如,动画模型可以表示为图像/视频、点云或纹理网格。

2、在基于图像/视频的方法中,存储一组视频流加上附加元数据,并且执行扭曲或任何其他重投影以在回放时从虚拟视点产生图像。这种解决方案需要大量的带宽并且引入许多伪影。

3、在点云方法中,由一组输入动画图像重建动画3d点云,从而产生更紧凑的3d模型表示。随后可以将动画点云投影在包裹动画点云的体积的平面上并将经投影的点(也称为补块(patch))编码到一组2d译码视频流(例如,使用hevc、avc、vvc……)中以用于递送该动画点云。然而,模型的实质在空间扩展方面非常有限,并且可能出现一些伪影,诸如表面上的针对近本文档来自技高网...

【技术保护点】

1.一种方法,所述方法包括对纹理图进行编码,所述纹理图包括图块的规则格网,其中每个图块包括与投影到所述图块上的补块相关联的纹理数据,所述补块属于纹理化网格的表面的分区。

2.一种装置,所述装置包括一个或多个处理器,所述一个或多个处理器被配置为对纹理图进行编码,所述纹理图包括图块的规则格网,其中每个图块包括与投影到所述图块上的补块相关联的纹理数据,所述补块属于纹理化网格的表面的分区。

3.根据权利要求1所述的方法,所述方法还包括,或根据权利要求2所述的装置,其中所述一个或多个处理器被进一步配置用于针对所述纹理化网格的至少一个补块在所述图块的规则格网上获得UV坐标。<...

【技术特征摘要】
【国外来华专利技术】

1.一种方法,所述方法包括对纹理图进行编码,所述纹理图包括图块的规则格网,其中每个图块包括与投影到所述图块上的补块相关联的纹理数据,所述补块属于纹理化网格的表面的分区。

2.一种装置,所述装置包括一个或多个处理器,所述一个或多个处理器被配置为对纹理图进行编码,所述纹理图包括图块的规则格网,其中每个图块包括与投影到所述图块上的补块相关联的纹理数据,所述补块属于纹理化网格的表面的分区。

3.根据权利要求1所述的方法,所述方法还包括,或根据权利要求2所述的装置,其中所述一个或多个处理器被进一步配置用于针对所述纹理化网格的至少一个补块在所述图块的规则格网上获得uv坐标。

4.根据权利要求3所述的方法或装置,其中所述纹理图通过使用所述纹理化网格的顶点的输入uv坐标和所获得的uv坐标将输入纹理图投影在所述图块的规则格网上来获得。

5.根据权利要求1或3至4中任一项所述的方法或根据权利要求2至4中任一项所述的装置,其中补块是所述网格的子网格。

6.根据权利要求1或3至5中任一项所述的方法或根据权利要求2至5中任一项所述的装置,其中所述分区包括具有相同的形状和/或大小的一组补块。

7.根据权利要求1或3至6中任一项所述的方法,所述方法还包括,或根据权利要求2至6中任一项所述的装置,其中所述一个或多个处理器被进一步配置用于获得所述分区,其中获得所述分区包括将所述网格的所述表面细分成一组补块。

8.根据权利要求7所述的方法或装置,其中所述补块具有近似相等的面积和大小。

9.根据权利要求7或8所述的方法或装置,其中获得所述分区包括:

10.根据权利要求3至9中任一项所述的方法或装置,其中获得uv坐标包括获得所述网格的属于所述至少一个补块的每个顶点的uv坐标。

11.根据权利要求3至10中任一项所述的方法或装置,其中获得uv坐标包括将所述至少一个补块布置在包括所述分区的所有所述补块的坐标系中。

12.根据权利要求3至11中任一项所述的方法或装置,其中所述分区的每个补块被布置在所述格网的图块中。

13.根据权利要求3至12中任一项所述的方法或装置,其中图块由所述格网上的给定数量的像素间隔开。

14.根据权利要求4至13中任一项所述的方法,所述方法还包括,或根据权利要求4至13中任一项所述的装置,其中所述一个或多个处理器被进一步配置用于针对至少一个补块,在所述纹理图中将与所述至少一个补块相关联的纹理数据扩张给定数量的像素。

15.根据权利要求3至14中任一项所述的方法,所述方法还包括,或根据权利要求3至14中任一项所述的装置,其中所述一个或多个处理器被进一步配置用于对所获得的uv坐标进行编码。

16.根据权利要求3至15中任一项所述的方法,所述方法还包括,或根据权利要求3至15中任一项所述的装置,其中所述一个或多个处理器被进一步配置用于基于图块间过渡成本来对所述纹理图的所述图块进行布置。

17.根据权利要求16所述的方法,所述方法还包括,或根据权利要求16所述的装置,其中所述一个或多个处理器被进一步配置用于基于所述图块的所述布置来更新所获得的uv坐标。

18.根据权利要求16所述的方法,所述方法还包括,或根据权利要求16所述的装置,其中所述一个或多个处理器被进一步配置用于存储用于基于所述图块的所述布置来更新所获得的uv坐标的信息。

19.根据权利要求1或3至18中任一项所述的方法或根据权利要求2至18中任一项所述的装置,其中所述方法还包括,或者所述一个或多个处理器被进一步配置用于基于所述纹理图的至少一个图块与参考纹理图的至少一个图块之间的失真成本来对所述纹理图的图块进行布置。

20.根据权利要求19所述的方法,所述方法还包括,或根据权利要求19所...

【专利技术属性】
技术研发人员:JE·马维C·盖德M·克里沃库卡O·摩可夸德
申请(专利权)人:交互数字CE专利控股有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1