用于在显示器上渲染视频的方法和设备技术

描述了一种用于在客户端设备的显示器上渲染沉浸式视频的空间部分的方法，所述客户端设备包括图块帧检索设备、解码器设备和渲染器设备，其中沉浸式视频包括视频帧，每个视频帧在空间上被划分为图块帧，并且沉浸式视频包括图块流，每个图块流表示沉浸式视频的空间部分，并且每个图块流包括多个所述图块帧，并且其中客户端存储有图块流映射信息，图块流映射信息为每个图块流指示在诸如球形或立方体之类的二维或三维模型的表面上的相应位置，所述方法包括：基于所述图块流映射信息和视口，图块帧检索设备确定多个图块流，并向服务器请求编码视频数据，编码视频数据对于每个确定的图块流包括编码图块帧，编码图块帧包括表示包含在该图块流中的图块帧的编码数据；图块帧检索设备接收编码图块帧并形成编码视频帧，编码视频帧包括接收的编码图块帧，每个编码图块帧在编码视频帧中具有位置，并且图块帧检索设备生成图块帧布置信息，图块帧布置信息指示每个编码图块帧在编码视频帧内的位置；所述解码器设备对编码视频帧解码以获得解码视频帧，解码视频帧包括在解码视频帧内的相应位置处的图块帧；基于图块帧布置信息并且基于图块流映射信息，所述渲染器设备将解码视频帧映射到二维或三维模型的一个或多个表面上，使得每个图块帧被映射到所指示的模型的一个或多个表面的位置上；基于映射的解码视频帧，渲染器设备在客户端设备的显示器上渲染解码视频帧的至少一部分。部分。部分。

【技术实现步骤摘要】
【国外来华专利技术】用于在显示器上渲染视频的方法和设备


[0001]本公开涉及一种用于在客户端设备的显示器上渲染沉浸式视频的空间部分的方法，以及一种计算机程序。

技术介绍

[0002]WO2019048426A1和WO2015197818A1描述了用于视频数据的分块(tiled)流式传输的方法。在分块流式传输中，视频被分割成图块(tile)流，并且每个视频帧被分割成各个空间元素帧，也称为图块帧。图块流可以被视为只包含视频的特定空间区域的单独的视频。每个图块流可以理解为由多个时间上分离的空间元素帧组成，多个视频帧中的每个视频帧一个空间元素帧。由于这些空间元素帧可以是矩形的，因此在本文中将它们称为“图块帧”。应理解的是，本文中使用的“图块帧”可以具有任何形状，比如三角形。
[0003]就沉浸式视频(比如360
°
视频或180
°
视频)来说，客户端设备通常只消耗整个视频的一部分。客户端设备只在显示器上渲染存在于所谓的视口(viewport)中的那部分视频。视口通常可以由用户控制，例如通过用户在穿戴作为客户端设备的头戴式显示器时本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于在客户端设备的显示器上渲染沉浸式视频的空间部分的方法，所述客户端设备包括图块帧检索设备、解码器设备和渲染器设备，其中沉浸式视频包括视频帧，每个视频帧在空间上被划分为图块帧，并且沉浸式视频包括图块流，每个图块流表示沉浸式视频的空间部分，并且每个图块流包括多个所述图块帧，并且其中客户端存储有图块流映射信息，所述图块流映射信息为每个图块流指示在诸如球形或立方体之类的二维或三维模型的表面上的相应位置，所述方法包括：基于所述图块流映射信息和视口，所述图块帧检索设备确定多个图块流，并请求来自服务器的编码视频数据，编码视频数据对于每个确定的图块流包括编码图块帧，编码图块帧包括表示包含在该图块流中的图块帧的编码数据；所述图块帧检索设备接收编码图块帧并形成包括所接收的编码图块帧的编码视频帧，每个编码图块帧在编码视频帧中具有位置，并且所述图块帧检索设备生成图块帧布置信息，所述图块帧布置信息指示每个编码图块帧在编码视频帧内的所述位置；所述解码器设备对编码视频帧解码以获得解码视频帧，解码视频帧包括在解码视频帧内的相应位置处的图块帧；基于图块帧布置信息并且基于图块流映射信息，所述渲染器设备将解码视频帧映射到二维或三维模型的一个或多个表面上，使得每个图块帧被映射到模型的一个或多个表面的位置上；基于映射的解码视频帧，所述渲染器设备在客户端设备的显示器上渲染解码视频帧的至少一部分。2.按照前述权利要求所述的方法，其中所述渲染器设备被配置成当将解码视频帧映射到模型的一个或多个表面上时进行预定映射，所述方法包括：所述解码器设备对编码视频帧解码并输出中间的解码视频帧，中间的解码视频帧包括在中间的解码视频帧内的相应位置处的图块帧，以及基于图块流映射信息并且基于图块帧布置信息，确定解码视频帧，包括重新布置图块帧，使得至少一个图块帧在中间的解码视频帧中具有与在解码视频帧中不同的位置，以及所述渲染器设备进行所述预定映射。3.按照权利要求1或2所述的方法，其中所述渲染器设备被配置成根据关联的图块布置信息来确定解码视频帧的映射，所述方法包括：所述解码器设备对编码视频帧解码并输出解码视频帧，以及按照所确定的映射，将解码视频帧映射到模型的一个或多个表面上。4.按照前述权利要求中的一个或多个所述的方法，包括：所述图块帧检索设备基于图块流映射信息并且基于图块帧布置信息来确定渲染信息，优选地，所述渲染信息为模型的每个顶点指示在解码视频帧中的关联的位置，以及
‑
所述图块帧检索设备将渲染信息提供给所述渲染器设备，以及
‑
所述渲染器设备基于渲染信息进行映射。5.按照前述权利要求所述的方法，其中编码视频帧包括帧标识符，比如时间戳，并且其中图块布置信息和/或渲染信息包括所述帧标识符，所述方法包括：所述渲染器设备判定解码视频帧的帧标识符匹配图块布置信息和/或渲染信息的帧标
识符，以及基于该判定，所述渲染器设备使用图块布置信息和/或渲染信息将解码视频帧映射到二维或三维模型的一个或多个表面上。6.按照前述权利要求中的一个或多个所述的方法，其中所述客户端设备包括受保护媒体路径，所述受保护媒体路径被配置成防止将图块帧布置信息和/或渲染信息添加到编码视频帧，和/或被配置成防止将图块帧布置信息和/或渲染信息添加到解码视频帧，所述方法包括：所述图块帧检索设备向受保护媒体路径之外的所述渲染器设备提供渲染信息和/或图块流映射信息和/或图块帧布置信息。7.按照前述权利要求中的一个或多个所述的方法，其中所确定的多个图块流包括第一图块流和第二图块流，并且其中映射信息为第一图块流指示在模型的表面上的第一位置，并且为第二图块流指示在模型的表面上的第二位置，其中编码视频数据对于第一图块流包括第一编码图块帧，第一编码图块帧包括表示包含在第一图块流中的第一图块帧的编码数据，并且编码视频数据对于第二图块流包括第二编码图块帧，第二编码图块帧包括表示包含在第二图块流中的第二图块帧的编码数据，其中所述图块帧检索设备接收第一编码图块帧和第二编码图块帧，并形成包括接收的编码图块帧的编码视频帧，第一编码图块帧在编码视频帧中具有第一位置，以及第二编码图块帧在编码视频帧中具有第二位置；所述解码器设备对编码视频帧解码以获得解码视频帧，解码视频帧包括在解码视频帧内的第一位置处的第一图块帧和在解码视频帧内的第二位置处的第二图块帧；基于图块帧布置信息并且基于图块流映射信息，所述渲染器设备将解码视频帧映射到二维或三维模型的一个或多个表面上，使得第一图块帧被映射到模型的表面上的所述第一位置，并且使得第二图块帧被映射到模型的表面上的所述第二位置。8.按照权利要求7所述的方法，其中所述渲染器设备被配置成接收解码视频帧并进行预定映射，所述预定映射包括将所接收的解码视频帧中的相应位置处的相应样本映射到二维或三维模型的一个或多个表面上的相应预定位置，所述预定映射包括将所接收的解码视频帧中的第一位置处的样本映射到模型的表面上的所述第一位置上；所述方法包括：
‑
所述解码器设备对编码视频帧解码并输出中间的解码视频帧，中间的解码视频帧包括在与第一位置不同的位置处的第一图块帧，
‑
基于中间的解码视频帧并且基于图块帧布置信息以及基于所述预定映射来确定所述解码视频帧，使得解码视频帧在第一位置处包括第一图块帧，以及
‑
所述渲染器设备按照所述预定映射来映射解码视频帧，由此将第一图块帧映射到模型的表面上的所述第一位置上。9.按照权利要求7或8所述的方法，其中沉浸式视频包括不同于第一和第二图块流的第三图块流，其中映射信息为第三图块流指示二维或三维模型的表面上的第三位置，所述方法包括：
‑

【专利技术属性】
技术研发人员：R，
申请(专利权)人：蒂莱德梅迪亚有限责任公司，
类型：发明
国别省市：