传输视频内容的方法和设备以及接收视频内容的方法和设备技术

本公开涉及用于传输和接收包括三维(3D)数据的视频内容的方法和设备。通过多个资产传输视频内容的方法包括：识别通过资产传输的内容是否是子图片；当通过资产传输的内容是子图片时，生成包括关于与所述子图片一起构成合成图片的其它子图片的信息的子图片资产信息；并且传输子图片资产信息和内容。且传输子图片资产信息和内容。且传输子图片资产信息和内容。

【技术实现步骤摘要】
【国外来华专利技术】传输视频内容的方法和设备以及接收视频内容的方法和设备


[0001]本公开涉及用于传输和接收包括三维(3D)数据的视频内容的方法和设备。

技术介绍

[0002]虚拟现实是指用户和设备之间的接口，该接口在计算机中形成特定的环境或情况并使得使用计算机的用户好像在与真实环境和情况进行交互一样。虚拟现实技术允许用户通过被操纵的感官刺激来感受现实，并且可以被用在许多行业领域中，诸如游戏、教育、医学和新闻业。
[0003]近年来，随着人们对虚拟现实的兴趣增加，用于实现虚拟现实的技术也已经得到了积极的发展。特别地，已经积极地进行了对用于处理构成用于实现虚拟现实所必需的虚拟空间的图像的技术的研究。例如，随着与虚拟现实图像相关的技术的发展，用户可以观看360度图像而不是扁平图像。

技术实现思路

[0004]技术问题
[0005]在三维(3D)图像编码过程中，可以执行按区域打包以提高总体压缩效率或处理分辨率高于另一个区域的与特定视口对应的区域的分辨率。服务器可以从通过按区域打包生成的打包图片中生成多个子图片轨道(或多个资产)，并且仅传输与从多个轨道中选择的至少一个轨道相关的数据，以便减少与3D图像相关的数据的传输量。在这点上，为了防止在提供给用户的3D图像中生成孔，需要将关于渲染所需的最小子图片集的信息提供给终端。
[0006]问题的解决方案
[0007]根据本公开的一方面，一种通过多个资产传输视频内容的方法包括：识别通过资产传输的内容是否是子图片；当通过资产传输的内容是子图片时，生成包括关于与所述子图片一起构成合成图片的其它子图片的信息的子图片资产信息；并且传输子图片资产信息和内容。
[0008]根据本公开的另一方面，一种用于通过多个资产传输视频内容的服务器包括：通信接口；以及连接到通信接口的至少一个处理器，其中所述至少一个处理器被配置为控制通信接口以识别通过资产传输的内容是否是子图片，当通过资产传输的内容是子图片时生成包括关于与所述子图片一起构成合成图片的其它子图片的信息的子图片资产信息，并且传输子图片资产信息和内容。
[0009]根据本公开的另一方面，一种通过多个资产接收视频内容的方法包括：接收资产描述符；基于资产描述符来确定通过资产接收的内容是否是子图片；当通过资产接收的内容是子图片时识别包括关于与所述子图片一起构成合成图片的其它子图片的信息的子图片资产信息；并且基于子图片资产信息接收并渲染内容。
[0010]根据本公开的另一方面，一种设备包括：通信接口，被配置为通过多个资产来接收视频内容；以及连接到通信接口的至少一个处理器，其中所述至少一个处理器被配置为基
于通过通信接口接收的资产描述符来确定通过资产接收的内容是否是子图片，当通过资产传输的内容是子图片时识别包括关于与所述子图片一起构成合成图片的其它子图片的信息的子图片资产信息，并且基于子图片资产信息接收并渲染内容。
附图说明
[0011]图1示出了根据本公开的实施例的用于传输与三维(3D)图像相关的数据的传输设备的一般数据处理过程。
[0012]图2是图示根据本公开的实施例的将3D图像投影为2D图像并打包投影的2D图像的方法的图。
[0013]图3图示了根据本公开的实施例的用于接收关于3D图像的数据的接收设备的一般数据处理过程。
[0014]图4和5是图示根据本公开的实施例的其中传输设备将全向图像划分并传输到多个子图片轨道的过程的图。
[0015]图6是根据本公开的实施例的用于传送关于3D图像的数据的系统的信号流程图。
[0016]图7是根据本公开的实施例的其中传输设备传输视频内容的方法的流程图。
[0017]图8是根据本公开的实施例的其中传输设备生成与视频内容相关的信息的方法的流程图。
[0018]图9是图示根据本公开的实施例的其中接收设备接收和处理视频内容的方法的流程图。
[0019]图10是图示根据本公开的实施例的其中接收设备接收和处理视频内容的方法的流程图。
[0020]图11是图示根据本公开的实施例的与内容一起传输的资产描述符的语法的图。
[0021]图12是根据本公开的实施例的列出用于传输虚拟现实内容的虚拟现实应用消息类型的表。
[0022]图13图示了根据本公开的实施例的与内容一起传输的子图片资产信息的语法。
[0023]图14是根据本公开的实施例的传输设备的框图。
[0024]图15是根据本公开的实施例的接收设备的框图。
具体实施例
[0025]最佳实施例
[0026]根据本公开的一方面，一种通过多个资产传输视频内容的方法包括：识别通过资产传输的内容是否是子图片；当通过资产传输的内容是子图片时，生成包括关于与所述子图片一起构成合成图片的其它子图片的信息的子图片资产信息；并且传输子图片资产信息和内容。
[0027]公开的实施例
[0028]在下文中，将通过参考附图详细描述本公开的实施例，以使本领域普通技术人员容易地执行实施例。但是，本公开可以以各种不同的形式来实施，并且不限于本文描述的实施例。而且，在附图中，为了清楚地描述本公开，省略了与描述不相关的本公开的方面。而且，在整个说明书中，相同的元件由相同的附图标记引用。
[0029]本公开的一个或多个实施例可以被描述为功能块组件和各种处理操作。这些功能块的全部或一部分可以由被配置为执行指定功能的任何数量的硬件和/或软件组件来实现。例如，可以用一个或多个微处理器或用用于某些功能的电路结构来实现本公开的功能块。而且，例如，可以用各种编程或脚本语言来实现本公开的功能块。可以用由一个或多个处理器执行的算法来实现功能块。此外，本公开可以采用根据相关技术的技术用于电子配置、信号处理和/或数据控制。
[0030]此外，附图中所示的连接线或连接器旨在表示各种元件之间的示例功能关系和/或物理或逻辑耦合。应当注意的是，在实际设备中可以存在许多替代或附加的功能关系、物理连接或逻辑连接。
[0031]在本说明书中，术语“图像”可以包括所有静止图像、移动图像、视频帧和/或视频流，并且可以包括2D帧和3D帧两者。例如，“图像”可以包括由点云表示的3D帧或360度全向媒体帧。
[0032]在整个说明书中使用的术语“图像”不仅用作术语“图像”本身，而且还用作描述在相关领域中可以已知的各种形式的视频图像信息的通用术语，诸如“图片”、“帧”、“场”或“切片”。例如，“图像”可以指构成视频内容的多个图片或多个帧之一，或者可以指包括多个图片或多个帧的整个视频内容。
[0033]在下文中，将参考附图详细描述本公开。
[0034]图1示出了根据本公开的实施例的用于传输与三维(3D)图像相关的数据的传输设备的一般数据处理过程。例如，根据实施例的传输设备可以是用于提供与3D图像相关的数据或服务的服务器。3D图像可以指动态图像和静态图像两者。此外，与3D图像相关的数据可以包括沉浸式媒体数据，该沉浸式媒体数据包括36本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种通过多个资产传输视频内容的方法，该方法包括：识别通过资产传输的内容是否是子图片；当通过资产传输的内容是子图片时，生成包括关于与所述子图片一起构成合成图片的其它子图片的信息的子图片资产信息；并且传输子图片资产信息和内容。2.如权利要求1所述的方法，其中资产是用于携带编码的媒体数据的媒体处理单元(MPU)的逻辑组。3.如权利要求1所述的方法，其中视频内容是根据由ISO/IEC定义的全向媒体格式(OMAF)技术压缩的数据。4.如权利要求1所述的方法，其中，当通过资产传输的内容是子图片时，接收内容的接收设备仅通过参考关于与所述子图片一起构成合成图片的其它子图片的信息来渲染内容，并且当通过资产传输的内容是整个合成图片时，接收设备独立地渲染内容。5.如权利要求1所述的方法，还包括传输资产描述符，所述资产描述符包括指示通过资产传输的内容是否是子图片的信息。6.如权利要求1所述的方法，还包括传输VR资产描述符，所述VR资产描述符包括指示通过资产传输的内容是否是子图片的sub_picture标志，其中，当通过资产传输的内容是子图片时，sub_picture标志被设置为1，而当通过资产传输的内容是整个合成图片时，sub_picture标志被设置为0。7.如权利要求1所述的方法，其中子图片资产信息包括以下各项中的至少一项：被图片覆盖的覆盖范围信息，资产的标识符，或由子图片资产信息描述的子图片视频资产的数量。8.如权利要求7所述的方法，其中覆盖范围信息包括被通过资产传输的子图片覆盖的覆盖范围信息和被合成图片覆盖的覆盖范围信息。9.如权利要求1所述的方法，还包括：接收反馈信息；基于所述反馈信息来更新子图片资产信息；并且传输更新后的子图片资产信息，其中反馈信息包括视口信息、带宽信息、缓冲信息或延迟信息中的至少一个。10.一种用于通过多个资产传输视频内容的服务器，该服务器包括：通信接口；以及连接到通信接口的至少一个处理器，其中所述至少一个处理器被配置为控制通信接口以识别通过资产传输的内容是否是子图片，当通过资产传输的内容是子图片时生成包括关于与所述子图片一起构成合成图片的其它子图片的信息的子图片资产信息，并且传输子图片资产信息和内容。11.一种通过多个资产接收视频内容的方法，该方法包括：接收...

【专利技术属性】
技术研发人员：叶浩晴，裵宰贤，梁贤九，
申请(专利权)人：三星电子株式会社，
类型：发明
国别省市：