发送全向视频的方法、接收全向视频的方法、发送全向视频的装置和接收全向视频的装置制造方法及图纸

根据本发明专利技术的一方面公开了一种发送全向视频的方法。根据本发明专利技术的一个实施方式的发送全向视频的方法包括以下步骤：获取全向视频的图像；将全向视频的图像投影到三维投影结构上；将投影到三维投影结构上的图像打包成二维帧；对打包成二维帧的图像进行编码；以及发送编码的图像和包括全向视频的元数据的数据信号。

【技术实现步骤摘要】
【国外来华专利技术】发送全向视频的方法、接收全向视频的方法、发送全向视频的装置和接收全向视频的装置
本专利技术涉及用于发送和接收全向媒体的方法和装置，更具体地，涉及用于发送和接收全向视频以及与全向视频有关的元数据的方法和装置。
技术介绍
随着模拟广播信号传输终止，已开发出用于发送和接收数字广播信号的各种技术。数字广播信号能够包含比模拟广播信号更大量的视频/音频数据，并且还包含各种类型的附加数据以及视频/音频数据。虚拟现实(VR)系统向用户提供处于电子投影的环境中的体验。可增强VR系统以便提供具有更高清晰度的图像和空间声音。VR系统可允许用户交互地使用VR内容。
技术实现思路
专利技术目的需要增强VR系统以便更有效地向用户提供VR环境。为此，有必要为了诸如VR内容的大量数据的传输、发送网络和接收网络之间的鲁棒性、考虑移动接收机的网络灵活性、有效再现和信令方法等提供数据传输效率。本专利技术提出当提供全向视频内容时通过定义和传送关于全向视频的属性的元数据来有效地提供全向视频服务的方法。技术方案本说明书公开了定义、存储和用信号通知与全向视频有关的元数据，使得在再现全向视频时用户可观看制作者所预期的视图(点)或区域的方法。具体方法如下。公开了一种定义、存储和用信号通知关于2D空间中的区域信息的元数据的方法。公开了一种定义、存储和用信号通知关于2D空间中的视点(点)信息的元数据的方法。公开了一种定义、存储和用信号通知关于3D空间中的区域信息的元数据的方法。公开了一种定义、存储和用信号通知关于3D空间中的视点(点)信息的元数据的方法。公开了一种用信号通知关于区域信息或视点(点)信息的元数据轨道与全向视频轨道之间的关系的方法。公开了一种使用DASH来发送和用信号通知元数据的方法。公开了一种使用MPEG-2TS来发送和用信号通知元数据的方法。公开了一种使用视频编码层(VCL)来发送和用信号通知元数据的方法。说明书公开了在再现全向视频时定义、存储和用信号通知关于与视频有关的GPS信息的元数据的方法。具体方法如下。公开了一种定义、存储和用信号通知关于GPS相关信息的元数据的方法。公开了一种用信号通知关于GPS相关信息的元数据轨道与全向视频轨道之间的关系的方法。本专利技术的技术效果本专利技术可在支持使用地面广播网络和互联网的未来混合广播的环境中有效地发送全向内容。本专利技术可提出在用户的全向内容消费中提供交互体验的方法。本专利技术可提出在用户的全向内容消费中正确地反映全向内容制作者的意图的信令方法。本专利技术可提出在全向内容传送中有效地增加传输容量并传送必要信息的方法。本专利技术可提出当提供全向视频内容时通过定义和传送关于360度视频的属性的元数据来有效地提供全向视频服务的方法。附图说明图1示出根据本专利技术的用于提供360度视频的架构。图2示出根据本专利技术的一方面的360度视频发送装置。图3示出根据本专利技术的另一方面的360度视频接收装置。图4示出根据本专利技术的另一实施方式的360度视频发送装置/360度视频接收装置。图5示出用于描述根据本专利技术的3D空间的飞行器主轴的概念。图6示出根据本专利技术的一个实施方式的投影方案。图7示出根据本专利技术的一个实施方式的拼块。图8示出根据本专利技术的一个实施方式的360度视频相关元数据。图9示出根据本专利技术的一个实施方式的媒体文件结构。图10示出根据本专利技术的一个实施方式的ISOBMFF中的盒的分层结构。图11示出根据本专利技术的一个实施方式的基于DASH的自适应流模型的总体操作。图12示出根据本专利技术的一个实施方式的关于2D空间中的区域信息的元数据。图13示出根据本专利技术的一个实施方式的关于2D空间中的视点(点)信息的元数据。图14示出根据本专利技术的一个实施方式的关于3D空间中的区域信息的元数据。图15示出根据本专利技术的各种实施方式的关于要在3D空间中表示的个体区域的元数据。图16示出根据本专利技术的一个实施方式的tref盒。图17示出根据本专利技术的一个实施方式的关于GPS的元数据。图18示出根据本专利技术的一个实施方式的关于区域信息或视点信息的元数据的MPD信令传输。图19示出根据本专利技术的另一实施方式的关于区域信息或视点信息的元数据的MPD信令传输。图20是根据本专利技术的一个实施方式的接收机的框图。图21示出根据本专利技术的另一实施方式的关于区域信息或视点信息的元数据的MPD信令传输。图22是根据本专利技术的另一实施方式的接收机的框图。图23示出根据本专利技术的另一实施方式的关于区域信息或视点信息的元数据的MPD信令传输。图24示出根据本专利技术的另一实施方式的关于区域信息或视点信息的元数据的MPD信令传输。图25是根据本专利技术的另一实施方式的接收机的框图。图26示出流标识符以及关于分配给流标识符的流的信息。图27示出流类型以及关于分配给流类型的流的部分信息。图28示出通过PES分组发送的访问单元。图29示出根据本专利技术的一个实施方式的适配字段。图30示出根据本专利技术的一个实施方式的扩展描述符。图31示出包括在扩展描述符中的扩展描述符标签的值以及这些值的描述。图32示出根据本专利技术的一个实施方式的vdci扩展描述符。图33示出根据本专利技术的一个实施方式的2Dvdci描述符。图34示出根据本专利技术的一个实施方式的球面vcdi描述符。图35是根据本专利技术的另一实施方式的接收机的框图。图36示出根据本专利技术的一个实施方式的包括在SEI消息中的关于区域信息或视点信息的元数据。图37是根据本专利技术的另一实施方式的接收机的框图。图38是示出根据本专利技术的一个实施方式的发送全向视频的方法的流程图。图39是根据本专利技术的一个实施方式的发送全向视频的装置的框图。图40是示出根据本专利技术的一个实施方式的接收全向视频的方法的流程图。图41是根据本专利技术的一个实施方式的接收全向视频的装置的框图。具体实施方式现在将详细参考本专利技术的优选实施方式，其示例示出于附图中。下面将参照附图给出的详细描述旨在说明本专利技术的示例性实施方式，而非示出可根据本专利技术实现的仅有实施方式。尽管本说明书中的元件的大多数术语是考虑其在本说明书中的功能从本领域中广泛使用的一般术语中选择的，但是这些术语可根据本领域技术人员的意图或习惯或者新技术的引入而改变。一些术语已由申请人任意选择，其含义根据需要在以下描述中说明。因此，本说明书中所使用的术语应该基于本说明书的总体内容以及术语的实际含义而非其简单名称或含义来解释。图1示出根据本专利技术的用于提供360度视频的架构。本专利技术提出了一种用于提供360度内容或全向媒体以便向用户提供VR(虚拟现实)的方法。VR是指用于复制实际或虚拟环境的技术或环境。VR人为地向用户提供感官体验，因此用户可体验到电子投影的环境。360度内容是指用于实现和提供VR的内容，并且可包括360度视频和/或360度音频。360度视频可指提供VR所需的在所有方向上(360度)拍摄或再现的视频或图像内容。360度视频可指根据3D模型在3D空间上以各种形式表示的视频或图像。例如，360度视频可被表示在球面上。360度音频是用于提供VR的音频内容，并且可指可被识别为具有位于特定空间上的音频生成源的内容的空间音频内容。360度内容可被生成、处理并发送给用户，用户可使用360度内容来消费VR体验。以下，360内容/视频/图像/音频可被表示为没有单位(度)的360内容/视频/图像/本文档来自技高网...

【技术保护点】
1.一种发送全向视频的方法，该方法包括以下步骤：获取所述全向视频的图像；将所述全向视频的所述图像投影在3D投影结构上；将投影在所述3D投影结构上的所述图像打包成2D帧；对打包成所述2D帧的所述图像进行编码；以及发送包括编码的图像和关于所述全向视频的元数据在内的数据信号。

【技术特征摘要】
【国外来华专利技术】2016.08.25 US 62/379,7401.一种发送全向视频的方法，该方法包括以下步骤：获取所述全向视频的图像；将所述全向视频的所述图像投影在3D投影结构上；将投影在所述3D投影结构上的所述图像打包成2D帧；对打包成所述2D帧的所述图像进行编码；以及发送包括编码的图像和关于所述全向视频的元数据在内的数据信号。2.根据权利要求1所述的方法，其中，关于所述全向视频的所述元数据包括关于投影在所述3D投影结构上的所述图像的3D区域信息或者关于打包成所述2D帧的所述图像的2D区域信息。3.根据权利要求2所述的方法，其中，所述3D投影结构为球体，其中，所述3D区域信息是用于指示所述球体的表面的区域的信息。4.根据权利要求3所述的方法，其中，所述3D区域信息包括指示水平视场的水平视场信息和指示垂直视场的垂直视场信息。5.根据权利要求4所述的方法，其中，所述3D区域信息还包括分别指示用于指示所述水平视场和所述垂直视场的偏航轴角度和俯仰轴角度的偏航信息和俯仰信息。6.根据权利要求5所述的方法，其中，由所述偏航信息、所述俯仰信息、所述水平视场和所述垂直视场限定3D区域。7.根据权利要求2所述的方法，其中，所述2D区域信息指示所述2D帧中的与所述3D区域信息对应的区域。8.根据权利要求1所述的方法，其中，关于所述全向视频的所述元数据指示关于所述全向视频的制作者预期的视点的信息。9.根据权利要求1所述的方法，其中，关于所述全向视频的所述元数据被包括在经由HTTP的动态自适应流传输DASH的适配集合中并被发送。10.根据权利要求1...

【专利技术属性】
技术研发人员：李长远，吴世珍，徐琮烈，
申请(专利权)人：LG电子株式会社，
类型：发明
国别省市：韩国,KR