发送360度视频的方法和装置、接收360度视频的方法和装置制造方法及图纸

根据本发明专利技术，由360度视频接收装置执行的360度视频数据处理方法包括以下步骤：接收针对多个视图的360度视频数据；推导元数据和有关打包图片的信息；基于有关打包图片的信息对打包图片进行解码；基于元数据从打包图片推导针对目标视图的特定打包区域；基于特定打包区域和元数据推导目标视图的投影图片；以及基于元数据渲染投影图片，其中，元数据包括多视图按区域打包信息，并且其中，多视图按区域打包信息包括有关打包图片中的打包区域的信息和关于目标视图的信息。

【技术实现步骤摘要】
【国外来华专利技术】发送360度视频的方法和装置、接收360度视频的方法和装置
本专利技术涉及360度视频，并且更具体地，涉及用于发送和接收针对3DoF+内容的360度视频的方法和装置，其中，3DoF+内容包括多视图按区域打包信息。
技术介绍
虚拟现实(VR)系统使用户感觉就像在电子投影环境中一样。可以改进用于提供VR的系统，以提供具有更高图片质量的图像和空间声音。VR系统允许用户以交互方式消费VR内容。3DoF+(三个自由度以上)内容提供了3DoF或360度视频，该视频通过针对多个观看位置/视点的360度视频根据用户的位置移动被重构。3DoF+内容允许用户消费各种感官体验。
技术实现思路
技术问题本专利技术的目的是提供一种改进用于提供VR系统的VR视频数据发送效率的方法和装置。本专利技术的另一个目的是提供一种用于发送VR视频数据和关于VR视频数据的元数据的方法和装置。本专利技术的另一个目的是提供一种改进用于提供3DoF+系统的360度视频数据发送效率的方法和装置。本专利技术的另一个目的是提供一种用于发送关于多视图按区域打包信息的元数据的方法和装置。解决问题的方案根据本专利技术的实施方式，提供了一种由360度视频发送装置执行的360度视频数据处理方法。该方法包括：获取针对多个视图的360度视频；以及通过处理360度视频来生成针对所述视图的投影图片；通过打包投影图片生成打包图片；对打包图片进行编码；生成有关360度视频的元数据；以及执行用于存储或发送编码图片和元数据的处理，其中，元数据包括多视图按区域打包信息，并且其中，多视图按区域打包信息包括关于打包图片中的打包区域的信息和关于各个视图的信息。根据本专利技术的另一实施方式，提供了一种用于处理360度视频数据的360度视频发送装置。360度视频发送装置包括：数据输入单元，其被配置为获取针对多个视图的360度视频；以及投影处理器，其被配置为通过处理360度视频来生成针对所述视图的投影图片；打包处理器，其被配置为通过打包投影图片来生成打包图片；编码器，其被配置为对打包图片进行编码；元数据处理器，其被配置为生成关于360度视频的元数据；以及发送处理器，其被配置为执行用于存储或发送编码图像和元数据的处理，其中，元数据包括多视图按区域打包信息，并且其中，多视图按区域打包信息包括关于打包图片中的打包区域的信息以及关于各个视图的信息。根据本专利技术的另一个实施方式，提供了一种360度视频数据处理方法，该360度视频数据处理方法由360度视频接收装置执行。该方法包括以下步骤：接收针对多个视图的360度视频数据；以及推导元数据和有关打包图片的信息；基于有关打包图片的信息对打包图片进行解码；基于元数据从打包图片推导针对目标视图的特定打包区域；基于特定打包区域和元数据推导目标视图的投影图片；以及基于元数据渲染投影图片，其中，元数据包括多视图按区域打包信息，并且其中，多视图按区域打包信息包括关于打包图片中的打包区域的信息和关于目标视图的信息。根据本专利技术的另一个实施方式，提供了一种用于处理360度视频数据的360度视频接收装置。360度视频接收装置包括：接收器，其被配置为接收针对多个视图的360度视频数据；以及接收处理器/文件提取单元，其被配置为推导元数据和有关打包图片的信息；数据解码器，其被配置为基于有关打包图片的信息对打包图片进行解码；打包处理器，其被配置为基于元数据从打包图片推导针对目标视图的特定打包区域，并且基于特定打包区域和元数据推导目标视图的投影图片；以及渲染器，其被配置为基于元数据渲染投影图片，其中，所述元数据包括多视图按区域打包信息，并且其中，所述多视图按区域打包信息包括关于打包图片中的打包区域的信息和关于目标视图的信息。专利技术的有益效果根据本专利技术，可以在支持使用地面广播网络和互联网的下一代混合广播的环境中有效地发送3DoF+内容。根据本专利技术，可以提出一种用于在用户消费3DoF+内容时提供交互体验的方法。根据本专利技术，可以提出一种用于在用户消费360度内容时正确反映3DoF+内容提供商的意图的信号发送方法。根据本专利技术，可以提出一种用于有效地增加发送容量并且在3DoF+内容发送时转发必要信息的方法。根据本专利技术，可以提出一种用于用户在消费3DoF+内容时通过支持头部运动视差来提供交互体验的方法。根据本专利技术，可以通过多视图按区域打包来生成包含针对多个视图的分量的打包图片。因此，可以通过消除视图之间的冗余信息来提高3DoF+内容的比特效率。附图说明图1是示出根据本专利技术的用于提供360度视频的总体架构的图。图2和图3是示出根据本专利技术的实施方式的媒体文件的结构的图。图4示出了基于DASH的自适应流传输模型的整体操作的示例。图5示出了3DoF+VR系统。图6是示出根据本专利技术的用于提供3DoF+视频的总体架构的图。图7示出了用于提供由360度视频发送装置/360度视频接收装置执行的360度内容/3DoF+内容的总体架构。图8是示意性地示出可应用本专利技术的360视频发送装置的配置的图。图9是示意性地示出可应用本专利技术的360视频接收装置的配置的图。图10示出了用于提供使用多视图按区域打包信息的3DoF内容/3DoF+内容的总体架构。图11示出了利用多视图的纹理、残差和深度图的多视图按区域打包的预编码过程的示例。图12示出了多视图按区域打包的后解码器过程的示例。图13示出了针对视点A的视图B利用纹理、残差和深度图进行多视图按区域打包的解码处理的示例。图14a和图14b示出了针对包括多个视图的视频的多视图按区域打包处理的示例。图15示意性地示出了根据本专利技术的由360视频发送装置执行的360视频数据处理方法。图16示意性地示出了用于执行根据本专利技术的360视频数据处理方法的360视频发送装置。图17示意性地示出了根据本专利技术的由360视频接收装置执行的360视频数据处理方法。图18示意性地示出了根据本专利技术的用于执行360视频数据处理方法的360视频接收装置。具体实施方式可以以各种形式修改本专利技术，并且将在附图中描述和示出其特定实施方式。然而，这些实施方式并不旨在限制本专利技术。在以下描述中使用的术语仅用于描述特定实施方式，而不旨在限制本专利技术。只要清楚地以不同的方式理解，单数的表达包括复数的表达。诸如“包括”和“具有”的术语旨在指示存在以下描述中使用的特征、数量、步骤、操作、元件、组件或其组合，因此应理解，不排除存在或添加一个或更多个不同特征、数量、步骤、操作、元件、组件或其组合的可能性。另一方面，本专利技术中描述的附图中的元件是为了方便地解释不同特定功能而独立地绘制的，并不意味着该元件由独立的硬件或独立的软件来体现。例如，可以将多个元件中的两个或更多个元件组合以形成单个元件，或者可以将一个元件划分为多个元件。元件被组合和/或分开的实施方式属于本专利技术，而不背离本专利技术的概念。<本文档来自技高网...

【技术保护点】
1.一种360度视频数据处理方法，所述360度视频数据处理方法由360度视频接收装置执行，所述360度视频数据处理方法包括以下步骤：/n接收针对多个视图的360度视频数据；/n推导有关打包图片的信息和元数据；/n基于所述有关打包图片的信息对所述打包图片进行解码；/n基于所述元数据从所述打包图片推导针对目标视图的特定打包区域；/n基于所述特定打包区域和所述元数据推导所述目标视图的投影图片；以及/n基于所述元数据渲染所述投影图片，/n其中，所述元数据包括多视图按区域打包信息，并且/n其中，所述多视图按区域打包信息包括与所述打包图片中的打包区域有关的信息和与所述目标视图有关的信息。/n

【技术特征摘要】
【国外来华专利技术】20180405 US 62/653,5271.一种360度视频数据处理方法，所述360度视频数据处理方法由360度视频接收装置执行，所述360度视频数据处理方法包括以下步骤：
接收针对多个视图的360度视频数据；
推导有关打包图片的信息和元数据；
基于所述有关打包图片的信息对所述打包图片进行解码；
基于所述元数据从所述打包图片推导针对目标视图的特定打包区域；
基于所述特定打包区域和所述元数据推导所述目标视图的投影图片；以及
基于所述元数据渲染所述投影图片，
其中，所述元数据包括多视图按区域打包信息，并且
其中，所述多视图按区域打包信息包括与所述打包图片中的打包区域有关的信息和与所述目标视图有关的信息。


2.根据权利要求1所述的360度视频数据处理方法，其中，与所述目标视图有关的信息包括所述目标视图的指示所述目标视图的标识号的视图索引。


3.根据权利要求2所述的360度视频数据处理方法，其中，与所述目标视图有关的信息包括与所述投影图片的分量有关的信息，
其中，与所述投影图片的分量有关的信息包括所述目标视图的指示所述分量的标识号的分量索引以及指示所述分量的类型的信息。


4.根据权利要求3所述的360度视频数据处理方法，其中，与所述投影图片的分量有关的信息包括指示所述投影图片的投影类型的信息。


5.根据权利要求1所述的360度视频数据处理方法，其中，与所述目标视图有关的信息包括指示所述目标视图是否是锚视图的锚视图标记。


6.根据权利要求5所述的360度视频数据处理方法，其中，当所述锚视图标记指示所述目标视图是所述锚视图时，与所述目标视图有关的信息包括指示所述锚视图的位置的x分量、y分量和z分量的信息。


7.根据权利要求6所述的360度视频数据处理方法，其中，当所述锚视图标记指示所述目标视图是所述锚视图时，与所述目标视图有关的信息包括指示所述锚视图的旋转的偏航角、俯仰角和滚转角的信息。


8.根据权利要求5所述的360度视频数据处理方法，其中，当所述锚视图标记指示所述目标视图不是所述锚视图时，与所述...

【专利技术属性】
技术研发人员：吴炫默，吴世珍，
申请(专利权)人：LG电子株式会社，
类型：发明
国别省市：韩国;KR