用于发送或接收包括相机镜头信息的360度视频的方法和设备技术

根据本发明专利技术的一种由360度视频接收设备执行的360度图像数据处理方法包括以下步骤：接收360度图像数据；从所述360度视频数据获取与编码后的图片相关的信息和元数据；基于与编码后图片相关的信息对包括含360度图像的圆形图像的图片进行解码；基于所述元数据从所述图片推导所述圆形图像；以及基于所述元数据来处理所述圆形图像并且渲染处理后的图像，其中，所述元数据包含相机镜头信息。

【技术实现步骤摘要】
【国外来华专利技术】用于发送或接收包括相机镜头信息的360度视频的方法和设备
本公开涉及360度视频，并且更具体地，涉及用于发送或接收包括相机镜头信息的360度视频的方法和设备。
技术介绍
虚拟现实(VR)系统允许用户体验电子投影环境。用于提供VR内容的系统可以被进一步改善，以提供较高质量的图像和立体声。VR系统可以允许用户交互性消费VR内容。
技术实现思路
技术问题本公开的目的是提供用于增加提供VR系统的VR视频数据发送的效率的方法和设备。本公开的另一目的是提供用于发送VR视频数据和关于VR视频数据的元数据的方法和设备。本公开的另一目的是提供用于发送VR视频数据和与VR视频数据的相机镜头信息有关的元数据的方法和设备。本公开的另一目的是提供用于基于与畸变校正相关的信息通过反映镜头的特性来校正畸变的方法和设备。本公开的另一目的是提供用于基于指示径向畸变类型的信息通过反映镜头的特性来校正畸变的方法和设备。技术方案在本公开的一个方面，本文中提供了一种通过360度视频发送设备处理360度视频数据的方法。该方法可以包括以下步骤：获取包括由具有至少一个镜头的相机捕获的360度图像的圆形图像；将所述圆形图像映射到图片；对映射到所述圆形图像的图片进行编码，生成所述360度图像的元数据；以及处理编码后图片和所述元数据以便进行存储或发送，其中，所述元数据可以包含相机镜头信息。在本公开的另一方面，本文中提供了一种用于处理360度视频数据的360度视频发送设备。该360度视频发送设备可以包括：数据输入单元，该数据输入单元被配置为获取包括由具有至少一个镜头的相机获取的360度图像的圆形图像；投影处理器，该投影处理器被配置为将所述圆形图像映射到图片；数据编码器，该数据编码器对映射到所述圆形图像的所述图片进行编码；元数据处理器，该元数据处理器被配置为生成所述360度图像的元数据；以及发送处理器，该发送处理器被配置为处理编码后图片和所述元数据以便进行存储或发送，其中，所述元数据可以包含相机镜头信息。在本公开的另一方面，本文中提供了一种通过360度视频接收设备处理360度视频数据的方法。该方法可以包括以下步骤：接收360度图像数据；从所述360度视频数据获取关于编码后图片和元数据的信息；基于关于所述编码后图片的信息对包括含360度图像的圆形图像的图片进行解码；基于所述元数据从所述图片推导所述圆形图像；以及基于所述元数据来处理和渲染所述圆形图像，其中，所述元数据可以包含相机镜头信息。在本公开的另一方面，本文中提供了一种用于处理360度视频数据的360度视频接收设备。该设备可以包括：接收器，该接收器被配置为接收360度图像数据；接收处理器，该接收处理器被配置为从所述360度图像数据获取关于编码后图片的信息和元数据；数据解码器，该数据解码器被配置为基于关于所述编码后图片的信息对包括含360度图像的圆形图像的图片进行解码；渲染器，该渲染器被配置为基于所述元数据从所述图片推导所述圆形图像；以及基于所述元数据来处理和渲染所述圆形图像，其中，所述元数据可以包含相机镜头信息。有益效果根据本公开，能在支持使用地面广播网络和互联网的下一代混合广播的环境中高效地发送360内容。根据本公开，能向用户提供消费360内容的交互式体验。根据本公开，当用户消费360内容时，能执行信令，使得准确反映360内容制作方的意图。根据本公开，在传送360内容时，能高效地增加传输容量并且能传送必要的信息。根据本公开，可以通过基于关于360度图像的多项式函数相关信息反映镜头特性来推导多项式函数，并且可以基于该多项式函数来校正360度图像被投影到其上的图片中出现的畸变。由此，360度图像数据能被更精确地映射到3D空间。根据本公开，可以通过基于关于360度图像的径向畸变类型信息反映镜头特性来推导径向畸变类型的模型，并且基于该模型来校正360度图像被投影到其上的图片中出现的畸变。由此，360度图像数据能被更精确地映射到3D空间。附图说明图1是示出了根据本公开的用于提供360度视频的整体架构的图。图2和图3例示了根据本公开的实施方式的媒体文件的结构。图4例示了基于DASH的自适应流传输模型的整体操作的示例。图5是示意性例示了适用本公开的360度视频发送设备的配置的图。图6是示意性例示了适用本公开的360度视频接收设备的配置的图。图7a和图7b示例性示出了用于通过360度视频发送设备/360度视频接收设备执行的提供360度视频的整体架构。图8是例示了用于描述根据本公开的3D空间的飞行器主轴的概念的图。图9a和图9b示例性例示了根据本专利技术的投影方案。图10示例性示出了各种类型的径向畸变。图11例示了通过相机镜头捕获360度视频的示例。图12示例性示出了根据本公开的基于相机镜头信息和/或补充相机镜头信息执行的提供360度视频的整体架构。图13示例性示出了根据本公开的基于相机镜头信息和/或补充相机镜头信息将360度视频拼接成全景图像的示例。图14示意性例示了根据本公开的由360度视频发送设备处理360度图像数据的方法。图15示意性例示了根据本公开的被配置为执行360度图像数据处理方法的360度视频发送设备。图16示意性例示了根据本公开的由360度视频接收设备处理360度图像数据的方法。图17示意性例示了根据本公开的被配置为执行360度图像数据处理方法的360度视频接收设备。具体实施方式本公开可以进行各种改变并且可以有各种实施方式，并且将参照附图详细描述具体实施方式。然而，这并不旨在将本公开限制于具体实施方式。本说明书中使用的术语仅仅被用于描述具体实施方式，而不旨在限制本公开的技术精神。除非上下文另有明确指示，否则单数措辞也包括复数措辞。在本说明书中，术语“包括”或“具有”旨在指示存在说明书中公开的特性、图、步骤、操作、构成和部件或其组合，并且应该被理解为不排除存在或添加一个或更多个其它特性、图、步骤、操作、构成、部件或其组合。尽管为了方便描述不同功能而在附图中独立地示出了本公开中描述的各个元件，但这并不意味着这些元件以彼此分离的硬件或软件元件来实现。例如，这些元件中的两个或更多个元件可以被组合，以形成一个元件，或者一个元件可以被划分成多个元件。在不脱离本公开的实质的情况下，相应元件被集成和/或分离的实施方式也在本公开的范围内。下文中，将参照附图来详细描述本公开的示例性实施方式。在附图中，相同的附图标记将用于相同的部件，并且可以省略对相同部件的冗余描述。图1是示出了根据本公开的用于提供360度视频的整体架构的图。本公开提出了提供360内容以便向用户提供虚拟现实(VR)的方法。VR可以是指用于复制真实或虚拟环境的技术或环境。VR可以人为地为用户提供感官体验，因此用户可能通过其体验到电子投影环境。360本文档来自技高网...

【技术保护点】
1.一种由360度视频接收设备处理360度图像数据的方法，该方法包括以下步骤：/n接收360度图像数据；/n从所述360度图像数据获取与编码后图片有关的信息和元数据；/n基于与所述编码后图片有关的信息对包括含360度图像的圆形图像的图片进行解码；/n基于所述元数据从所述图片推导所述圆形图像；以及/n基于所述元数据来处理和渲染所述圆形图像，/n其中，所述元数据包含相机镜头信息。/n

【技术特征摘要】
【国外来华专利技术】20180123 US 62/621,0341.一种由360度视频接收设备处理360度图像数据的方法，该方法包括以下步骤：
接收360度图像数据；
从所述360度图像数据获取与编码后图片有关的信息和元数据；
基于与所述编码后图片有关的信息对包括含360度图像的圆形图像的图片进行解码；
基于所述元数据从所述图片推导所述圆形图像；以及
基于所述元数据来处理和渲染所述圆形图像，
其中，所述元数据包含相机镜头信息。


2.根据权利要求1所述的方法，其中，所述相机镜头信息包括指示所述圆形图像的镜头投影类型的信息。


3.根据权利要求2所述的方法，其中，所述镜头投影类型是直线投影、立体投影、等距投影、等立体角投影、正射投影和角多项式投影中的一种。


4.根据权利要求3所述的方法，其中，
当指示所述镜头投影类型的信息的值为1时，所述圆形图像的所述镜头投影类型被推导为所述直线投影；
当指示所述镜头投影类型的信息的值为2时，所述圆形图像的所述镜头投影类型被推导为所述立体投影；
当指示所述镜头投影类型的信息的值为3时，所述圆形图像的所述镜头投影类型被推导为所述等距投影；
当指示所述镜头投影类型的信息的值为4时，所述圆形图像的所述镜头投影类型被推导为所述等立体角投影；
当指示所述镜头投影类型的信息的值为5时，所述圆形图像的所述镜头投影类型被推导为所述正射投影，
当指示所述镜头投影类型的信息的值为255时，所述圆形图像的镜头投影类型被推导为所述角多项式投影。


5.根据权利要求1所述的方法，其中，所述相机镜头信息包括指示是否存在用于校正所述圆形图像的畸变的多项式函数相关信息的标志。


6.根据权利要求5所述的方法，其中，当所述标志的值为1时，所述相机镜头信息包括所述多项式函数相关信息，
其中，所述多项式函数相关信息包括：
指示针对所述圆形图像的多项式函数的应用角度的信息；
指示所述多项式函数的系数的数量的信息；以及
指示所述多项式函数的系数的信息。


7.根据权利要求6所述的方法，其中，基于所述元数据来处理和渲染所述圆形图像的步骤包括以下步骤：
基于所述多项式函数相关信息来推导用于校正所述圆形图像的畸变的多项式函数；以及
基于所述多项式函数来校正所述圆形图像的畸变。


8.根据权利要求1所述的方法，其中，所述相机镜头信息包括指示所述圆形图像的径向畸变类型的信息。


9.根据权利要求8所述的方法，其中，所述径向畸变类型是桶形畸变、枕形畸变和胡子畸变中的一种。


10.根据权利要求9所述的方法，其中，
当指示所述径向畸变类型的信息的值为1时，所述圆形图像的所述径向畸变类型被推导为所述桶形畸变；

【专利技术属性】
技术研发人员：吴炫默，吴世珍，
申请(专利权)人：LG电子株式会社，
类型：发明
国别省市：韩国;KR