用于360度视频的有效压缩的球极投影制造技术

本发明专利技术提供用于处理360度视频数据的系统及方法。在各种实施方案中，360度视频帧的球面表示可分割成顶部区、底部区及中间区。所述中间区可映射至输出视频帧的一或多个矩形区域中。可使用将正方形转换为圆的映射将所述顶部区映射至所述输出视频帧的第一矩形区域中，使得圆形顶部区中的像素经扩展以填充所述第一矩形区。所述底部区可映射至所述输出视频帧的第二矩形区域中，使得圆形底部区中的像素经扩展以填充所述第二矩形区。

Effective compression of the spherical projection for 360 degree video

The invention provides a system and a method for processing 360 degree video data. In various embodiments, the spherical representation of a 360 degree video frame can be divided into a top region, a bottom region, and an intermediate region. The middle region can be mapped to one or more rectangular regions of the output video frame. The top area can be mapped to a first rectangular area of the output video frame using a map that converts a square to a circle so that pixels in the top area of the circle are extended to fill the first rectangular area. The bottom area can be mapped into a second rectangular area of the output video frame so that pixels in the circular bottom area are extended to fill the second rectangular area.

【技术实现步骤摘要】
【国外来华专利技术】用于360度视频的有效压缩的球极投影
技术介绍
虚拟实境(VR)描述可在看起来真实或物理方式内交互的三维的计算机产生的环境。一般来说，体验虚拟实境环境的用户可左右转、上下看及/或前后移动，因此改变其对虚拟环境的视角。呈现给所述用户的360度视频可因此改变，从而使得用户的体验如在真实世界中同样顺畅。虚拟实境视频可以极高质量被捕捉且显现，从而潜在地提供真实沉浸式虚拟实境体验。为提供顺畅360度视图，通过360度视频捕捉系统捕捉的视频通常进行图像缝合。在360度视频产生的情况下的图像缝合涉及组合或合并视频帧重叠或将以其它方式连接所在的区域中的邻近相机的视频帧。结果将为大致球形帧。然而，类似于麦卡托(Mercator)投影，经合并的数据通常以平面样式表示。举例来说，经合并视频帧中的像素可经映射至立方体形状或某种其它三维平面形状(例如，角锥形、八面体、十面体等)的平面上。视频捕捉及视频显示大体上通常按光栅原理操作--意味着视频帧作为像素栅格处置--因此，正方形或矩形平面通常用以表示球面环境。360度视频可经编码用于存储及/或发射。视频译码标准包含国际电信联盟(ITU)ITU-TH.261、国际标准组织/国际电子装置委员会(ISO/IEC)动画群组(MPEG)MPEG-1Visual、ITU-TH.262或ISO/IECMPEG-2Visual、ITU-TH.263、ISO/IECMPEG-4Visual、ITU-TH.264(也称为ISO/IECMPEG-4AVC)、包含其可调式视频译码(SVC)及多视图视频译码(MVC)扩展及ITU-TH.265(也称为ISO/IECMPEG-4HEVC)及其扩展。
技术实现思路
在各种实施方案中，描述用于处理360度视频数据以获得更好译码效率的技术及系统。这些技术及系统可包含使用分段式球体投影将360度视频帧的球面表示划分成北极或顶部区、南极或底部区，及中纬线或中间区。所述区可接着映射成可使译码装置更容易进行操控的二维矩形格式。在产生此映射时，分段式球体投影的圆形北极区及南极区可使用各种技术扩展，以填充输出视频帧的矩形区。通过将极性区映射至矩形区的所有拐角中，输出视频帧中的所有可用像素可包含可使用数据。相比已使用其它方法产生的360度视频的视频帧，以此方式产生的视频帧可更有效地进行编码。在各种实施方案中，额外视觉改进可通过在输出视频帧的某些区域中应用渐次取样调整而达成。举例来说，可通过将逐步变化应用于样本在视频帧中所映射至的位置来减少其中映射极性区的矩形区与其中映射中纬线区的一部分的矩形区之间的任何不连续性。在此实例及其它实例中，针对球面视频数据的极性区而将逐步变化应用于矩形区。根据至少一个实例，提供一种用于编码视频数据的方法。在各种实施方案中，所述方法包含获得包含多个视频帧的360度视频数据，所述多个视频帧中的每一视频帧包含用于视频帧的视频数据的球面表示。所述方法进一步包含将来自所述多个视频帧中的视频帧分割成顶部区、中间区及底部区，所述顶部区包含球面表示的第一圆形区域，所述底部区包含球面表示的第二圆形区域，其在球面表示上与第一圆形区域相对，其中所述中间区包含球面表示中不包含于顶部区或底部区中的区域。所述方法进一步包含将顶部区映射至输出视频帧的第一矩形区域中，其中映射顶部区包含扩展包含于第一圆形区域中的视频数据以填充第一矩形区域。所述方法进一步包含将底部区映射至输出视频帧的第二矩形区域中，其中映射底部区包含扩展包含于第二圆形区域中的视频数据以填充第二矩形区域。在另一实例中，提供一种设备，其包含经配置以存储360度视频数据的存储器及处理器。所述360度视频数据可包含多个视频帧，所述多个视频帧中的每一视频帧包含用于视频帧的视频数据的球面表示。处理器经配置以且可将来自所述多个视频帧中的视频帧分割成顶部区、中间区及底部区，所述顶部区包含球面表示的第一圆形区域，所述底部区包含球面表示的第二圆形区域，其在球面表示上与所述第一圆形区域相对，其中所述中间区包含球面表示中不包含于顶部区或底部区中的区域。处理器经配置以且可将顶部区映射至输出视频帧的第一矩形区域中，其中映射顶部区包含扩展包含于第一圆形区域中的视频数据以填充第一矩形区域。处理器经配置以且可将底部区映射至输出视频帧的第二矩形区域中，其中映射底部区包含扩展包含于第二圆形区域中的视频数据以填充第二矩形区域。在另一实例中，提供一种其上存储有指令的非暂时性计算机可读媒体，所述指令在由一或多个处理器执行时致使所述一或多个处理器执行包含以下的操作：获得包含多个视频帧的360度视频数据，所述多个视频帧中的每一视频帧包含用于视频帧的视频数据的球面表示。所述指令可进一步致使所述一或多个处理器执行包含以下的操作：将来自多个视频帧中的一个视频帧分割成顶部区、中间区及底部区，所述顶部区包含球面表示的第一圆形区域，所述底部区包含球面表示的第二圆形区域，其在球面表示上与第一圆形区域相对，其中所述中间区包含球面表示中不包含于顶部区或底部区中的区域。所述指令可进一步致使一或多个处理器执行包含以下的操作：将顶部区映射至输出视频帧的第一矩形区域中，其中映射顶部区包含扩展包含于第一圆形区域中的视频数据以填充第一矩形区域。所述指令可进一步致使一或多个处理器执行包含以下的操作：将底部区映射至输出视频帧的第二矩形区域中，其中映射底部区包含扩展包含于第二圆形区域中的视频数据以填充第二矩形区域。在另一实例中，提供一种设备，其包含用于获得包含多个视频帧的360度视频数据的装置，所述多个视频帧中的每一视频帧包含用于视频帧的视频数据的球面表示。所述设备进一步包括用于将来自所述多个视频帧中的视频帧分割成顶部区、中间区及底部区的装置，所述顶部区包含球面表示的第一圆形区域，所述底部区包含球面表示的第二圆形区域，其在球面表示上与所述第一圆形区域相对，其中所述中间区包含球面表示中不包含于顶部区或底部区中的区域。所述设备进一步包括用于将顶部区映射至输出视频帧的第一矩形区域中的装置的装置，其中映射顶部区包含扩展包含于第一圆形区域中的视频数据以填充第一矩形区域。所述设备进一步包括用于将底部区映射至输出视频帧的第二矩形区域中的装置，其中映射底部区包含扩展包含于第二圆形区域中的视频数据以填充第二矩形区域。在一些方面中，在高于球面表示的中纬线的第一纬度及低于中纬线的第二纬度下分割视频帧，其中所述第一纬度及第二纬度与中纬线等距，其中顶部区高于第一纬度，且其中底部区低于第二纬度。在一些方面中，映射顶部区及映射底部区包含选择输出视频帧中的像素位置，及确定球面表示上对应于所述像素位置的点，其中使用用于将正方形转换为圆的映射来确定球面表示上的点。这些方面进一步包含从球面表示上的点对像素进行取样，及将经取样像素置放于像素位置处。在一些方面中，用于将正方形转换为圆的映射将输出视频帧中的失真降至最低。在一些方面中，映射顶部区及映射底部区进一步包含使用渐次曲线函数来调整像素位置。在一些方面中，在邻近于视频帧中的第三矩形区域的区域中的像素位置处使用渐次曲线函数。在一些方面中，渐次曲线函数针对第一矩形区域或第二矩形本文档来自技高网...

【技术保护点】
1.一种用于处理视频数据的方法，其包括：/n获得包含多个视频帧的360度视频数据，所述多个视频帧中的每一视频帧包含用于所述视频帧的视频数据的球面表示；/n将来自所述多个视频帧的一个视频帧分割成顶部区、中间区及底部区，所述顶部区包含所述球面表示的第一圆形区域，所述底部区包含所述球面表示的第二圆形区域，其在所述球面表示上与所述第一圆形区域相对，其中所述中间区包含所述球面表示中不包含于所述顶部区或所述底部区中的区域；/n将所述顶部区映射至输出视频帧的第一矩形区域中，其中映射所述顶部区包含扩展所述第一圆形区域中所包含的视频数据以填充所述第一矩形区域；及/n将所述底部区映射至所述输出视频帧的第二矩形区域中，其中映射所述底部区包含扩展所述第二圆形区域中所包含的视频数据以填充所述第二矩形区域。/n

【技术特征摘要】
【国外来华专利技术】20170322 US 62/474,767;20170703 US 62/528,264;20181.一种用于处理视频数据的方法，其包括：
获得包含多个视频帧的360度视频数据，所述多个视频帧中的每一视频帧包含用于所述视频帧的视频数据的球面表示；
将来自所述多个视频帧的一个视频帧分割成顶部区、中间区及底部区，所述顶部区包含所述球面表示的第一圆形区域，所述底部区包含所述球面表示的第二圆形区域，其在所述球面表示上与所述第一圆形区域相对，其中所述中间区包含所述球面表示中不包含于所述顶部区或所述底部区中的区域；
将所述顶部区映射至输出视频帧的第一矩形区域中，其中映射所述顶部区包含扩展所述第一圆形区域中所包含的视频数据以填充所述第一矩形区域；及
将所述底部区映射至所述输出视频帧的第二矩形区域中，其中映射所述底部区包含扩展所述第二圆形区域中所包含的视频数据以填充所述第二矩形区域。


2.根据权利要求1所述的方法，其中在高于所述球面表示的中纬线的第一纬度及低于所述中纬线的第二纬度下分割所述视频帧，其中所述第一纬度及所述第二纬度与所述中纬线等距，其中所述顶部区高于所述第一纬度，且其中所述底部区低于所述第二纬度。


3.根据权利要求1所述的方法，其中映射所述顶部区及映射所述底部区包含：
选择所述输出视频帧中的像素位置；
确定所述球面表示上对应于所述像素位置的点，其中使用用于从正方形转换为圆的映射来确定所述球面表示上的所述点；
从所述球面表示上的所述点对像素进行取样；及
将所述经取样像素置放在所述像素位置处。


4.根据权利要求3所述的方法，其中所述用于将正方形转换为圆的映射将所述输出视频帧中的失真降至最低。


5.根据权利要求3所述的方法，其中映射所述顶部区及映射所述底部区进一步包含：
使用渐次曲线函数调整所述像素位置。


6.根据权利要求5所述的方法，其中在邻近于所述输出视频帧中的额外矩形区域的区域中的像素位置处使用所述渐次曲线函数。


7.根据权利要求5所述的方法，其中所述渐次曲线函数针对所述第一矩形区域或所述第二矩形区域的中间区域较少地改变像素位置，且针对所述第一矩形区域或所述第二矩形区域的外部区域较多地改变像素位置。


8.根据权利要求1所述的方法，其进一步包括：
将所述中间区映射至输出视频帧的一或多个矩形区域中。


9.根据权利要求8所述的方法，其中所述中间区包含左视图、正视图及右视图，其中所述左视图在所述输出视频帧中邻近于所述正视图置放，且其中所述右视图邻近于所述正视图置放。


10.根据权利要求1所述的方法，其中所述中间区包含后视图，其中所述底部区在所述输出视频帧中邻近于所述后视图置放，且其中所述顶部区邻近于所述后视图置放。


11.根据权利要求1所述的方法，其中将所述顶部区映射至所述第一矩形区域中包含将逐步调整应用于其中所述第一矩形区域邻近于所述输出视频帧中的第三矩形区域的区域中，且其中将所述底部区映射至所述第二矩形区域中包含将所述逐步调整应用于其中所述第二矩形区域邻近于所述输出视频帧中的第四矩形区域的区域中。


12.根据权利要求1所述的方法，其中所述输出视频帧具有三乘二宽高比。


13.一种视频译码装置，其包括：
存储器，其经配置以存储包含多个视频帧的360度视频数据，所述多个视频帧中的每一视频帧包含用于所述视频帧的视频数据的球面表示；及
处理器，其经配置以：
将来自所述多个视频帧的一个视频帧分割成顶部区、中间区及底部区，所述顶部区包含所述球面表示的第一圆形区域，所述底部区包含所述球面表示的第二圆形区域，其在所述球面表示上与所述第一圆形区域相对，其中所述中间区包含所述球面表示中不包含于所述顶部区或所述底部区中的区域；
将所述顶部区映射至输出视频帧的第一矩形区域中，其中映射所述顶部区包含扩展所述第一圆形区域中所包含的视频数据以填充所述第一矩形区域；及
将所述底部区映射至所述输出视频帧的第二矩形区域中，其中映射所述底部区包含扩展所述第二圆形区域中所包含的视频数据以填充所述第二矩形区域。


14.一种在其上存储指令的非暂时性计算机可读媒体，所述指令在由一或多个处理器执行时致使所述一或多个处理器执行包含以下的操作：
获得包含多个视频帧的360度视频数据，所述多个视频帧中的每一视频帧包含用于所述视频帧的视频数据的球面表示；
将来自所述多个视频帧的视频帧分割成顶部区、中间区及底部区，所述顶部区包含所述球面表示的第一圆形区域，所述底部区包含所述球面表示的第二圆形区域，其在所述球面表示上与所述第一圆形区域相对，其中所述中间区包含所述球面表示中不包含于所述顶部区或所述底部区中的区域；
将所述顶部区映射至所述输出视频帧的第一矩形区域中，其中映射所述顶部区包含扩展所述第一圆形区域中所包含的视频数据以填充所述第一矩形区域；及
将所述底部区映射至所述输出视频帧的第二矩形区域中，其中映射所述底部区包含扩展所述第二圆形区域中所包含的视频数据以填充所述第二矩形区域。


15.一种设备，其包括：
用于获得包含多个视频帧的360度视频数据的装置，所述多个视频帧中的每一视频帧包含用于所述视频帧的视频数据的球面表示；
用于将来自所述多个视频帧的视频帧分割成顶部区、中间区及底部区的装置，所述顶部区包含所述球面表示的第一圆形区域，所述底部区包含所述球面表示的第二圆形区域，其在所述球面表示上与所述第一圆形区域相对，其中所述中间区包含所述球面表示中不包含于所述顶部区或所述底部区中的区域；
用于将所述顶部区映射至所述输出视频帧的第一矩形区域中的装置，其中映射所述顶部区包含扩展所述第一圆形区域中所包含的视...

【专利技术属性】
技术研发人员：G·范德奥维拉，M·科班，M·卡切维奇，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：美国;US