调整360度视频的截顶正方形棱锥投影的视场制造技术

技术编号:21959033 阅读:28 留言:0更新日期:2019-08-24 22:20
描述用于使用截顶正方形棱锥的平面对360度视频数据进行编码以映射不同视场的360度数据的技术和系统。360度视频数据可包含多个帧,其中每一帧包含球形视频数据。在各种实施方案中,视频译码系统可选择用于所述视频数据的视场,并确定对应于所述视场的从所述球形视频数据的中心的偏移。使用所述偏移,所述系统可确定所述球形视频数据在所述截顶正方形棱锥的所述平面上的投影,其中基底平面表示前视图且顶部平面表示后视图。接着,所述系统可根据所述投影映射所述视频数据,使得所述截顶正方形棱锥的每一平面包含所述球形视频数据的部分。

Adjust the field of view of the truncated square pyramid projection of 360-degree video

【技术实现步骤摘要】
【国外来华专利技术】调整360度视频的截顶正方形棱锥投影的视场
技术介绍
虚拟现实(VR)描述一种三维的、计算机生成的环境,可以看似真实或物理方式与其进行交互。通常,体验虚拟现实环境的用户可以向左或向右转,向上或向下看,和/或向前和向后移动,从而改变她对虚拟环境的视点。呈现给用户的360度视频可以相应地改变,使得用户的体验与现实世界中的尽可能一样。虚拟现实视频可以非常高的质量捕获和再现,从而可能提供真正身临其境的虚拟现实体验。为了提供顺畅的360度视图,由360度视频捕获系统捕获的视频通常经历图像拼接。在360度视频生成的状况下的图像拼接涉及在视频帧重叠或以其它方式连接的区域中组合或合并来自邻近相机的视频帧。结果将是近似球形的帧。然而,类似于墨卡托(Mercator)投影,合并数据通常以平面方式呈现。举例来说,合并视频帧中的像素可以被映射到立方体形状的平面上,或者某一其它三维平面形状(例如,棱锥、八面体、十面体等)上。视频捕获和视频显示装置大体上以光栅原理操作—意指视频帧经处理为像素的栅格—因此正方形或矩形平面通常用以表示球形环境。
技术实现思路
在各种实施方案中,描述用于将360度视频数据映射到截顶正方形棱锥形状的技术和系统。截顶正方形棱锥是已切掉其顶部的正方形棱锥。截顶正方形棱锥因此具有正方形基底、正方形顶部和四个梯形形状的侧面。360度视频帧可包含360度的像素数据量,且因此呈球形形状。通过将所述球形视频数据映射到由截顶正方形棱锥提供的平面,可减小360度视频帧的总大小,而仅牺牲观看者视场的边缘处的一些保真度。所述截顶正方形棱锥的所述平面可经定向成使得所述截顶正方形棱锥的基底表示前视图且所述截顶正方形棱锥的顶部表示后视图。以此方式,可以全分辨率捕获前视图,可以降低的分辨率捕获后视图,且可以降低的分辨率捕获左视图、右视图、上视图和底视图。在各种实施方案中,由截顶正方形棱锥映射几何结构提供的视场可变化。举例来说,90度、135度、180度或其它视场可映射到基底平面中,其中基底平面提供360度球形视频数据的前向视图。根据至少一个实例,提供用于对视频数据进行编码的方法。在各种实施方案中,所述方法包含获得表示虚拟环境的360度视图的虚拟现实视频数据,其中所述虚拟现实视频数据包含多个帧,且其中来自所述多个帧的每一帧包含对应球形视频数据。所述方法进一步包含确定来自所述多个帧的帧的视场。所述方法进一步包含确定从所述帧的所述球形视频数据的中心的偏移,所述偏移对应于所述视场。所述方法进一步包含使用所述偏移来确定所述球形视频数据在截顶正方形棱锥的平面上的投影,其中所述截顶正方形棱锥的基底平面表示所述球形视频数据的前视图,所述前视图对应于所述视场,其中所述截顶正方形棱锥的顶部平面表示所述球形视频数据的后视图,且其中所述顶部平面小于底部平面。所述方法进一步包含根据所述投影将所述球形视频数据映射到所述截顶正方形棱锥的所述平面,其中每一平面包含所述球形视频数据的部分。在另一实例中,提供一种设备,其包含经配置以存储视频数据的存储器以及处理器。所述处理器经配置以且可确定从所述帧的所述球形视频数据的中心的偏移,所述偏移对应于所述视场。所述处理器经配置以且可确定来自所述多个帧的帧的视场。所述处理器经配置以且可确定从所述帧的所述球形视频数据的中心的偏移,所述偏移对应于所述视场。所述处理器经配置以且可使用所述偏移来确定所述球形视频数据在截顶正方形棱锥的平面上的投影,其中所述截顶正方形棱锥的基底平面表示所述球形视频数据的前视图,所述前视图对应于所述视场,其中所述截顶正方形棱锥的顶部平面表示所述球形视频数据的后视图,且其中所述顶部平面小于底部平面。所述处理器经配置以且可根据所述投影将所述球形视频数据映射到所述截顶正方形棱锥的所述平面,其中每一平面包含所述球形视频数据的部分。在另一实例中,提供一种非暂时性计算机可读媒体,在其上存储有指令,所述指令在由一或多个处理器执行时,使所述一或多个处理器执行包含以下的操作:获得表示虚拟环境的360度视图的虚拟现实视频数据,其中所述虚拟现实视频数据包含多个帧,且其中来自所述多个帧的每一帧包含对应球形视频数据。所述指令可进一步使所述一或多个处理器执行包含以下的操作:确定来自所述多个帧的帧的视场。所述指令可进一步使所述一或多个处理器执行包含以下的操作:确定从所述帧的所述球形视频数据的中心的偏移,所述偏移对应于所述视场。所述指令可进一步使所述一或多个处理器执行包含以下的操作:使用所述偏移来确定所述球形视频数据在截顶正方形棱锥的平面上的投影,其中所述截顶正方形棱锥的基底平面表示所述球形视频数据的前视图,所述前视图对应于所述视场,其中所述截顶正方形棱锥的顶部平面表示所述球形视频数据的后视图,且其中所述顶部平面小于底部平面。所述指令可进一步使所述一或多个处理器执行包含以下的操作:根据所述投影将所述球形视频数据映射到所述截顶正方形棱锥的所述平面,其中每一平面包含所述球形视频数据的部分。在另一实例中,提供一种设备,其包含用于获得表示虚拟环境的360度视图的虚拟现实视频数据的装置,其中所述虚拟现实视频数据包含多个帧,且其中来自所述多个帧的每一帧包含对应球形视频数据。所述设备进一步包括用于确定来自所述多个帧的帧的视场的装置。所述设备进一步包含用于确定从所述帧的所述球形视频数据的中心的偏移的装置,所述偏移对应于所述视场。所述设备进一步包括用于使用所述偏移来确定所述球形视频数据在截顶正方形棱锥的平面上的投影的装置,其中所述截顶正方形棱锥的基底平面表示所述球形视频数据的前视图,所述前视图对应于所述视场,其中所述截顶正方形棱锥的顶部平面表示所述球形视频数据的后视图,且其中所述顶部平面小于底部平面。所述设备进一步包括用于根据所述投影将所述球形视频数据映射到所述截顶正方形棱锥的所述平面的装置,其中每一平面包含所述球形视频数据的部分。在一些方面中,上文所描述的方法、设备和计算机可读媒体进一步包括在来自所述截顶正方形棱锥的所述平面的平面上确定一点。这些方面进一步包含确定对应于所述平面上的所述点的来自所述球形视频数据的像素。在一些方面中,所述截顶正方形棱锥的所述平面包含第一侧平面、第二侧平面、第三侧平面和第四侧平面,其中所述第一侧平面、所述第二侧平面、所述第三侧平面和所述第四侧平面中的每一个包含邻近于所述基底平面的一个边缘、邻近于所述顶部平面的一个边缘以及邻近于所述第一侧平面、所述第二侧平面、所述第三侧平面和所述第四侧平面中的另外两个平面的两个边缘。在一些方面中,所述第一侧平面、所述第二侧平面、所述第三侧平面和所述第四侧平面中的每一个的分辨率从邻近于所述基底平面的所述边缘到邻近于所述顶部平面的所述边缘减小。在一些方面中,所述顶部平面具有比所述基底平面更低的分辨率。在一些方面中,所述顶部平面具有最小大小,无论所述偏移如何,其中所述最小大小大于零。在一些方面中,偏移对应于使所述顶部平面的大小为零的视场。在一些方面中,确定所述投影包含使用所述偏移来确定来自所述球形视频数据的数据的第一部分在所述基底平面上的第一投影。确定所述投影包含使用所述偏移来确定来自所述球形视频数据的数据的第二部分在所述顶部平面上的第二投影。在一些方面中,确定所述投影包含使用所述基底平面的大小和所本文档来自技高网...

【技术保护点】
1.一种用于对视频数据进行编码的方法,其包括:获得表示虚拟环境的360度视图的虚拟现实视频数据,其中所述虚拟现实视频数据包含多个帧,且其中来自所述多个帧的每一帧包含对应球形视频数据;确定来自所述多个帧的一个帧的视场;确定从所述帧的所述球形视频数据的中心的偏移,所述偏移对应于所述视场;使用所述偏移来确定所述球形视频数据在截顶正方形棱锥的平面上的投影,其中所述截顶正方形棱锥的基底平面表示所述球形视频数据的前视图,所述前视图对应于所述视场,其中所述截顶正方形棱锥的顶部平面表示所述球形视频数据的后视图,且其中所述顶部平面小于所述基底平面;以及根据所述投影,将所述球形视频数据映射到所述截顶正方形棱锥的所述平面,其中每一平面包含所述球形视频数据的部分。

【技术特征摘要】
【国外来华专利技术】2017.01.11 US 62/445,183;2018.01.04 US 15/862,4681.一种用于对视频数据进行编码的方法,其包括:获得表示虚拟环境的360度视图的虚拟现实视频数据,其中所述虚拟现实视频数据包含多个帧,且其中来自所述多个帧的每一帧包含对应球形视频数据;确定来自所述多个帧的一个帧的视场;确定从所述帧的所述球形视频数据的中心的偏移,所述偏移对应于所述视场;使用所述偏移来确定所述球形视频数据在截顶正方形棱锥的平面上的投影,其中所述截顶正方形棱锥的基底平面表示所述球形视频数据的前视图,所述前视图对应于所述视场,其中所述截顶正方形棱锥的顶部平面表示所述球形视频数据的后视图,且其中所述顶部平面小于所述基底平面;以及根据所述投影,将所述球形视频数据映射到所述截顶正方形棱锥的所述平面,其中每一平面包含所述球形视频数据的部分。2.根据权利要求1所述的方法,其中确定所述投影包含:在来自所述截顶正方形棱锥的所述平面的平面上确定一点;以及确定来自所述球形视频数据的对应于所述平面上的所述点的像素。3.根据权利要求1所述的方法,其中所述截顶正方形棱锥的所述平面包含第一侧平面、第二侧平面、第三侧平面和第四侧平面,其中所述第一侧平面、所述第二侧平面、所述第三侧平面和所述第四侧平面中的每一个包含邻近于所述基底平面的一个边缘、邻近于所述顶部平面的一个边缘以及邻近于所述第一侧平面、所述第二侧平面、所述第三侧平面和所述第四侧平面中的另外两个平面的两个边缘。4.根据权利要求3所述的方法,其中所述第一侧平面、所述第二侧平面、所述第三侧平面和所述第四侧平面中的每一个的分辨率从邻近于所述基底平面的所述边缘到邻近于所述顶部平面的所述边缘减小。5.根据权利要求1所述的方法,其中所述顶部平面具有比所述基底平面更低的分辨率。6.根据权利要求1所述的方法,其中所述顶部平面具有最小大小,无论所述偏移如何,其中所述最小大小大于零。7.根据权利要求1所述的方法,其中所述偏移对应于使所述顶部平面的大小为零的视场。8.根据权利要求1所述的方法,其中确定所述投影包含:使用所述偏移来确定来自所述球形视频数据的数据的第一部分在所述基底平面上的第一投影;以及使用所述偏移来确定来自所述球形视频数据的数据的第二部分在所述顶部平面上的第二投影。9.根据权利要求1所述的方法,其中确定所述投影包含:使用所述基底平面的大小和所述顶部平面的大小来确定来自所述球形视频数据的数据的第三部分在第一侧平面上的第三投影,所述第三投影包含所述视场上方的视图;使用所述基底平面的大小和所述顶部平面的大小来确定来自所述球形视频数据的数据的第四部分在第二侧平面上的第四投影,所述第四投影包含所述视场下方的视图;使用所述基底平面的大小和所述顶部平面的大小来确定来自所述球形视频数据的数据的第五部分在第三侧平面上的第五投影,所述第五投影包含在所述视场右侧的视图;以及使用所述基底平面的大小和所述顶部平面的大小来确定来自所述球形视频数据的数据的第六部分在第四侧平面上的第六投影,所述第六投影包含在所述视场左侧的视图。10.根据权利要求1所述的方法,其中所述视场大于90度。11.根据权利要求1所述的方法,其进一步包括:以矩形格式打包所述平面中的每一个。12.一种用于译码视频数据的装置,其包括:存储器,其经配置以存储视频数据;以及视频译码装置,其与所述存储器通信,其中所述视频译码装置经配置以:获得表示虚拟环境的360度视图的虚拟现实视频数据,其中所述虚拟现实视频数据包含多个帧,且其中来自所述多个帧的每一帧包含对应球形视频数据;确定来自所述多个帧的一个帧的视场;确定从所述帧的所述球形视频数据的中心的偏移,所述偏移对应于所述视场;使用所述偏移来确定所述球形视频数据在截顶正方形棱锥的平面上的投影,其中所述截顶正方形棱锥的基底平面表示所述球形视频数据的前视图,所述前视图对应于所述视场,其中所述截顶正方形棱锥的顶部平面表示所述球形视频数据的后视图,且其中所述顶部平面小于所述基底平面;以及根据所述投影,将所述球形视频数据映射到所述截顶正方形棱锥的所述平面,其中每一平面包含所述球形视频数据的部分。13.根据权利要求12所述的装置,其中确定所述投影包含:在来自所述截顶正方形棱锥的所述平面的平面上确定一点;以及确定来自所述球形视频数据的对应于所述平面上的所述点的像素。14.根据权利要求12所述的装置,其中所述截顶正方形棱锥的所述平面包含第一侧平面、第二侧平面、第三侧平面和第四侧平面,其中所述第一侧平面、所述第二...

【专利技术属性】
技术研发人员:G·范德奥维拉M·科班
申请(专利权)人:高通股份有限公司
类型:发明
国别省市:美国,US

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1