【技术实现步骤摘要】
【国外来华专利技术】调整360度视频的截顶正方形棱锥投影的视场
技术介绍
虚拟现实(VR)描述一种三维的、计算机生成的环境,可以看似真实或物理方式与其进行交互。通常,体验虚拟现实环境的用户可以向左或向右转,向上或向下看,和/或向前和向后移动,从而改变她对虚拟环境的视点。呈现给用户的360度视频可以相应地改变,使得用户的体验与现实世界中的尽可能一样。虚拟现实视频可以非常高的质量捕获和再现,从而可能提供真正身临其境的虚拟现实体验。为了提供顺畅的360度视图,由360度视频捕获系统捕获的视频通常经历图像拼接。在360度视频生成的状况下的图像拼接涉及在视频帧重叠或以其它方式连接的区域中组合或合并来自邻近相机的视频帧。结果将是近似球形的帧。然而,类似于墨卡托(Mercator)投影,合并数据通常以平面方式呈现。举例来说,合并视频帧中的像素可以被映射到立方体形状的平面上,或者某一其它三维平面形状(例如,棱锥、八面体、十面体等)上。视频捕获和视频显示装置大体上以光栅原理操作—意指视频帧经处理为像素的栅格—因此正方形或矩形平面通常用以表示球形环境。
技术实现思路
在各种实施方案中,描述用于将360度视频数据映射到截顶正方形棱锥形状的技术和系统。截顶正方形棱锥是已切掉其顶部的正方形棱锥。截顶正方形棱锥因此具有正方形基底、正方形顶部和四个梯形形状的侧面。360度视频帧可包含360度的像素数据量,且因此呈球形形状。通过将所述球形视频数据映射到由截顶正方形棱锥提供的平面,可减小360度视频帧的总大小,而仅牺牲观看者视场的边缘处的一些保真度。所述截顶正方形棱锥的所述平面可经定向成使得所述截顶正方形棱锥的基底表示 ...
【技术保护点】
1.一种用于对视频数据进行编码的方法,其包括:获得表示虚拟环境的360度视图的虚拟现实视频数据,其中所述虚拟现实视频数据包含多个帧,且其中来自所述多个帧的每一帧包含对应球形视频数据;确定来自所述多个帧的一个帧的视场;确定从所述帧的所述球形视频数据的中心的偏移,所述偏移对应于所述视场;使用所述偏移来确定所述球形视频数据在截顶正方形棱锥的平面上的投影,其中所述截顶正方形棱锥的基底平面表示所述球形视频数据的前视图,所述前视图对应于所述视场,其中所述截顶正方形棱锥的顶部平面表示所述球形视频数据的后视图,且其中所述顶部平面小于所述基底平面;以及根据所述投影,将所述球形视频数据映射到所述截顶正方形棱锥的所述平面,其中每一平面包含所述球形视频数据的部分。
【技术特征摘要】
【国外来华专利技术】2017.01.11 US 62/445,183;2018.01.04 US 15/862,4681.一种用于对视频数据进行编码的方法,其包括:获得表示虚拟环境的360度视图的虚拟现实视频数据,其中所述虚拟现实视频数据包含多个帧,且其中来自所述多个帧的每一帧包含对应球形视频数据;确定来自所述多个帧的一个帧的视场;确定从所述帧的所述球形视频数据的中心的偏移,所述偏移对应于所述视场;使用所述偏移来确定所述球形视频数据在截顶正方形棱锥的平面上的投影,其中所述截顶正方形棱锥的基底平面表示所述球形视频数据的前视图,所述前视图对应于所述视场,其中所述截顶正方形棱锥的顶部平面表示所述球形视频数据的后视图,且其中所述顶部平面小于所述基底平面;以及根据所述投影,将所述球形视频数据映射到所述截顶正方形棱锥的所述平面,其中每一平面包含所述球形视频数据的部分。2.根据权利要求1所述的方法,其中确定所述投影包含:在来自所述截顶正方形棱锥的所述平面的平面上确定一点;以及确定来自所述球形视频数据的对应于所述平面上的所述点的像素。3.根据权利要求1所述的方法,其中所述截顶正方形棱锥的所述平面包含第一侧平面、第二侧平面、第三侧平面和第四侧平面,其中所述第一侧平面、所述第二侧平面、所述第三侧平面和所述第四侧平面中的每一个包含邻近于所述基底平面的一个边缘、邻近于所述顶部平面的一个边缘以及邻近于所述第一侧平面、所述第二侧平面、所述第三侧平面和所述第四侧平面中的另外两个平面的两个边缘。4.根据权利要求3所述的方法,其中所述第一侧平面、所述第二侧平面、所述第三侧平面和所述第四侧平面中的每一个的分辨率从邻近于所述基底平面的所述边缘到邻近于所述顶部平面的所述边缘减小。5.根据权利要求1所述的方法,其中所述顶部平面具有比所述基底平面更低的分辨率。6.根据权利要求1所述的方法,其中所述顶部平面具有最小大小,无论所述偏移如何,其中所述最小大小大于零。7.根据权利要求1所述的方法,其中所述偏移对应于使所述顶部平面的大小为零的视场。8.根据权利要求1所述的方法,其中确定所述投影包含:使用所述偏移来确定来自所述球形视频数据的数据的第一部分在所述基底平面上的第一投影;以及使用所述偏移来确定来自所述球形视频数据的数据的第二部分在所述顶部平面上的第二投影。9.根据权利要求1所述的方法,其中确定所述投影包含:使用所述基底平面的大小和所述顶部平面的大小来确定来自所述球形视频数据的数据的第三部分在第一侧平面上的第三投影,所述第三投影包含所述视场上方的视图;使用所述基底平面的大小和所述顶部平面的大小来确定来自所述球形视频数据的数据的第四部分在第二侧平面上的第四投影,所述第四投影包含所述视场下方的视图;使用所述基底平面的大小和所述顶部平面的大小来确定来自所述球形视频数据的数据的第五部分在第三侧平面上的第五投影,所述第五投影包含在所述视场右侧的视图;以及使用所述基底平面的大小和所述顶部平面的大小来确定来自所述球形视频数据的数据的第六部分在第四侧平面上的第六投影,所述第六投影包含在所述视场左侧的视图。10.根据权利要求1所述的方法,其中所述视场大于90度。11.根据权利要求1所述的方法,其进一步包括:以矩形格式打包所述平面中的每一个。12.一种用于译码视频数据的装置,其包括:存储器,其经配置以存储视频数据;以及视频译码装置,其与所述存储器通信,其中所述视频译码装置经配置以:获得表示虚拟环境的360度视图的虚拟现实视频数据,其中所述虚拟现实视频数据包含多个帧,且其中来自所述多个帧的每一帧包含对应球形视频数据;确定来自所述多个帧的一个帧的视场;确定从所述帧的所述球形视频数据的中心的偏移,所述偏移对应于所述视场;使用所述偏移来确定所述球形视频数据在截顶正方形棱锥的平面上的投影,其中所述截顶正方形棱锥的基底平面表示所述球形视频数据的前视图,所述前视图对应于所述视场,其中所述截顶正方形棱锥的顶部平面表示所述球形视频数据的后视图,且其中所述顶部平面小于所述基底平面;以及根据所述投影,将所述球形视频数据映射到所述截顶正方形棱锥的所述平面,其中每一平面包含所述球形视频数据的部分。13.根据权利要求12所述的装置,其中确定所述投影包含:在来自所述截顶正方形棱锥的所述平面的平面上确定一点;以及确定来自所述球形视频数据的对应于所述平面上的所述点的像素。14.根据权利要求12所述的装置,其中所述截顶正方形棱锥的所述平面包含第一侧平面、第二侧平面、第三侧平面和第四侧平面,其中所述第一侧平面、所述第二...
【专利技术属性】
技术研发人员:G·范德奥维拉,M·科班,
申请(专利权)人:高通股份有限公司,
类型:发明
国别省市:美国,US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。