用于编码宽视图视频的球面旋转制造技术

描述了用于对诸如球面或半球面视频之类的具有宽视场的视频进行编码的球面旋转。一个示例涉及接收包括旋转取向元数据的经编码的视频、对该视频进行解码、提取旋转取向元数据、基于旋转取向元数据对经解码的视频进行旋转、生成经旋转的经解码的视频的视图、以及缓冲所生成的视图以用于显示。

Spherical rotation for encoding wide-view video

【技术实现步骤摘要】
【国外来华专利技术】用于编码宽视图视频的球面旋转相关申请的交叉引用本申请要求2016年11月17日递交的题为“SPHERICALROTATIONFORIMPROVEDPANORAMICVIDEOCODINGEFFICIENCY(用于提高全景视频编码效率的球面旋转)”的美国临时申请序列号62/423,319的优先权，其公开内容通过引用结合于此。
本说明书涉及对经编码的视频的传送，并且具体地，涉及随视频传送视频的球面旋转。
技术介绍
随着低成本高清摄像机和高速互联网连通的出现，视频互联网流量迅速增长。360度视频是虚拟现实、视频会议、汽车和监控应用等领域的一种新兴趋势，并且受到包括180度和360度视场相机的宽视场相机的支持。专门的网站和频道也可用于发布和观看包括虚拟现实内容的360度视频。对于用户组之间的协作，360度视频提供了更大的灵活性。不同于在相机之间进行切换，远程观看者可以使用360度视图跨房间移动，并且放大相机的视图中的感兴趣的人或对象。使用虚拟现实(VR)头戴式显示器的全景视频播放系统正在兴起，以供消费者使用。通常通过将由多个摄像机捕获的2D视频拼接成球面表示(representation)来创建全景和360度视频内容。在某些情况下，在软件中对多个视图进行渲染。然后将球面视频投影成适合于视频编码的格式，例如等距矩形(equi-rectangular)投影格式或立方体贴图(cubemap)投影格式。在客户端处，接收并解码包含全部全景压缩视频帧的比特流，从而创建整个全景视场的表示。选择整个视场的较小部分进行显示。该部分称为视口，它是用户在任一时间可以看到的唯一部分。它可以是整个视场的大部分或小部分。经解码的视频的由视口表示的部分由头戴式显示器的头部位置确定，或者在常规2D显示器上观看时通过位置选择用户界面确定。换言之，视口的位置由观看者正在观看或指向的位置确定。还可以存在缩放功能，就此而言，视口的视场和分辨率也由用户确定。附图说明在附图中通过示例的方式而非限制的方式示出了本文所述的材料。为了说明的简单和清晰，图中所示的元素不一定按比例绘制。例如，为了清晰起见，一些元素的尺寸可能相对于其他元素被放大。图1是根据实施例的全景视频编码系统的框图。图2是根据实施例的替代的全景视频编码系统的框图。图3是示出了俯仰、偏航和滚转的旋转取向的三轴笛卡尔坐标系的图示。图4是从球面到平面的等距矩形格式投影图。图5是立方体贴图投影的图，其中球面被投影到标记为0到5的六个平面上。图6是4×3平面网格的图示，其具有六个立方体贴图投影面。图7是2×3平面网格的图示，其具有为了紧凑而重新排列的六个立方体贴图投影面。图8是从球面到平面的二十面体格式投影的图。图9是根据实施例的在没有旋转的情况下两个对象从球面到平面的等距矩形格式投影的图。图10是根据实施例的在有旋转的情况下两个对象从球面到平面的等距矩形格式投影的图。图11是根据实施例的供编码和观看的视频的球面旋转的流程图。图12是适用于实施例的具有连接的计算资源的头戴式显示器的框图。图13是根据实施例的适用于视频捕获、编码、解码和显示的计算设备的框图。具体实施方式球面投影格式相对于球面表示引入了不连续和失真的视频内容。不连续和失真的视频内容的区域难以使用诸如HEVC和AVC之类的传统视频编解码器来压缩。如本文所述，当使用传统视频编解码器对全景视频内容进行编码时，视频编码效率得到提升。这改善了视频质量和用户体验。通过考虑投影格式和视频帧的区域之间的关系，至少部分地提升了全景视频编码效率。编码相同质量的全景视频序列需要较少的比特，并且主观伪像较少。在一些实施例中，可以定义新的补充增强信息(SEI)消息来指示球面旋转，然而，可以替代地使用其他消息结构。可以使用球面旋转能力以及这样的消息来提高视频编码效率。使用恒定的量化值，不同的球面取向可以产生不同的经编码的视频比特流比特率。当对平面场景进行编码并且当场景具有高运动或高纹理的小区域时，当该小区域在平面场景中居中(center)时，视频编码最为高效。当对球面或宽视图场景的平面投影进行编码时，该居中功能也适用。如本文所述，可以在投影之前对场景的球面进行旋转。利用这种方式，在不对编码器进行任何改变的情况下提高了编码效率。可以通过确定性过程来选择球面旋转量，即：检测全景帧中高运动和/或高纹理的区域，然后在投影到矩形帧之前使这些区域位于球面上特定位置的中心。替代地，可以通过“后验”处理，通过尝试几个不同的球面取向值、对不同的取向值进行编码、以及确定哪个取向产生最低比特率来选择球面旋转量。图1是全景视频编码系统的框图。在服务器、产生系统或不同系统的组合102处产生视频。在服务器处，多个摄像机106捕获2D视频。显示了六个摄像机，但是可以使用更多或更少的摄像机。摄像机连接到第一模块108。在第一模块处，将多个视频拼接在一起并将其绘制为投影格式。投影格式的拼接视频被输入到视频编码器110，例如，HEVC或AVC。编码器对视频进行编码，并将其作为比特流发送或缓冲以供稍后的传输。缓冲器可以是编码器或另一组件的一部分。通过网络、互联网、广播或点对点连接112将经编码的视频作为比特流从服务器或头端发送到一个或多个客户端104。在客户端处，视频解码器114从服务器接收视频并解码压缩的比特流。当只查看经解码的视频的一部分时，在视口模块116中为所选区域生成视口。经解码的视频的要观看的部分是由位置选择器120使用例如头戴式显示器的头部位置或位置选择用户界面确定的。该位置被发送到视口生成器，该视口生成器接收经解码的视频，并且向显示器118提供适合的视频流。该显示器允许在常规2D显示器上查看视口。图2是替代的全景视频编码系统的框图。在服务器202、产生系统或不同系统的组合处产生视频。在一些情况下，多个摄像机206捕获2D视频并将其提供给第一拼接和投影模块208。在该模块中的缓冲器中存储多个视频，在该模块处将其拼接在一起并绘制到投影格式。投影格式的拼接的视频被输入到视频编码器210，例如，HEVC或AVC。球面旋转取向选择器212，潜在地针对每个视频帧，基于估计该帧的哪些区域将是最难编码的，来确定全景视频的旋转取向。该难点可用于定位投影格式引入的失真和不连续性最小的困难区域。选择器在球面旋转器214中应用球面旋转。旋转器214根据所选择的取向旋转投影格式的拼接视频的球面投影。经旋转的视频被输入到视频编码器210。编码器还从选择器接收取向选择216。然后使用该信息对经编码的视频进行编码。在本专利技术的实施例中，旋转取向选择器和球面旋转器可被合并到拼接器中或编码器中。选择器还可以生成表示球面旋转取向的元数据。旋转取向元数据216被添加到编码器的视频比特流输出。它可以以SEI消息的形式或以其他形式被添加。旋转取向元数据与帧相关联，因此可以以每帧一次的频率进行更新。经编码的视频可被存储在编码器缓冲器或连接的存储器中供稍后使用，或者作为比特流通过诸如网络、因特网、广播或点对点链路之类的数据链路218立即从服务器202或头端发送到一个或多个客户端204。在客户端处，视频解码器224从服务器接收视频。视频可以存储在解码器缓冲器中。缓冲器对经压缩的比特流218进行解码并提取任何SEI消息。这本文档来自技高网...

【技术保护点】
1.一种方法，包括：接收包括旋转取向元数据的经编码的视频；对所述视频进行解码；提取所述旋转取向元数据；基于所述旋转取向元数据对经解码的视频进行旋转；生成经旋转的经解码的视频的视图；以及缓冲所生成的视图以用于显示。

【技术特征摘要】
【国外来华专利技术】2016.11.17 US 62/423,3191.一种方法，包括：接收包括旋转取向元数据的经编码的视频；对所述视频进行解码；提取所述旋转取向元数据；基于所述旋转取向元数据对经解码的视频进行旋转；生成经旋转的经解码的视频的视图；以及缓冲所生成的视图以用于显示。2.根据权利要求1所述的方法，其中，所接收的所述经编码的视频是宽视场的平面投影。3.根据权利要求2所述的方法，其中，所述平面投影是等距矩形投影并且所述宽视场是全景的。4.根据以上权利要求中的任意一项或多项所述的方法，其中，所述元数据被编码为补充增强信息消息。5.根据以上权利要求中的任意一项或多项所述的方法，其中，所述元数据包括将应用于对所述经解码的视频进行旋转的俯仰、偏航和滚转中的至少一者。6.根据以上权利要求中的任意一项或多项所述的方法，其中，所述元数据包括针对所述视频的相对取向的、以及针对所述视频的绝对取向的旋转信息。7.根据权利要求6所述的方法，其中，所述相对取向是相对于所述绝对取向的，并且所述绝对取向反映相机的取向。8.根据以上权利要求中的任意一项或多项所述的方法，其中，所述元数据与所接收的所述经编码的视频的帧相关联，所述方法包括针对所述经编码的视频的另外的帧接收另外的元数据。9.根据权利要求8所述的方法，其中，所述元数据包括指示所接收的球面旋转不应用于所述另外的帧的球面旋转取消标志。10.根据以上权利要求中的任意一项或多项所述的方法，还包括从用户接收视口选择并在对所述经解码的视频进行旋转之后生成所选择的视口。11.一种机器可读介质，其上存储有指令，所述指令当被执行时，使得所述机器执行操作，所述操作包括：接收包括旋转取向元数据的经编码的视频；对所述视频进行解码；提取所述旋转取向元数据；基于所述旋转取向元数据对经解码的视频进行旋转；生成经旋转的经解码的视频的视图；以及缓冲所生成的视图以用于显示。12.根据权...

【专利技术属性】
技术研发人员：吉尔·M·博伊斯，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国,US