用于生成和编码具有基于视角的立方体投影格式布局的基于360度矩形投影帧的方法和设备技术

本发明专利技术公开了一种视频处理方法包括：接收与球形视野体对应的全向图像/视频内容，根据该全向图像/视频内容和基于视角的立方体投影布局生成基于投影的帧序列，并对基于投影的帧序列进行编码以生成比特流。每个基于投影的帧都具有由打包在基于视角的多个立方体投影布局中的矩形投影面表示的360度的图像/视频内容。该多个矩形投影面包括第一矩形投影面、第二矩形投影面、第三矩形投影面、第四矩形投影面、第五矩形投影面和被划分为多个部分矩形投影面的第六矩形投影面。第一矩形投影面对应于用户的视角，并且被由第二矩形投影面、第三矩形投影面、第四矩形投影面、第五矩形投影面和该多个部分矩形投影面构成的周围区域包围。

Method and equipment for generating and coding 360-degree rectangular projection frames with view-based stereo projection format layout

The invention discloses a video processing method which includes receiving omnidirectional image/video content corresponding to spherical field of view, generating projection-based frame sequence according to the omnidirectional image/video content and perspective-based stereo projection layout, and encoding projection-based frame sequence to generate bit stream. Each projection-based frame has 360-degree image/video content represented by a rectangular projection surface packaged in a view-based multi-cube projection layout. The multiple rectangular projection surfaces include the first rectangular projection surface, the second rectangular projection surface, the third rectangular projection surface, the fourth rectangular projection surface, the fifth rectangular projection surface and the sixth rectangular projection surface divided into several rectangular projection surfaces. The first rectangular projection surface corresponds to the user's perspective, and is surrounded by the surrounding area composed of the second rectangular projection surface, the third rectangular projection surface, the fourth rectangular projection surface, the fifth rectangular projection surface and the plurality of rectangular projection surfaces.

【技术实现步骤摘要】
【国外来华专利技术】用于生成和编码具有基于视角的立方体投影格式布局的基于360度矩形投影帧的方法和设备相关申请的交叉引用本申请要求下列申请的优先权：2016年12月14日提出的申请号为62/433,858的美国临时案，以及2017年01月13日提出的申请号为62/445,809的美国临时案。在此合并参考这些申请案的申请标的。
本专利技术有关于处理全向图像/视频内容。更具体地，本专利技术涉及用于生成和编码具有由紧凑的基于视角的立方体投影布局中的矩形投影面表示的360度内容(例如，360度图像内容或360度视频内容)的基于投影的帧的方法和设备。
技术介绍
具有头戴式显示器(head-mounteddisplay，HMD)的虚拟现实(Virtualreality，VR)与各种应用相关。向用户显示广泛视野内容的能力可用于提供身临其境的视觉体验。必须捕捉所有方向上的真实世界的环境，从而生成对应于视野范围的全向图像/视频。随着摄像机和HMD的发展，由于表示诸如360度图像/视频之类的内容所需的高比特率，而导致VR内容的传送可能很快遇到瓶颈。当全向视频的分辨率为4k或更高时，数据压缩/编码对比特率的降低至关重要。
技术实现思路
本专利技术的目的之一是提供一种用于生成和编码具有由紧凑的基于视角的立方体投影布局中的矩形投影面表示的360度内容(例如，360度图像内容或360度内容)的基于投影的帧的方法和设备。通过基于视角的立方体投影布局的适当设计，基于投影的帧可以具有紧凑形式，和/或使用者的视角的图像内容(即，视角区域)可以保存在主投影面中(例如中央矩形投影面)。根据本专利技术的第一方面，公开了一种示例性的视频处理方法。该示例性视频处理方法包括：接收对应于球形视野的全向图像/视频内容；根据该全向图像/视频内容和基于视角的立方体投影布局生成基于投影的帧，由视频编码器编码该基于投影的帧以生成比特流的一部分，其中该基于投影的帧具有由打包在该基于视角的立方体投影布局中的多个矩形投影面表示的360度图像/视频内容。该基于视角的立方体投影布局包括第一矩形投影面、第二矩形投影面、第三矩形投影面、第四矩形投影面、第五矩形投影面和第六矩形投影面，该第六矩形投影面被划分成多个部分矩形投影面(例如，四个部分矩形投影面)。该第一矩形投影面对应于用户的视角并且被由该第二矩形投影面、该第三矩形投影面、该第四矩形投影面、该第五矩形投影面和该多个部分矩形投影面(例如，四个部分矩形投影面)组成的周围区域包围。根据本专利技术的第二方面，公开了一种示例性视频处理装置。示例性视频处理装置包括转换电路和视频编码器。转换电路用于接收对应于球形视野的全向图像/视频内容，并且根据该全向图像/视频内容和基于视角的立方体投影布局生成基于投影的帧，其中该基于投影的帧具有由打包在该基于视角的立方体投影布局中的多个矩形投影面表示的360度图像/视频内容，并且该多个矩形投影面包括第一矩形投影面、第二矩形投影面、第三矩形投影面、第四矩形投影面、第五矩形投影面和被划分成多个部分矩形投影面(例如，四个部分矩形投影面)的第六矩形投影面，并且该第一矩形投影面对应于用户的视角并且被由该第二矩形投影面、该第三矩形投影面、该第四矩形投影面、该第五矩形投影面和该多个部分矩形投影面(例如，四个部分矩形投影面)构成的周围区域包围；视频编码器用于编码该基于投影的帧以产生比特流的一部分。在阅读以下各个附图中所示的优选实施例的详细描述之后，本专利技术的这些和其他目的无疑对于本领域的技术人员而言变得显而易见。附图说明图1是是根据本专利技术一实施例的360度虚拟现实(360-degreeVirtualReality，360VR)系统的示意图。图2是从球形视野的立方体投影获得的立方体投影布局的六个正方形投影面的示意图。图3是根据本专利技术一实施例的第一建议的基于视角的立方体投影布局的示意图。图4是通过均匀映射缩小正方形投影面的示例的示意图。图5是根据本专利技术一实施例的均匀映射函数的曲线的示意图。图6是通过非均匀映射来缩小正方形投影面的示例的示意图。图7是根据本专利技术一实施例的非均匀映射函数的曲线的示意图。图8是根据本专利技术一实施例的第二建议的基于视角的立方体投影布局的示意图。具体实施方式在接下来的描述和权利要求中贯穿使用了某些涉及特定的组件的术语。如本领域的技术人员将认识到的，电子设备制造商可以通过不同的名称来指代组件。本文不打算区分名称不同但功能相同的组件。在接下来的描述和权利要求申请专利范围中，术语“包括(include)”和“包含(comprise)”以开放式方式使用，因此其应解释为意指“包括但不限于...”。此外，术语“耦接”用于表示间接或直接的电连接。因此，如果一个设备耦于接另一个设备，则该连接可以通过直接电连接，或者通过经由其他设备和连接的间接电连接。图1是示出根据本专利技术一实施例的360度虚拟现实(360-degreeVirtualReality，360VR)系统的示意图。360VR系统100包括两个视频处理装置(例如，源电子设备102和目标电子设备104)。源电子设备102包括视频捕捉设备112，转换电路114和视频编码器116。例如，视频捕捉设备112可以是用于提供对应于球形视野(viewingsphere)的全向图像/视频内容(例如，覆盖整个周围环境的多个图像)S_IN的一组相机。转换电路114耦接在视频捕捉设备112与视频编码器116之间。转换电路114根据全向图像/视频内容S_IN生成具有360度虚拟现实(360-degreeVirtualReality，360VR)投影布局的基于投影的帧IMG。例如，基于投影的帧IMG可以是包括在由转换电路114生成的基于投影的帧序列中的一个帧。视频编码器116是编码电路，用于编码/压缩基于投影的帧IMG以生成比特流BS的一部分，并且经由传输装置103将比特流BS输出到目标电子设备104。例如，基于投影的帧的序列可以被编码到比特流BS中，并且传输装置103可以是有线/无线通讯链路或存储介质。目标电子设备104可以是头戴式显示器(head-mounteddisplay，HMD)设备。如图1所示，目标电子设备104包括视频解码器122，图像渲染电路124和显示屏幕126。视频解码器122是解码电路，用于接收来自传输装置103(例如，有线/无线通信链路或存储介质)的比特流BS，并解码接收到的比特流BS以生成解码帧IMG'。例如，视频解码器122通过对接收到的比特流BS进行解码来生成解码帧序列，其中解码帧IMG'是包含在解码帧序列中的一个帧。在该实施例中，将被视频编码器116编码的基于投影的帧IMG，其具有投影布局的360VR投影格式。因此，在比特流BS被视频解码器122解码之后，解码帧IMG'具有相同的360VR投影格式和相同的投影布局。图像渲染电路124耦接在视频解码器122和显示屏幕126之间。图像渲染电路124根据解码帧IMG'在显示屏幕126上渲染和显示输出图像数据。例如，与解码帧IMG'携带的360度图像/视频的一部分内容相关的视角区域可经由图像渲染电路124显示在显示屏幕126上。本专利技术提出了一种创新的基于视角的立方体投影布局设计，其具有紧凑的形式和/或可以将使用者的视角的图像/视频内容保存在主本文档来自技高网...

【技术保护点】
1.一种视频处理方法，其特征在于，包括：接收对应于球形视野的全向图像/视频内容；根据该全向图像/视频内容和基于视角的立方体投影布局生成基于投影的帧，其中该基于投影的帧具有由打包在该基于视角的立方体投影布局中的多个矩形投影面表示的360度图像/视频内容，并且该多个矩形投影面包括第一矩形投影面、第二矩形投影面、第三矩形投影面、第四矩形投影面、第五矩形投影面和第六矩形投影面，该第六矩形投影面被划分成多个部分矩形投影面，并且该第一矩形投影面对应于用户的视角并且被该第二矩形投影面、该第三矩形投影面、该第四矩形投影面、该第五矩形投影面和该多个部分矩形投影面组成的周围区域包围；以及由视频编码器编码该基于投影的帧以生成比特流的一部分。

【技术特征摘要】
【国外来华专利技术】2016.12.14 US 62/433,858;2017.01.13 US 62/445,8091.一种视频处理方法，其特征在于，包括：接收对应于球形视野的全向图像/视频内容；根据该全向图像/视频内容和基于视角的立方体投影布局生成基于投影的帧，其中该基于投影的帧具有由打包在该基于视角的立方体投影布局中的多个矩形投影面表示的360度图像/视频内容，并且该多个矩形投影面包括第一矩形投影面、第二矩形投影面、第三矩形投影面、第四矩形投影面、第五矩形投影面和第六矩形投影面，该第六矩形投影面被划分成多个部分矩形投影面，并且该第一矩形投影面对应于用户的视角并且被该第二矩形投影面、该第三矩形投影面、该第四矩形投影面、该第五矩形投影面和该多个部分矩形投影面组成的周围区域包围；以及由视频编码器编码该基于投影的帧以生成比特流的一部分。2.如权利要求1所述的视频处理方法，其特征在于，该第一矩形投影面的第一边与该第二矩形投影面的第一边相连；该第一矩形投影面的第二边与该第三矩形投影面的第一边连接；该第一矩形投影面的第三边与该第四矩形投影面的第一边连接；该第一矩形投影面的第四边与该第五矩形投影面的第一边连接；该多个部分矩形投影面包括第一部分矩形投影面、第二部分矩形投影面、第三部分矩形投影面和第四部分矩形投影面；该第一部分矩形投影面具有与该第二矩形投影面的第二边连接的第一边和与该第三矩形投影面的第二边连接的第二边；该第三部分矩形投影面具有与该第三矩形投影面的第三边连接的第一边和与该第四矩形投影面的第二边连接的第二边；该第四部分矩形投影面具有与该第四矩形投影面的第三边连接的第一边和与该第五矩形投影面的第二边连接的第二边；以及该第二部分矩形投影面具有与该第二矩形投影面的第三边连接的第一边和与该第五矩形投影面的第三边连接的第二边。3.如权利要求2所述的视频处理方法，其特征在于，在该第一矩形投影面的该第一边与该第二矩形投影面的该第一边之间存在图像连续性边界，在该第一矩形投影面的该第二边与该第三矩形投影面的该第一边之间存在图像连续性边界，在该第一矩形投影面的该第三边与该第四矩形投影面的该第一边之间存在图像连续性边界，以及在该第一矩形投影面的该第四边与该第五矩形投影面的该第一边之间存在图像连续性边界。4.如权利要求2所述的视频处理方法，其特征在于，在该第一部分矩形投影面的该第一边与该第二矩形投影面的该第二边之间存在图像不连续性边界，在该第一部分矩形投影面的该第二边与该第三矩形投影面的该第二边之间存在图像不连续性边界，在该第三部分矩形投影面的该第一边与该第三矩形投影面的该第三边之间存在图像不连续性边界，在该第三部分矩形投影面的该第二边与该第四矩形投影面的该第二边之间存在图像不连续性边界，在该第四部分矩形投影面的该第一边与该第四矩形投影面的该第三边之间存在图像不连续性边界，在该第四部分矩形投影面的该第二边与该第五矩形投影面的该第二边之间存在图像不连续性边界，在该第二部分矩形投影面的该第一边与该第二矩形投影面的该第三边之间存在图像不连续性边界，以及在该第二部分矩形投影面的该第二边与该第五矩形投影面的该第三边之间存在图像不连续性边界。5.如权利要求1所述的视频处理方法，其特征在于，根据该全向图像/视频内容和基于视角的立方体投影布局生成该基于投影的帧的步骤包括：通过球形视野的立方体映射投影将球形视野的该全向图像/视频内容映射到多个正方形投影面上；以及分别从该多个正方形投影面推导出该第一矩形投影面、该第二矩形投影面、该第三矩形投影面、该第四矩形投影面、该第五矩形投影面和该第六矩形投影面，其中该第二矩形投影面矩形投影面、该第三矩形投影面、该第四矩形投影面、该第五矩形投影面和该第六矩形投影面是通过缩小对应的正方形投影面而推导出的。6.权利要求5所述的视频处理方法，其特征在于，该多个正方形投影面推导出该第一矩形投影面、该第二矩形投影面、该第三矩形投影面、该第四矩形投影面、该第五矩形投影面以及该第六矩形投影面的步骤，包括：直接使用第一正方形投影面作为该第一矩形投影面；通过将第二正方形投影面在其高度方向上以第一缩小比例因子缩小来推导出该第二矩形投影面；通过将第三正方形投影面在其宽度方向上以第一缩小比例因子缩小来推导出该第三矩形投影面；通过将第四正方形投影面在其高度方向上以第一缩小比例因子缩小来推导出该第四矩形投影面；通过将第五正方形投影面在其宽度方向上以第一缩小比例因子缩小来推导出该第五矩形投影面；以及通过将第六正方形投影面在其高度方向上以第二缩小因子缩小并将该第六正方形投影面在其宽度方向上以第二缩小因子缩小来推导出该第六矩形投影面，其中，该第一缩小因子是该第二缩小因子的两倍。7.如权利要求5所述的视频处理方法，其特征在于，该多个正方形投影面推导出该第一矩形投影面、该第二矩形投影面、该第三矩形投影面、该第四矩形投影面、该第五矩形投影面以及该第六矩形投影面的步骤，包括：通过将第一正方形投影面在其高度方向上以第一缩小因子缩小并且将该第一正方形投影面在其宽度方向上以第一缩小因子缩小来推导出该第一矩形投影面；通过将第二正方形投影面在其高度方向上以第二缩小因子缩小并且将该第二正方形投影面在其宽度方向上以第一缩小因子缩小来推导出该第二矩形投影面；通过将第三正方形投影面在其高度方向上以第一缩小因子缩小并且将该第三正方形投影面在其宽度方向上以第二缩小因子缩小来推导出该第三矩形投影面；通过将第四正方形投影面在其高度方向上以第二缩小因子缩小并且将该第四正方形投影面在其宽度方向上以第一缩小因子缩小来推导出该第四矩形投影面；通过将第五正方形投影面在其高度方向上以第一缩小因子缩小并且将该第五正方形投影面在其宽度方向上以第二缩小因子缩小来推导出该第五矩形投影面；以及通过利将第六正方形投影面在其高度方向上以第三缩小因子缩小并且将该第六正方形投影面在其宽度方向上以第三缩小因子缩小来推导出该第六矩形投影面，其中，该第二缩小因子是该第三个缩小因子的两倍。8.如权利要求5所述的视频处理方法，其特征在于，该基于视角的立方体投影布局的形状是正方形；该第一矩形投影面的形状是正方形；该第二矩形投影面、该第三矩形投影面、该第四矩形投影面和该第五矩形投影面中的每一个的形状都不是正方形；并且该多个部分矩形投影面的形状，每个是正方形。9.如权利要求5所述的视频处理方法，其特征在于，该缩小对应的正方形投影面的步骤包括：通过非均匀映射对该对应的正方形投影面进行重新采样，其中该对应的正方形投影面具有第一源区域和第二源区域，该第二矩形投影面、该第三矩形投影面、该第四矩形投影、该第五矩形投影面和该第六矩形投影面中的每一个具有第一比例缩小区域和第二比例缩小区域，该第一比例缩小区域是通过以第一采样密度对该第一源区域进行重新采样而推导出的，并且该第...

【专利技术属性】
技术研发人员：林鸿志，李佳盈，施乐，李亚璇，林建良，张胜凯，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71