使用虚拟参考帧的用于虚拟现实视频的帧间编码方法及装置制造方法及图纸

本发明专利技术提供一种视频编码或解码方法及装置，用于应用于360°虚拟现实序列的视频编码或解码系统。根据本发明专利技术，导出表示所述360°虚拟现实序列的一个或多个多面序列。如果选择帧间预测用于当前面中的当前块，通过分配一个目标参考面到一个虚拟参考帧的中心以及在所述目标参考面的多个边界将所述目标参考面的多个相邻面连接到所述目标参考面，来为所述一个或多个多面序列的每个面导出所述虚拟参考帧。然后，使用为所述当前面导出的当前虚拟参考帧对所述当前面中的所述当前块进行编码或解码，以导出所述当前块的帧间预测子。

Interframe Coding Method and Device for Virtual Reality Video Using Virtual Reference Frame

The invention provides a video encoding or decoding method and device for a video encoding or decoding system applied to a 360 degree virtual reality sequence. According to the present invention, one or more polyhedral sequences representing the 360 degree virtual reality sequence are derived. If an interframe prediction is selected for the current block in the current face, the virtual reference frame is derived for each aspect of the one or more polyhedral sequences by assigning a target reference plane to the center of a virtual reference frame and connecting multiple adjacent planes of the target reference plane to the target reference plane by assigning multiple boundaries of the target reference plane. Then, the current block in the current face is coded or decoded using the current virtual reference frame derived for the current face to derive the interframe predictor of the current block.

【技术实现步骤摘要】
【国外来华专利技术】使用虚拟参考帧的用于虚拟现实视频的帧间编码方法及装置交叉引用本专利技术要求于2016年6月27日递交且号码为62/354,856的美国临时专利申请以及提交于2017年6月22日且号码为15/629,855的美国技术申请的优先权，其整体在此通过引用纳入其中。
本专利技术涉及图像与视频编解码(coding)，特别地，本专利技术涉及用于多面体映射的(polyhedralmapped)360°虚拟现实(VirtualReality,VR)视频的帧间编码(Intercoding)参考的生成与使用。
技术介绍
360°视频，也称为沉浸式视频(immersivevideo)，是一种新兴技术，该技术可以提供「身临其境之感受」。沉浸式感觉是通过围绕用户的环绕式场景(wrap-aroundscene)来实现，其中环绕式场景覆盖一全景视图(panoramicview)，特别是360°视场(fieldofview)。「身临其境之感受」可以使用立体渲染(stereographicrendering)来进一步改善。相应地，全景视频(panoramicvideo)广泛用于多种虚拟现实(VirtualReality,VR)应用之中。沉浸式视频包括使用多个相机(cameras)来捕获场景以覆盖全景视图，如360°视场。沉浸式相机通常使用用于捕获360°视场的一组相机。典型地，沉浸式相机使用两个或多个相机。所有视频必须同时被拍摄，并记录场景的多个分离片段(fragments)(也称为分离视点(perspectives))。此外，经常安排一组相机来水平地抓取多个视角(views)，对这些相机的其它安排也是可以的。360°全景相机抓取周边的多个场景，且拼接的球面图像(stitchedsphericalimage)是表示VR视频的一种方式，该球面图像在水平方向上连续。换言之，在左端的球面图像内容延续至右端。该球面图像也可以投影转换到立方体的六个面，作为可替代的360°格式。转换可以通过投影转换来执行，来导出表示立方体六个面的六个面图像。在立方体的多个面上，这六个图像在立方体的多个边界(boundaries)处进行连接。在图1中，图像100对应于展开的立方体图像，其空白区域使用虚拟数据(dummydata)来填充。展开的立方体帧(frame)也称为立方体展开网格(cubicnet)，其具有多个空白区域。如图1所示，具有多个空白区域的多个展开立方体面图像可纳入可覆盖(cover)六个展开的立体面图像的最小矩形。如图1所示，因为这六个立体面对应于立方体六个表面上的六个图像，这六个立体面以某一方式互相连接。因此，该立方体上每个边界由两个立体面所共享。换言之，在x、y和z方向上的每四个面在其各自方向上是环状连续的(continuouscircularly)。具有空白区域的立方体面组合帧(如，图1中的图像100)的多个环状边界(circularedges)如图2的图像200所示。对与多个立方体面边界有关的多个立方体边界进行了标记。具有相同边界号码的立方体面边界指示两个立方体面边界相连，并共享相同的立方体边界。例如，边界#2位于面2(face2)的上方，面4的右侧。因此，面2的上方连接到面4的右侧。相应地，当面2逆时针旋转90°时，面2之上方的内容将连续地进入面4的右侧。虽然图1与图2显示了用于360°VR视频的立方体面表示的展开立方体网格与立方体边界连接性(cubicboundaryconnectivity)的示例，同样也存在360°VR视频的其它多面表示。该多个面表示可以被分割为多个面或者多面帧(multi-faceframe)。与一个面有关的每个序列可以分别进行编码。可替代地，该帧序列可以编码为视频序列，其中，每个帧对应于一个展开的多面帧或来自多个面的一个组合帧(assembledframe)。在本专利技术中，公开了多个帧间编码参考的生成与使用。
技术实现思路
本专利技术提供一种视频编码或解码方法及装置，用于应用于360°虚拟现实序列视频编码或解码系统。根据本专利技术多个实施例，导出表示所述360°虚拟现实序列的一个或多个多面序列。如果选择帧间预测用于所述一个或多个多面序列中的当前面的当前块，通过分配一个目标参考面到一个虚拟参考帧的中心以及在所述目标参考面的多个边界将所述目标参考面的多个相邻面连接到所述目标参考面，来为所述一个或多个多面序列的每个面导出所述虚拟参考帧。然后，使用为所述当前面导出的当前虚拟参考帧对所述当前面中的所述当前块进行编码或解码，以导出所述当前块的帧间预测子。所述一个或多个多面序列对应于N个单独的面序列并且每个面序列单独地进行编码或解码，以及其中N是一个整数，对应于表示所述360°虚拟现实序列的多面体中面的总数目。所述一个或多个多面序列对应于一个帧序列，以及其中每个帧包括具有相同时间索引的多面体的所有面。本专利技术公开了虚拟参考帧的多种方法。在一个实施例中，公开了固定视口的虚拟参考帧，其中为所述当前面分配给所述虚拟参考帧的中心的所述目标参考面对应于与所述当前面具有相同面号码而没有任何旋转的一个参考面。在另一实施例中，公开了改变视口的虚拟参考帧，其中为所述当前面分配给所述虚拟参考帧的中心的所述目标参考面对应于具有与所述当前面不同面号码的一个参考面。此外，具有与所述当前面不同的面号码的所述参考面旋转一个角度。在编码器侧发信或在解码器侧解析与所述参考面有关的面识别信息、与旋转角度有关的角度信息或者其两者。在生成虚拟参考帧的又一实施例中，公开了任意视口的虚拟参考帧。其中，为所述当前面分配给所述目标参考帧的中心的所述目标参考面对应于参考面，所述参考面是通过将一个原始目标参考面从原始视口在相关联的等距柱状投影图的三个正交轴的一个或多个轴上进行旋转而导出。任意视埠进程的详细示例如下：中将位于原始虚拟参考帧中心的所述原始目标参考面转换成所述相关联的等距柱状投影图中的对应的参考面图像；然后，将所述对应的参考图像通过从所述原始视口在所述有关联的等距柱状投影图的所述三个正交轴的所述一个或多个轴上进行旋转来变成具有新视口的新的对应参考面图像；然后，将所述相关联的等距柱状投影图中的所述新的对应参考面图像转换成多面帧中的新的目标参考面；以及将所述新的目标参考面用作为所述目标参考面在编码器侧在视频比特流中发信或在解码器侧从所述视频比特流中解析旋转信息。也可以在编码器侧从所述当前块的一个或多个运动向量或一个或多个先前编码的时间或空间相邻块导出旋转信息。所述虚拟参考帧的构建进程可以进一步包括：如果在分配所述目标参考面到所述虚拟参考帧的中心以及在所述目标参考面的多个边界将所述目标参考面的多个相邻面连接到所述目标参考面后，所述虚拟参考帧包含任何空白区域，进一步包括填充一个或多个空白区域。例如，如果一个目标空白区域在一个面边界外部以及现有的相邻面能够无歧义的被放入所述空白区域，使用所述现有的相邻面填充所述所述目标空白区域。在另一情形中，如果目标空白区域不具有对应的相邻面，使用从其他面导出的填充数据对所述目标空白区域进行填充。如果所述当前面是非矩形的，使用包围所述当前面的最小矩形对所述当前面进行编码或解码，以及所述最小矩形被调整为可分割为整数个用于编码或解码的处理块。如果目标处理块不包本文档来自技高网...

【技术保护点】
1.一种视频编码或解码方法，所述方法用于应用于360°虚拟现实序列的视频编码或解码系统，其特征在于，所述方法包括：接收与所述360°虚拟现实序列有关的输入数据；导出表示所述360°虚拟现实序列的一个或多个多面序列；如果选择帧间预测用于所述一个或多个多面序列的当前面的当前块：通过分配一个目标参考面到一个虚拟参考帧的中心以及在所述目标参考面的多个边界将所述目标参考面的多个相邻面连接到所述目标参考面，来为所述一个或多个多面序列的每个面导出所述虚拟参考帧；以及使用为所述当前面导出的当前虚拟参考帧对所述当前面中的所述当前块进行编码或解码，以导出所述当前块的帧间预测子。

【技术特征摘要】
【国外来华专利技术】2016.06.27 US 62/354,856;2017.06.22 US 15/629,8551.一种视频编码或解码方法，所述方法用于应用于360°虚拟现实序列的视频编码或解码系统，其特征在于，所述方法包括：接收与所述360°虚拟现实序列有关的输入数据；导出表示所述360°虚拟现实序列的一个或多个多面序列；如果选择帧间预测用于所述一个或多个多面序列的当前面的当前块：通过分配一个目标参考面到一个虚拟参考帧的中心以及在所述目标参考面的多个边界将所述目标参考面的多个相邻面连接到所述目标参考面，来为所述一个或多个多面序列的每个面导出所述虚拟参考帧；以及使用为所述当前面导出的当前虚拟参考帧对所述当前面中的所述当前块进行编码或解码，以导出所述当前块的帧间预测子。2.如权利要求1所述的视频编码或解码方法，其特征在于，其中所述一个或多个多面序列对应于N个单独的面序列并且每个面序列单独地进行编码或解码，以及其中N是一个整数，对应于表示所述360°虚拟现实序列的多面体中面的总数目。3.如权利要求1所述的视频编码或解码方法，其特征在于，其中所述一个或多个多面序列对应于一个帧序列，以及其中每个帧包括具有相同时间索引的多面体的所有面。4.如权利要求1所述的视频编码或解码方法，其特征在于，其特征在于，为所述当前面分配给所述虚拟参考帧的中心的所述目标参考面对应于与所述当前面具有相同面号码而没有任何旋转的一个参考面。5.如权利要求1所述的视频编码或解码方法，其特征在于，其中为所述当前面分配给所述虚拟参考帧的中心的所述目标参考面对应于具有与所述当前面不同面号码的一个参考面。6.如权利要求5所述的视频编码或解码方法，其特征在于，其中具有与所述当前面不同的面号码的所述参考面旋转一个角度。7.如权利要求6所述的视频编码或解码方法，其特征在于，其中在编码器侧发信或在解码器侧解析与所述参考面有关的面识别信息、与旋转角度有关的角度信息或者其两者。8.如权利要求1所述的视频编码或解码方法，其特征在于，其中为所述当前面分配给所述虚拟参考帧中心的所述目标参考面对应于一个任意视口参考面，所述任意视口参考面通过将一个原始目标参考面从原始视口在相关联的等距柱状投影图的三个正交轴中的一个或多个轴上进行旋转而导出。9.如权利要求8所述的视频编码或解码方法，其特征在于，其中将位于原始虚拟参考帧中心的所述原始目标参考面转换成所述相关联的等距柱状投影图中的对应的参考面图像；将所述对应的参考图像通过从所述原始视口在所述有关联的等距柱状投影图的所述三个正交轴的所述一个或多个轴上进行旋转来变成具有新视口的新的对应参考面图像；将所述相关联的等距柱状投影图中的所述新的对应参考面图像转换成多面帧中的新的目标参考面；以及将所述新的目标参考面用作为所述目标参考面。10.如权利要求8所述的视频编码或解码方...

【专利技术属性】
技术研发人员：黄昭智，林鸿志，林建良，李佳盈，张胜凯，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71