一种编解码方法及装置制造方法及图纸

本发明专利技术公开一种编解码方法及装置，该方法及装置对360度虚拟现实图像序列进行编解码。根据一个方法，接收与所述360度虚拟图像序列中的当前图像相关的输入数据，也接收与所述当前图像相关的目标参考图像。然后，通过延伸来自于与所述目标参考图像相关的一个或者多个边界的多个球面相邻像素的多个像素，生成替代参考图像。提供包含所述替代参考图像的参考图像列表对所述当前图像进行编码或者解码。本发明专利技术在将运动估计应用到已投影的2D平面时，提高参考数据的可用性，进而改善与已投影的2D平面相关的编解码性能。

【技术实现步骤摘要】
一种编解码方法及装置交叉引用本申请主张在2016年10月17日提出申请的美国临时专利申请第62/408,870号的优先权。该美国临时专利申请以引用方式整体并入本文中。
本专利技术涉及视频编解码。具体而言，本专利技术涉及用于3D视频的视频压缩的生成和管理参考图像的技术。
技术介绍
360度视频，也称为沉浸式视频，是一种新兴技术，其可以提供“身临其境的感觉”。通过用覆盖全景的环绕式场景来环绕用户，以实现沉浸式感觉，特别是360度的视野。通过立体渲染进一步改善“身临其境的感觉”。因此，全景视频广泛应用于虚拟现实(VirtualReality，VR)应用中。但是，3D视频需要非常大的带宽来进行传输，以及很多存储空间来进行存储。因此，通常以压缩格式来传输并存储3D视频。下面将介绍与视频压缩以及3D格式相关的各种技术。HEVC标准中的运动补偿高效视频编码(HighEfficiencyVideoCoding，HEVC)标准，是高级视频编码(AdvancedVideoCoding，AVC)标准的继任，于2013年1月完成。自此之后，不断有在HEVC基础上的新的视频编码技术的发展。下一代视频编码技术目标在于提供有效解决方案，以用于以各种格式压缩视频内容，例如YUV444、RGB444、YUV422和YUV420。这些方案特别用于高分辨率视频，例如，超高清(ultra-highdefinition，UHD)或者8KTV。现今通常使用摄像机运动来捕获视频内容，例如，平移、变焦和倾斜。另外，并不是视频内的所有运动物体符合平移运动假设(translationalmotionassumption)。据观察，通过有效利用合适的运动模型有时可以提高编码效率，例如，用于压缩某些视频内容的仿射运动补偿(affinemotioncompensation)。在HEVC中，帧间运动补偿可以以两种不同的方式来进行使用：显性式发信或者隐性式发信。在显性式发信中，通过使用预测编码方法来发信给块(例如预测单元(predictionunit))的运动矢量(motionvector，MV)。可以从当前块的空间或者时间相邻块中推导出运动矢量预测子。在预测之后，对运动矢量差(motionvectordifference，MVD)进行编码并传输。该模式也称为高级运动矢量预测(advancedmotionvectorprediction，AMVP)模式。在隐性式发信中，从预测子集(predictorset)中选择一个预测子作为当前块(例如，预测单元)的运动矢量。换言之，在隐性式发信中，无需传输MVD或者MV。该模式也称为合并模式(Mergemode)。合并模式中的预测子集的形式也称为合并候选列表构造(Mergecandidatelistconstruction)。称为合并索引(Mergeindex)的索引被发信，以表示用于表示该当前块的MV的所选择的预测子。通过所提供的一些之前已解码的参考图像，使用当前图像与这些来自于参考图像的图像之间的关系及其运动场，用于预测当前图像内的样本的预测信号可以用运动补偿的插值生成。在HEVC中，多个参考图像用于预测当前切片(slice)内的块(block)。对于每个切片，建立一个或者两个参考图像列表。每个列表包括一个或者多个参考图像。从已解码的图像缓存器(decodedpicturebuffer，DPB)中选择参考图像列表中的参考图像，该已解码的图像缓存器用于存储之前已解码的图像。在开始解码每个片时，执行参考图像列表构造，以在参考图像列表中包含DPB内的已存在的图像。在可伸缩编码或者屏幕内容编码的情况下，除了时间参考图像，存储一些额外的参考图像列表，以用于预测当前切片。例如，将当前已解码的图像本身与其他时间参考图像一起存储在DPB内。对于使用这个参考图像(即该当前图像本身)的预测，分配特定的参考索引，以发信当前图像用作参考图像。或者，在可伸缩视频编码的情况下，当选择特殊的参考索引时，已知上采样(up-sampled)的基层(baselayer)信号用作增强层(enhancedlayer)中当前样本的预测。在这种情况下，不将这些上采样的信号存储在DPB中。相反地，当需要时才生成这些上采样的信号。对于给定的编码单元，编码块可以被分割成一个或者多个预测单元。在HEVC中，支持不同的预测单元分割模式，即2Nx2N、2NxN、Nx2N、NxN、2NxnU、2NxnD、nLx2N和nRx2N。用于帧间模式和帧内模式的下表中列出了分割模式的二值化过程。表1HEVC中DPB管理和屏幕内容编码扩展在HEVC中，在当前图像的解码之后，可以在逐块的基础上来实现，或者在逐图像的基础上来实现环形滤波操作，其包括去块(deblocking)滤波器和样本适应偏移(sampleadaptiveoffset，SAO)滤波器。将当前已解码的图像的滤波版本以及一些之前已解码的图像存储在DPB内。当解码当前图像时，仅限仍然保留在DPB中的之前已解码的图像，才可以用作当前图像的运动补偿的参考图像。一些非参考图像可以保持在DPB中，是因为其在显示顺序中位于当前图像之后。这些图像等待输出，直到显示顺序中的所有之前的图像已经被输出完。一旦某个图像变得不再用作参考图像或者不再等待输出，其会从DPB中被移除。随后相应的图像缓存器被清空且对后来图像开放存储。当解码器开始解码图像时，需要DPB中有可用的空的缓存器，以存储这个当前图像。一旦该当前图像解码完成时，将该当前图像标记为“用于短期参考(short-termreference)”，并存储在DPB中作为将来使用的参考图像。在任何情况下，DPB中包含正在解码的当前图像的图像数量一定不能超过所表明的最大DPB大小容量。为了保持不同的HEVC实施方式中的设计灵活度，用于帧内块复制(Intrablockcopy，IBC)模式的重构已解码的图像内所使用的像素是位于环形滤波操作之前的重构像素。作为用于IBC模式的参考图像的当前重构图像称为“未滤波版本(unfilteredversion)的当前图像”，位于环形滤波操作之后的一个称为“滤波版本(filteredversion)的当前图像”。同样，视实施方式而定，当前图像的两个版本可以同时存在。由于未滤波版本的当前图像也可以用作HEVC屏幕内容编码扩展(ScreenContentCodingextensions，SCC)中的参考图像，也将该未滤波版本的当前图像存储并管理在DPB内。这个技术称为帧内图像块运动补偿(Intra-pictureblockmotioncompensation)，或者简称IBC。因此，当在图像层处使能IBC模式时，除了为存储该滤波版本的当前图像而创建的图像缓存器之外，在解码当前图像之前，DPB内的另一个图像存储缓存器需要被清空，并且对于该参考图像而言是可用的。该当前图像标记为“用于长期参考(long-termreference)图像”。一旦包括环形滤波操作的该当前图像解码完成，将从DPB中移除该参考图像。可注意到，仅当用于当前图像的去块滤波操作或者SAO滤波操作启用时，这个额外的参考图像才是必需的。在当前图像内不使用环形滤波器时，仅存在当前图像的一个版本(即未滤波版本文档来自技高网...

【技术保护点】
一种编解码方法，其特征在于，对360度虚拟现实图像序列进行编解码，所述编解码方法包括：接收与所述360度虚拟图像序列中的当前图像相关的输入数据；接收与所述当前图像相关的目标参考图像；通过延伸来自于与所述目标参考图像相关的一个或者多个边界的多个球面相邻像素的多个像素，生成替代参考图像；以及提供包含所述替代参考图像的参考图像列表对所述当前图像进行编码或者解码。

【技术特征摘要】
2016.10.17 US 62/408,870;2017.10.12 US 15/730,8421.一种编解码方法，其特征在于，对360度虚拟现实图像序列进行编解码，所述编解码方法包括：接收与所述360度虚拟图像序列中的当前图像相关的输入数据；接收与所述当前图像相关的目标参考图像；通过延伸来自于与所述目标参考图像相关的一个或者多个边界的多个球面相邻像素的多个像素，生成替代参考图像；以及提供包含所述替代参考图像的参考图像列表对所述当前图像进行编码或者解码。2.如权利要求1中的编解码方法，其特征在于，所述延伸所述多个像素包括直接复制一个像素区域，用一个旋转的像素区域填充所述多个像素，用一个镜像像素区域填充多个像素中的一个或者组合。3.如权利要求1中的编解码方法，其特征在于，所述当前图像是在立方体投影格式中；以及所述替代参考图像是通过展开围绕所述当前图像的当前面的四个边缘的多个相邻面而产生的。4.如权利要求1中的编解码方法，其特征在于，所述当前图像是在立方体投影格式中；以及所述替代参考图像是通过使用各自的多个相邻面来生成没有空白区域的一个正方形参考图像而延伸位于所述当前图像的当前面的四个边缘外部的多个像素，并且通过将所述一个正方形参考图像包含在所述替代参考图像的窗口内部而产生的。5.如权利要求1中的编解码方法，其特征在于，所述当前图像是在立方体投影格式中；以及所述替代参考图像是通过使用各自的多个相邻面来生成一个正方形参考图像以填充所述替代参考图像的窗口而延伸位于所述当前图像的当前面的四个边缘外部的多个像素而产生的。6.如权利要求1中的编解码方法，其特征在于，所述当前图像是在立方体投影格式中；以及所述替代参考图像是通过将球面上的延伸区域投影到对应于当前面的投影平面而产生的，其中所述球面上的所述延伸区域包围被投影到所述当前面的所述球面上的对应区域。7.如权利要求1中的编解码方法，其特征在于，所述当前图像是在等角投影格式中；以及所述替代参考图像是通过水平移动所述目标参考图像180度而产生的。8.如权利要求1中的编解码方法，其特征在于，所述当前图像是在等角投影格式中；以及所述替代参考图像是通过填充位于所述目标参考图像的一个垂直边界外部的多个第一像素而产生的，所述多个第一像素来自于位于所述目标参考图像的另一个垂直边界内部的多个第二像素。9.如权利要求1中的编解码方法，其特征在于，所述替代参考图像是通过使用修改后的偏移量地址访问所述目标参考图像，且基于存储在已解码图像缓存器内的所述目标参考图像而虚拟实现的。10.如权利要求1中的编解码...

【专利技术属性】
技术研发人员：许晓中，刘杉，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71