用于视频编解码中的虚拟边界的环路内滤波的方法和装置制造方法及图纸

公开了对视频序列进行编解码的方法和装置，其中，来自视频序列的图片包括一个或更多个不连续边缘。然后，将与环路滤波器相关联的环路滤波处理应用于当前重构像素，以生成经滤波的重构像素，其中，如果环路滤波处理跨当前图片的虚拟边界，则使用一个或更多个替代参考像素来替换位于虚拟边界的与当前重构像素不同的一侧中的非预期参考像素，并且所述一个或更多个替代参考像素是根据虚拟边界的与当前重构像素相同的一侧中的第二重构像素生成的。根据另一方法，根据球面邻近参考像素获得参考像素，以进行环路滤波处理。

【技术实现步骤摘要】
【国外来华专利技术】用于视频编解码中的虚拟边界的环路内滤波的方法和装置
本专利技术涉及用于包含一个或更多个虚拟边界的图片(诸如360度虚拟现实(VR360)图片)的图片处理。特别地，本专利技术涉及用于包含一个或更多个虚拟边界的图片的不连续边缘或虚拟边界处的环路内滤波处理，诸如VR360视频编解码。
技术介绍
360度视频(也称为沉浸式视频)是一种新兴技术，其可以提供“身临其境的感觉”。通过利用对全景(特别是360度视野)进行覆盖的环绕场景围绕用户来实现沉浸感。可以通过立体渲染进一步改善“身临其境的感觉”。因此，全景视频被广泛用于虚拟现实(VR)应用中。可以使用360度球面全景相机或者被布置成绕360度对所有视野进行覆盖的多个图片来捕获360度虚拟现实(VR)图片。三维(3D)球面图片很难使用常规图片/视频处理设备进行处理或存储。因此，通常使用3D到2D投影方法(诸如等角矩形投影(EquiRectangularProjection)(ERP)和立方体贴图投影(CubeMapProjection)(CMP))将360度VR图片转换为二维(2D)格式。除了ERP和CMP投影格式外，还有许多其它VR投影格式，诸如已在该领域中广泛使用的八面体投影(OHP)、二十面体投影(ISP)、分段球面投影(SSP)和旋转球面投影(RSP)。与常规的2D视频序列相比，VR360视频序列通常需要更多的存储空间。因此，通常将视频压缩应用于VR360视频序列，以减少用于存储的存储空间或用于数据流/传输的比特率。高效视频编解码(HEVC)标准是在ITU-T视频编解码专家组(VCEG)和ISO/IEC运动图像专家组(MPEG)标准化组织的联合视频项目下开发的，尤其是与被称为视频编解码联合协作团队(JCT-VC)具有合作伙伴关系。可以使用HEVC对VR360视频序列进行编解码。然而，本专利技术也可以适用于其它编解码方法。在HEVC中，一个片(slice)被划分为多个编码树单元(CTU)。针对彩色图片，可以将彩色片划分为多个编解码树块(CTB)。CTU进一步被划分为多个编解码单元(CU)，以适应各种局部特征。HEVC支持多种帧内预测模式，并且针对帧内编解码CU，会发出信号通知选定的帧内预测模式。除了编解码单元的概念外，HEVC中还引入了预测单元(PU)的概念。一旦完成了CU分层树的分割，则根据预测类型和PU划分，将每个叶CU进一步分割为一个或更多个预测单元(PU)。预测后，与CU相关联的残差被划分为变换块(称为变换单元(TU))，以用于变换处理。虽然编解码处理可以有效地减少传输所需的带宽或存储所需的容量，但是编解码处理通常会产生被称为编解码伪影的编解码噪声。为了减轻编解码伪影，已经引入了诸如去块滤波器、SAO(样本自适应偏移)和ALF(自适应环路滤波器)之类的各种滤波技术。滤波处理通常应用于重构图片，处理后的重构图片能用作后续的参考图片。换句话说，滤波处理在编解码环路内部。因此，这种滤波处理也被称为环路内滤波。在HEVC中，在图片被重构后应用去块滤波器(de-blockingfilter)。对编解码单元、预测单元或变换单元之间的边界进行滤波以减轻由基于块的编解码引起的块伪影。边界可以是垂直边界或水平边界。图1A和图1B中分别示出了针对垂直边界(110)和水平边界(120)的去块滤波处理中涉及的边界像素。针对垂直边界(即，图1A中的线110)，将水平滤波器应用于每条水平线中的一些边界样本。例如，可以将水平去块滤波器应用于垂直边界的左侧上的p00、p01和p02以及垂直边界的右侧上的q00、q01和q02。类似地，针对水平边界(即，图1B中的线120)，将垂直滤波器应用于每条垂直线中的一些边界样本。例如，可以将垂直去块滤波器应用于水平边界的顶侧上的p00、p01和p02以及水平边界的底侧上的q00、q01和q02。换句话说，在垂直于边界的方向上应用去块滤波器。针对每个四样本长度边界计算边界强度值Bs，并且Bs可以取3个可能值。在去块处理中分别处理亮度分量和色度分量。针对亮度分量，只能对Bs值等于1或2的块边界进行滤波。在色度分量的情况下，只能对Bs值等于2的边界进行滤波。针对亮度分量，针对每个四样本长度边界检查附加条件，以确定是否应当应用去块滤波，并且如果应用去块滤波，则进一步确定应当应用正常滤波器还是强滤波器。针对正常滤波模式下的亮度分量，可以修改边界每一侧处的两个样本。在强滤波模式下，可以修改边界每一侧处的三个样本。针对色度分量，当边界强度大于1时，只能修改边界每一侧处的一个样本。开发了SAO处理以补偿由编解码处理引起的像素强度偏移。HEVC采用的SAO处理包含两种方法。一种方法是带偏移(BO)，并且另一种方法是边缘偏移(EO)。BO用于根据像素强度将像素分类为多个带，并且将偏移应用于一个或更多个带中的像素。EO用于根据当前像素与各邻近像素(neighbour)之间的关系将像素分类到类别中，并将偏移应用于每个类别中的像素。有4种EO模式(0°、90°、135°和45°)，以及不处理(OFF)。四种EO类型如图2所示。在对区域中的所有像素进行分类时，针对每个类别中的像素获得并发送一个偏移。SAO处理应用于亮度分量和色度分量，并且该分量中的每个分量被独立处理。针对除了EO的类别4(其中类别4被迫使用零偏移)之外的每个类别的所有像素，都获得一个偏移。下面的表1列出了EO像素分类，其中“C”表示要被分类的像素。如表1所示，与确定类别相关联的条件涉及根据EO类型将当前像素值与两个相应的邻近者值进行比较。可以根据比较结果(即“>”，“<”或“＝”)来确定类别。每个类别在当前像素与邻近像素之间的相对强度方面具有特殊含义。例如，类别0与“谷”相对应，其中，中心像素的强度低于两个邻近像素。类别3与“峰”相对应，其中，中心像素的强度高于两个邻近像素。类别1和类别2与具有向上斜坡(类别2)或向下斜坡(类别1)的平坦段相对应。表1类别条件0C<两个邻近者1C<一个邻近者&&C＝＝一个邻近者2C>一个邻近者&&C＝＝一个邻近者3C>两个邻近者4以上都不是自适应环路滤波器(ALF)是具有自我调整滤波器大小的滤波器，其被应用到重构像素。在HEVC标准发展期间对ALF进行了评估，但HEVC未采用ALF。然而，被称为VVC(多功能视频编解码)的新兴视频编解码标准正在考虑ALF。为了优化性能，ALF使用维纳滤波技术来获得滤波器系数。此外，针对不同的图片区域允许多个滤波器。例如，如图3所示，ALF可以是5×5滤波器或7×7滤波器，其中“C”指示正在被滤波的当前重构像素。根据传统方法，在不考虑重构的VR360图片内的可能的不连续边缘的情况下，将诸如去块、SAO和ALF之类的环路滤本文档来自技高网...

【技术保护点】
1.一种对视频序列进行编解码的方法，其中，来自所述视频序列的图片包括一个或更多个不连续边缘，所述方法包括以下步骤：/n接收当前图片中的重构的经滤波的单元，其中，所述重构的经滤波的单元与环路滤波器相关联，并且所述重构的经滤波的单元包括第一重构像素，用于将与所述环路滤波器相关联的环路滤波处理应用于当前重构像素；/n将与所述环路滤波器相关联的所述环路滤波处理应用于所述当前重构像素，以生成经滤波的重构像素，其中，如果所述环路滤波处理跨所述当前图片的虚拟边界，则使用一个或更多个替代参考像素来替换位于所述虚拟边界的与所述当前重构像素不同的一侧中的非预期参考像素，并且其中，所述一个或更多个替代参考像素是根据所述虚拟边界的与所述当前重构像素相同的一侧中的第二重构像素生成的；以及/n提供包括所述经滤波的重构像素的经处理的当前图片。/n

【技术特征摘要】
【国外来华专利技术】20180831 US 62/725,307;20190114 US 62/791,963;20191.一种对视频序列进行编解码的方法，其中，来自所述视频序列的图片包括一个或更多个不连续边缘，所述方法包括以下步骤：
接收当前图片中的重构的经滤波的单元，其中，所述重构的经滤波的单元与环路滤波器相关联，并且所述重构的经滤波的单元包括第一重构像素，用于将与所述环路滤波器相关联的环路滤波处理应用于当前重构像素；
将与所述环路滤波器相关联的所述环路滤波处理应用于所述当前重构像素，以生成经滤波的重构像素，其中，如果所述环路滤波处理跨所述当前图片的虚拟边界，则使用一个或更多个替代参考像素来替换位于所述虚拟边界的与所述当前重构像素不同的一侧中的非预期参考像素，并且其中，所述一个或更多个替代参考像素是根据所述虚拟边界的与所述当前重构像素相同的一侧中的第二重构像素生成的；以及
提供包括所述经滤波的重构像素的经处理的当前图片。


2.根据权利要求1所述的方法，其特征在于，所述视频序列与360度虚拟现实(VR360)视频相对应。


3.根据权利要求1所述的方法，其特征在于，所述环路滤波器属于包括以下项的组：去块滤波器、SAO(样本自适应偏移)滤波器以及ALF(自适应环路滤波器)。


4.根据权利要求1所述的方法，其特征在于，所述替代参考像素是通过对所述虚拟边界的与所述当前重构像素相同的一侧中的最近的第二重构像素进行扩展来生成的。


5.根据权利要求1所述的方法，其特征在于，所述替代参考像素是通过将位于所述虚拟边界的不同侧中的非预期参考像素的位置剪辑到位于所述虚拟边界的与所述重构的经滤波的单元相同的一侧中并且最靠近所述非预期参考像素的修改位置来生成的。


6.根据权利要求1所述的方法，其特征在于，所述替代参考像素是在将与所述环路滤波器相关联的所述环路滤波处理应用于所述当前重构像素时实时生成的。


7.根据权利要求1所述的方法，其特征在于，所述替代参考像素是在将与所述环路滤波器相关联的所述环路滤波处理应用于所述当前重构像素之前生成的。


8.根据权利要求7所述的方法，其特征在于，所生成的替代参考像素存储在一个或更多个额外的线缓冲区中。


9.根据权利要求8所述的方法，其特征在于，针对所述虚拟边界的每一侧的所述一个或更多个额外的线缓冲区的大小与等于或小于最大滤波器大小的一半的最大整数相对应。


10.根据权利要求9所述的方法，其特征在于，当所述环路滤波器与去块滤波器相对应时，对于所述当前图片的亮度分量，针对所述虚拟边界的每一侧的所述一个或更多个额外的线缓冲区的大小等于4。


11.根据权利要求9所述的方法，其特征在于，当所述环路滤波器与SAO(样本自适应偏移)滤波器相对应时，针对所述虚拟边界的每一侧的所述一个或更多个额外的线缓冲区的大小等于1。


12.根据权利要求9所述的方法，其特征在于，当所述环路滤波器与ALF(自我调整环路滤波器)相对应时，针对所述虚拟边界的每一侧的所述一个或更多个额外的线缓冲区的大小小于或等于5，以用...

【专利技术属性】
技术研发人员：林圣晏，刘琳，林建良，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾;71