用于参考图片处理的优化的滤波器的选择制造技术

参考处理可以用在视频编码器或解码器中，以得到与待编码或待解码的源图像更好地相关联的参考图片，这样做通常会产生较好的编码效率。讨论了针对适于用在视频编解码系统中的参考处理单元的用于滤波器选择的方法。具体地，讨论了基于通过将待编码的源图像与经处理的或未经处理的参考图片进行比较来执行运动估计并获得失真/代价信息的用于滤波器选择的方法。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术一般地涉及视频处理。更具体地，本专利技术的实施方式涉及优化的参考处理滤波器选择方法。
技术介绍
多层视频编解码提供了例如空间和时间分辨率、位深、色域以及质量上的可伸缩性。大量的多层视频编解码已经由视频编码委员会标准化。属标准化的多层视频编解码之列的是MPEG-4AVC/H.264标准的多视点视频编码扩展(MVC)和可伸缩视频编码扩展(SVC)。可以在 2010 年 3 月发表在 http: WWW, itu.1nt/rec/T-REC~H.264/e 的 “Advanced videocoding for generic audiovisual services”中找到介绍H.264标准的不例性参考，其全部内容通过引用合并到本文中。附图说明图1示出多层视频编解码系统的实现。图2示出利用参考处理的多层视频编解码系统的实现。图3示出帧兼容编解码系统的实现。图4示出帧兼容编码器的实现。图5示出滤波器选择方法的实施方式。图6示出涉及单遍(single pass)编码的滤波器选择方法的实施方式。图7示出利用来自时间参考的信息的滤波器选择方法的实施方式。图8示出利用来自基本层的运动信息的滤波器选择方法的实施方式。具体实施例方式根据本公开内容的第一方面，提供有一种用于从多个滤波器当中选择特定滤波器的方法，该特定滤波器适于在多层视频编码系统中的参考图片处理单元中使用，该多层视频编码系统包括基本层以及一个或更多个增强层，该方法包括:a)提供参考图片和增强层源图片；b)使用来自多个滤波器的至少一个滤波器来对参考图片的副本进行滤波以获得至少一个经滤波的参考图片，其中每个滤波器被应用于参考图片的相应副本；c)基于增强层源图片和至少一个经滤波的参考图片的全集或子集来执行差异估计；以及d)基于对在c)步骤中生成的差异信息进行比较来选择特定滤波器，其中差异信息是运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数。根据本公开内容的第二实施方式，提供有一种用于从多个滤波器当中选择特定滤波器的方法，该特定滤波器适于在多层视频编码系统中的参考图片处理单元中使用，该多层视频编码系统包括基本层以及一个或更多个增强层，该方法包括:a)提供参考图片和增强层源图片山)使用来自多个滤波器的至少一个滤波器来对参考图片的副本进行滤波以获得至少一个经滤波的参考图片，其中每个滤波器被应用于参考图片的相应副本；c)基于增强层源图片以及至少一个经滤波的参考图片的全集或子集来执行差异估计，其中差异估计适于生成差异信息；d)基于差异信息来获得失真信息；以及e)基于对步骤d)中生成的失真信息进行比较来选择特定滤波器，其中差异信息是运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数。根据本公开内容的第三实施方式，提供有一种用于从多个滤波器当中选择特定滤波器的方法，该特定滤波器适于在多层视频编码系统中的参考图片处理单元中使用，该多层视频编码系统包括基本层以及一个或更多个增强层，该方法包括:a)提供增强层源图片山)基于增强层源图片和来自特定层的运动信息来执行差异估计，其中该差异估计适于生成差异信息；c)基于增强层源图片和来自特定层的运动信息来获得失真信息；以及d)基于对步骤c)中获取的失真信息进行比较来选择特定滤波器，其中该差异信息是运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数，并且其中，来自特定层的运动信息是基于特定层的时间参考图片的。根据本公开内容的第四实施方式，提供有一种用于从多个滤波器当中选择特定滤波器的方法，该特定滤波器适于在多层视频编码系统中的参考图片处理单元中使用，该多层视频编码系统包括基本层以及一个或更多个增强层，该方法包括:a)提供参考图片和增强层源图片山)使用来自多个滤波器的至少一个滤波器来对参考图片的副本进行滤波以获得至少一个经滤波的参考图片，其中每个滤波器被应用于参考图片的相应副本；c)基于增强层源图片、至少一个经滤波的参考图片的全集或子集以及来自特定层的运动信息来执行差异估计，其中差异估计适于生成差异信息；d)基于增强层源图片、至少一个经滤波的参考图片的全集或子集以及来自特定层的运动信息来获得失真信息；以及e)基于对步骤d)中获取的失真信息进行比较来选择特定滤波器，其中差异信息是运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数，并且其中，运动信息是基于特定层的时间参考图片的。根据本公开内容的第五实施方式，提供有一种用于从多个滤波器当中选择特定滤波器的方法，该特定滤波器适于在视频编码系统中的参考图片处理单元中使用，该编码系统包括层，该方法包括:a)设置参考图片和源图片，其中参考图片和源图片两者均来自同一层山)使用来自多个滤波器的至少一个滤波器来对参考图片的副本进行滤波以获得至少一个经滤波的参考图片，其中每个滤波器被应用于参考图片的相应副本；c)基于源图片和至少一个经滤波的参考图片的全集或子集来执行差异估计，其中该差异估计适于生成差异息；d)基于差异信息来获得失真信息；以及e)基于对步骤d)中生成的失真信息进行比较来选择特定滤波器，其中差异信息是运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数。根据本公开内容的第六实施方式，提供有一种适于从多个滤波器当中选择特定滤波器的滤波器选择器，该特定滤波器适于在多层视频编码系统中的参考处理单元中使用，该多层视频编码系统包括基本层以及一个或更多个增强层，该滤波器选择器包括:多个滤波器的全集或子集，该多个滤波器的全集或子集用于处理参考图片或参考图片的区域以获得一个或更多个经处理的参考图片；以及差异估计器，该差异估计器适于基于增强层源图片和来自一个或更多个经处理的参考图片的至少一个经处理的参考图片来生成差异信息，其中该差异信息是运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数，其中基于差异信息能够选择特定滤波器。根据本公开内容的第七实施方式，提供有一种适于从多个滤波器当中选择特定滤波器的滤波器选择器，该特定滤波器选择器适于在多层视频编码系统中的参考处理单元中使用，该多层视频系统包括基本层以及一个或更多个增强层，该滤波器选择器包括:多个滤波器的全集或子集，该多个滤波器的全集或子集用于处理参考图片或参考图片的区域以获得一个或更多个经处理的参考图片；以及差异估计器，该差异估计器适于基于增强层源图片以及来自一个或更多个经处理的参考图片的至少一个经处理的参考图片来生成差异信息，其中差异信息是运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数；以及失真信息计算模块，该失真信息计算模块适于基于增强层源图片和来自多个经处理的参考图片的至少一个经处理的参考图片来生成失真信息，其中基于失真信息能够选择特定滤波器。根据本公开内容的第八实施方式，提供有一种适于从多个滤波器当中选择特定滤波器的滤波器选择器，该特定滤波器适于在多层视频编码系统中的参考处理单元中使用，该多层视频编码系统包括基本层以及本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.10.01 US 61/389,1801.一种用于从多个滤波器当中选择特定滤波器的方法，所述特定滤波器适于在多层视频编码系统中的参考图片处理单元中使用，所述多层视频编码系统包括基本层以及一个或更多个增强层，所述方法包括: a)提供参考图片和增强层源图片； b)使用来自所述多个滤波器的至少一个滤波器来对所述参考图片的副本进行滤波以获得至少一个经滤波的参考图片，其中每个滤波器包括被应用于所述参考图片的相应副本； c)基于所述增强层源图片和所述至少一个经滤波的参考图片的全集或子集来执行差异估计，其中所述差异估计包括适于生成差异信息；以及 d)基于对在所述差异估计步骤c)中生成的所述差异信息进行比较来选择所述特定滤波器； 其中，所述差异信息包括运动向量、预测失真、帧内预测信息、照明参数、亮度分量、色度分量以及色调映射参数中的至少一个的函数。2.根据权利要求1所述的方法，其中，所述参考图片在所述滤波步骤之后被编码。3.根据权利要求1所述的方法，其中，所述参考图片包括基本层参考图片或间层参考图片，其中，间层包括来自所述一个或更多个增强层当中的层。4.根据权利要求1所述的方法，其中，所述参考图片包括来自所述增强层的空间参考图片或时间参考图片。5.根据权利要求1所述的方法，其中，所述提供步骤还包括处理所述增强层源图片，其中该处理将所述增强层源图片中的噪声去除。6.根据权利要求5所述的方法，其中，所述提供步骤还包括处理所述源图片，其中该处理将所述源图片中的噪声去除。7.根据权利要求1所述的方法，其中，所述提供步骤还包括处理所述增强层源图片，其中该处理涉及到应用滤波、运动变换、运动补偿、照明补偿、缩放、反转以及前向色调映射、颜色格式转换以及伽玛校正中的至少一个。8.根据权利要求7所述的方法，其中，所述提供步骤还包括处理所述增强层源图片，其中该处理涉及到应用滤波、运动变换、运动补偿、照明补偿、缩放、反转以及前向色调映射、颜色格式转换以及伽玛校正中的至少一个。9.根据权利要求1所述的方法，其中，所述经滤波的参考图片中的至少一个包括所述参考图片。10.根据权利要求1所述的方法，其中，所述执行差异估计的步骤还包括针对用在所述滤波步骤中的、来自所述多个滤波器当中的所述至少一个滤波器来获得代价信息，并且其中，所述选择步骤还是基于所述代价信息的；以及 其中，所述代价信息包括所述差异信息、在用信号来通知每个滤波器的滤波器参数中要使用的比特的数目、在用信号来通知与每个经滤波的参考图片对应的所述运动向量中要使用的比特的数目、在用信号来通知与每个经滤波的参考图片对应的所述预测失真中要使用的比特的数目、应用每个滤波器的计算复杂度以及每个滤波器的功率消耗的函数。11.根据权利要求1所述的方法，还包括:在所述执行步骤和所述选择步骤之间，对所述增强层源图片执行差异补偿以获得最终重构图片的步骤，其中所述差异补偿是基于所述差异估计的步骤的。12.根据权利要求1所述的方法，其中，对所述参考图像的区域执行所述步骤中的每个步骤。13.根据权利要求12所述的方法，其中，使用多个区域尺寸和区域形状来分解所述参考图片以获得多个重构参考图片，并且其中，对所述多个重构参考图片执行所述步骤中的每个步骤。14.根据权利要求12所述的方法，其中，基于对所述参考图片执行边缘检测来确定所述区域尺寸和所述区域形状。15.根据权利要求1所述的方法，其中，所述差异估计包括基于块的运动估计。16.根据权利要求15所述的方法，其中，对应于特定块的运动向量适于通过与所述特定块相邻的块的运动向量来预测。17.根据权利要求15所述的方法，其中，块尺寸是基于所述参考图片的图像特性的，其中所述图像特性包括所述参考图片的亮度分量、色度分量和边缘特性以及所述参考图片中的元素的纹理、颜色、形状和尺寸中的至少一个的函数。18.根据权利要求15所述的方法，其中，所述执行差异估计的步骤或所述获得失真信息的步骤也确定块尺寸和块形状中的至少一个。19.根据权利要求1所述的方法，其中，所述差异估计包括整像素运动估计。20.根据权利要求1所述的方法，其中，所述差异估计包括子像素精确运动估计。21.根据权利要求1所述的方法，其中，所述执行差异估计还基于来自增强层参考图片缓冲器的时间参考图片。22.根据权利要求1所述的方法，其中，所述差异估计还是基于一个或更多个亮度和色度分量的。23.根据权利要求22所述的方法，其中，所述差异估计还是基于亮度和色度分量的子集的，并且其中，基于从亮度和色度分量的所述子集获得的所述差异信息来计算剩余的亮度和色度分量的失真。24.根据权利要求23所述的方法，还包括多个加权因子，其中，一个加权因子包括被应用于每个亮度分量和每个色度分量。25.根据权利要求1所述的方法，其中，所述提供步骤包括提供多个参考图片，并且对所述多个参考图片的全集或子集执行所述滤波步骤以获得至少一个经滤波的参考图片，并且其中，每个滤波器包括被应用于所述多个参考图片的所述全集或子集的每个参考图片。26.一种用于从多个滤波器当中选择特定滤波器的系统，所述特定滤波器适于在多层视频编码系统中的参考图片处理单元中使用，所述多层视频编码系统包括基本层以及一个或更多个增强层，所述系统包括: a)用于提供参考图片和增强层源图片的装置； b)用于使用来自...

【专利技术属性】
技术研发人员：佩沙拉·V·帕哈拉瓦达，贺玉文，亚历山德罗斯·图拉皮斯，
申请(专利权)人：杜比实验室特许公司，
类型：
国别省市：