影像编码方法、影像解码方法、影像编码装置、影像解码装置及它们的程序制造方法及图纸

本发明专利技术的影像编码装置在插补滤波器系数的最优值在时空间变化的图像的编码中，谋求减低动态补偿画面内预测的残差能，改善编码效率。在该影像编码装置中，区域分割部从多个准备的区域分割手法之中依次一个一个地选择区域分割手法，对编码对象图像的区域进行分割。插补滤波器系数切换部按每个分割的区域切换小数精度像素的插补滤波器，在预测编码部进行预测编码。区域分割模式判定部在按各区域分割手法算出的码率失真成本之中选择使成本最小的区域分割手法。使用该选择的区域分割手法，预测编码部和可变长度编码部对编码对象图像进行编码。示出区域分割手法的信息也进行可变长度编码，并被送到解码器。

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及具有插补滤波器系数的画面内变更功能的影像编码方法、影像解码方法、影像编码装置、影像解码装置及它们的程序。本申请基于2010年8月12日在日本申请的特愿2010-180814号主张优先权，将其内容引用于此。
技术介绍
在影像编码中，在不同的画面间执行预测的画面间预测(动态补偿)编码中，参考已经解码的帧(frame)，以使预测误差能等为最小的方式求出动态矢量。对该动态矢量的残差信号进行正交变换，实施量化，经熵(entropy )编码变成二进制数据。为了提高编码效率，要求预测精度更高的预测方式，预测误差能的减低是必不可少的。在影像编码标准方式中导入有数量众多的用于提高画面间预测的精度的工具(tool)。例如，因为在H.264/AVC (Advanced Video Coding:高级视频编码)中，在最近的帧中存在遮挡(occulusion)的情况下，参考在时间上稍微分开的帧更能减低预测误差能，所以做成能参考多个帧。将本工具称为多个参考帧预测。此外，为了使之还能应对复杂的形状的运动，除了 16X16和8X8以外，还像16X8、8X16、8X4、4X8、4X4那样使之能对区块大小(block size)细致地进行分割。将本工具称为可变区块大小预测。与它们同样地，根据参考帧的整数精度像素使用六抽头(tap)的滤波器插补1/2精度的像素，进而利用该像素以线性插补生成1/4精度的像素。由此，对非整数精度的运动，预测变得准确。将本工具称为1/4像素精度预测。面向编码效率比H.264/AVC高的下一代影像编码标准方式的制定，在国际标准化组织 ISO/IEdPEG’X International Organization for Standardization/InternationalElectrotechnical Commission (国际标准化组织 / 国际电工委员会)“Moving PictureExperts Group(运动图像专家组)，，)和 ITU — T‘VCEG，，( International TelecommunicationUnion — Telecommunication Standardization Sector (国际电信联盟电信标准化部门)“Video Coding Experts Group (视频编码专家组)”)中，目前从世界各国收集有各种提案。其中，特别是与画面间预测(动态补偿)相关联的提案做得多，在由VCEG主导制作的面向下一代影像编码的软件(以下，称为KTA (Key Technical Area:关键
)软件)中采用了削减动态矢量的编码量的工具、将区块大小扩展到16X16以上的工具。特别是，使小数精度像素的插补滤波器系数自适应地变化的工具被称为自适应插补滤波器，对大致所有的像素有效果，最先被KTA软件所采用。对团体JCT-VC (JointCollaborative Team on Video Coding:视频编码联合协作小组)发行的用于MPEG和VCEG共同推进的下一代影像编码标准制定的新编码测试模型的征集(call for Proposal)的投稿中也数量众多地采用了本技术。因为对编码效率提升的贡献高，所以认为今后自适应插补滤波器的性能改善是非常被期待的领域。虽然目前是像以上那样的状况，但是作为影像编码中的插补滤波器，以往使用了如下的滤波器。[固定性插补] 在过去的影像编码标准方式MPEG-1/2/4中，如附图说明图10所示，为了插补1/2精度的像素，根据左右相邻的两点的整数精度像素(也只称为整数像素)使用加法平均生成插补像素。即，对两点的整数像素实施[1/2、1/2]的平均值滤波器。虽然因为是非常单纯的处理，所以从计算复杂度的观点来看是有效的，但是在求出1/4精度的像素方面，作为滤波器的性能并不高。另一方面，在H.264/AVC中，在插补1/2像素位置的像素时，使用成为对象的插补像素的左右各三个点共六个整数像素进行插补。对垂直方向，使用上下各三个点共六个整数像素进行插补。滤波器系数分别变成[(1、-5、20、20、-5、1)/32]。在插补1/2精度的像素后，1/4精度的像素使用[1/2、1/2]的平均值滤波器进行插补。虽然因为需要一次对1/2精度像素全部进行插补来求出，所以计算复杂度高，但是能进行性能更高的插补，导致编码效率提升。在图11示出H.264/AVC的插补处理的一个例子。以上的细节公开在非专利文献1、非专利文献2以及非专利文献3。[自适应性插补] 在H.264/AVC中，与输入图像条件(序列种类/图像大小/帧率)、编码条件(区块大小/GOP (Group of Pictures:画面组)构造/QP (Quantization Parameter:量化参数))无关，滤波器系数值是固定的。在滤波器系数值为固定的情况下，未考虑例如，图形失真(aliasing)、量化误差、由动态估计造成的误差、以及称为摄像机噪声的时间性变化的效果。因此，可以认为在编码效率方面在性能提升上是有限的。于是，在非专利文献4提案了使插补滤波器系数自适应性地变化的方式，称为非分离型的自适应插补滤波器。在非专利文献4中，考虑了二维的插补滤波器(6X6的共36滤波器系数)，以使预测误差能最小的方式决定滤波器系数。虽然在该方式中，能实现比使用在H.264/AVC使用的一维六抽头滤波器的固定插补滤波器高的编码效率，但是因为在求出滤波器系数的方面的计算复杂度非常高，所以在非专利文献5中介绍了用于减低该计算复杂度的提案。在该非专利文献5中介绍的手法称为分离型自适应插补滤波器(SAIF SeparableAdaptive Interpolation Filter),不是使用二维的插补滤波器,而是使用一维的六抽头插补滤波器。图12A 图12C是示出分离型自适应插补滤波器(SAIF)中的非整数精度的像素插补方法的图。作为顺序，如图12B的步骤I所示，首先，插补水平方向的像素a、b、c。在滤波器系数的决定中使用整数精度像素Cl至C6。利用一般性地已知的最小二乘法(参考非专利文献4)以解析方式决定最小化式(I)的预测误差能函数辑那样的水平滤波器系数。[数学式I]本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】2010.08.12 JP 2010-1808141.一种影像编码方法，所述影像编码方法使用小数精度的动态补偿，其中，具有: 从预先确定的多个区域分割手法之中依次选择一个区域分割手法的步骤； 按照所述选择的区域分割手法，基于在编码完成或编码过程中从编码对象帧或片得到的信息在帧或片内进行区域分割，按每个该分割后的区域选择小数精度像素的插补滤波器的步骤； 使用选择的插补滤波器进行对参考图像的小数精度像素的插补，利用小数精度的动态补偿进行预测编码的步骤； 对选择的区域分割手法算出编码的成本并进行保存的步骤； 根据保存的所述成本在所述多个区域分割手法中选择使成本最小的区域分割手法，对示出该选择的区域分割手法的信息进行编码的步骤；以及 使用所述选择的区域分割手法执行所述编码对象帧或片的编码的步骤。2.根据权利要求1所述的影像编码方法，其中， 在所述编码完成或编码过程中得到的信息包括编码对象区块的动态矢量的分量的大小、或者编码对象区块的动态矢量的方向、或者示出编码对象区块的位置的空间坐标。3.根据权利要求1或权利要求2所述的影像编码方法，其中， 所述多个区域分割手法包括不对区域进行分割的模式、利用编码对象区块的动态矢量的水平分量的大小对区域进行分割的一个或多个模式、利用编码对象区块的动态矢量的方向对区域进行分割的一个或多个模式、利用示出编码对象区块的位置的空间坐标对区域进行分割的一个或多个模式中的任一多个模式。4.根据权利要求3所述的影像编码方法，其中， 具有下述步骤:对用于根据所述一个或者多个模式中的被选择的模式进行所需的所述区域分割的阈值信息进行编码。5.一种影像解码方法，所述影像解码方法使用小数精度的动态补偿，其中，具有: 对示出在编码时使用的区域分割手法的信息进行解码的步骤； 对小数精度像素的插补滤波器系数进行解码的步骤； 使用从解码对象区块得到的信息以区块单位进行按照由所述解码得到的区域分割手法的区域的分类，根据该分类结果对解码对象帧或片的区域进行分割的步骤；以及 按每个分割后的所述区域切换小数精度像素的插补滤波器，进行对参考图像的小数精度像素的插...

【专利技术属性】
技术研发人员：松尾翔平，坂东幸浩，高村诚之，如泽裕尚，
申请(专利权)人：日本电信电话株式会社，
类型：
国别省市：