通过使用考虑了图像的边缘特性的区域分割型自适应插值滤波器，降低运动补偿画面间预测的残差能量，谋求编码效率的改善。边缘计算部，从运动向量所指示的参考图像数据算出边缘信息。区域分割部，根据边缘信息，将编码对象帧分割为成为适应性地应用插值滤波器的单位的多个区域。滤波系数最优化部，以区域单位对小数精度像素的插值滤波器进行最优化。参考图像插值部，使用最优化的插值滤波器进行对于参考图像的小数精度像素的插值，预测编码部，进行利用小数精度的运动补偿的预测编码。
【技术实现步骤摘要】
【国外来华专利技术】
本专利技术涉及使用运动补偿的视频编码中的谋求自适应插值滤波器(適応補間7 ^,v夕，adaptive interpolation filter)的性能改善的视频编码、解码技术。本申请基于2010年8月12日向日本提交的日本特愿2010 — 180813号申请而主张优先权，将其内容引用于此。
技术介绍
视频编码中，在不同画面间执行预测的画面间预测(运动补偿)编码中，参考已经解码的帧，可求出运动向量以使预测误差能量等最小，其残差信号被正交转换，施以量化，经过熵编码，成为二进制数据。为了提高编码效率，要求预测精度更高的预测方式，预测误差能量的降低必不可少。在视频编码标准方式中，引入了很多用于提高画面间预测的精度的工具。例如在H.264/AVC中，在最近的帧存在遮挡(occlusion)的情况下，参考时间上稍微离开的帧能够降低预测误差能量，因此能参考多个帧。将本工具称为多个参考帧预测。另外，为了也能够应对复杂形状的运动，除16X16及8X8之外，还能像16X8、8X16、8X4、4X8、4X4这样，将块尺寸细小分割。将本工具称为可变块尺寸预测。与这些同样，从参考帧的整数精度像素使用6抽头(tap)的滤波器来进行1/2精度的像素插值，进而利用该像素用线性插值来生成1/4精度的像素。由此，对于非整数精度的运动，预测变得准确。将本工具称为1/4像素精度预测。面向编码效率比H. 264/AVC还高的下一代视频编码标准方式的制定，在国际标准化组织 IS0/IEC “MPEG” (International Organization for Standardization/International Electrotechnical Commission ^Moving Picture Experts Group〃)和ITU — T “VCEG，，(International Telecommunication Union — TelecommunicationStandardization Sector Video Coding Experts Group),集中了来自当前世界各国的各种提案。其中，特别是提出较多与画面间预测(运动补偿)关联的提案，VCEG主导下作成的面向下一代视频编码的软件(以下，称作KTA (Key Technical Area)软件)中,采用了缩减运动向量的编码量的工具和将块尺寸扩充为16X16以上的工具。特别是，使小数精度像素的插值滤波系数适应性地变化的工具被称为自适应插值滤波器，对几乎所有图像有效果，最初被KTA软件采用。针对为以MPEG和VCEG共同来推进的下一代视频编码标准制定的团体JCT 一 VC (Joint Collaborative Team on VideoCoding)所发出的下一代视频编码测试模型的募集(Call for Proposal)的投稿中，也大量采用了本技术。因为对编码效率提高有很大帮助，所以可以说今后自适应插值滤波器的性能改善是非常予以期待的领域。当前，虽 然是以上这样的状况，但作为视频编码中的插值滤波器，一直以来使用下面这样的滤波器。(固定插值) 过去的视频编码标准方式MPEG - 1/2中，如附图说明图15A所示，为了进行1/2精度像素插值，从相邻2点的整数精度像素(也简称为整数像素)用加法平均来生成插值像素。即，对2点的整数像素，施以[1/2，1/2]的平均值滤波。因为是非常单纯的处理，所以从计算复杂度的观点来看很有效，但在获得1/4精度像素方面，滤波器并非高性能。MPEG - 4 Part 2也同样，以平均值滤波来生成1/2像素精度的像素，但AdvancedSimple Profile (ASP)中，也应对了 1/4像素精度的运动补偿。使用如图15B所示的I维8抽头滤波器来算出1/2像素的位置。其后，以平均值滤波导出1/4像素位置。另外，H. 264/AVC中，如图15C所示，在1/2像素位置插值时，使用成为对象的插值像素的左右各3点共计6个整数像素来进行插值。在垂直方向使用上下各3点共计6个整数像素来进行插值。滤波系数分别为[(1，一 5，20，20，一 5，1)/32]。插值了 1/2像素位置后，1/4像素位置使用[1/2，1/2]的平均值滤波器来进行插值。需要将1/2像素位置全部进行插值求出一次，所以计算复杂度高，但可进行高性能的插值，导致编码效率提高。以上的固定插值滤波器的详细内容，在非专利文献1、非专利文献2、非专利文献3示出。(自适应插值) H.264/AVC中，与输入图像条件(序列种类/图像尺寸/帧速率)和编码条件(块尺寸/GOP (Group of Pictures)构造/QP (Quantization Parameter))无关，滤波系数值恒定。滤波系数值固定的情况下，未考虑例如混叠(aliasing)、量化误差、运动推定导致的误差、相机噪声这样的随时间变化的效应。因此，可认为在编码效率这一点，性能提高存在极限。因此，在非专利文献4提出有使插值滤波系数适应性地变化的方式，称作非分离型自适应插值滤波器。在非专利文献4中，考虑2维的插值滤波器(6 X6共计36个滤波系数)，以使预测误差能量最小的方式确定滤波系数。虽然实现了比使用H.264/AVC所使用的I维6抽头的固定插值滤波器还高的编码效率，但在求出滤波系数方面的计算复杂度非常高，因此在非专利文献5介绍了用于降低该计算复杂度的提案。该非专利文献5中介绍的技术，被称作分离型自适应插值滤波器(SAIF:Separable Adaptive Interpolation Filter),没有使用2维插值滤波器,而使用I维6抽头插值滤波器。图16A 图16C是示出分离型自适应插值滤波器(SAIF)中的非整数精度像素插值方法的图。作为顺序，如图16B的步骤I所示，首先插值水平方向的像素(a，b，C)。为确定滤波系数，使用整数精度像素Cl至C6。使式(I)的预测误差能量函数Eh2最小化的水平方向滤波系数，利用一般所知的最小二乘法(参考非专利文献4)可解析地确定。[式I]本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】2010.08.12 JP 2010-1808131.一种使用小数精度的运动补偿的视频编码方法，具有 取得运动向量所指示的参考图像数据，从获得的参考图像数据算出边缘信息的步骤；根据所述边缘信息，将编码对象帧分割为成为适应性地应用插值滤波器的单位的多个区域的步骤； 以所述区域单位对小数精度像素的插值滤波器进行最优化的步骤；以及使用最优化的插值滤波器进行对于参考图像的小数精度像素的插值，利用小数精度的运动补偿来进行预测编码的步骤。2.根据权利要求1所述的视频编码方法，其中， 所述边缘信息，是从所述运动向量所指示的所述参考图像数据抽出的边缘角度，或所述边缘角度和边缘强度，根据所述边缘角度的范围，或所述边缘角度的范围和所述边缘强度的强弱，进行所述区域的分割。3.一种使用小数精度的运动补偿的视频解码方法，具有 对小数精度像素的插值滤波系数进行解码的步骤； 从获得自解码的运动向量的参考图像数据算出边缘信息的步骤； 使用所述边缘信息来判定，成为适应性地应用插值滤波器的单位的多个区域之中，解码对象数据属于哪个区域的步骤；以及 按每个所述区域切换小数精度像素的插值滤波器，进行对于参考图像的小数精度像素的插值，利用小数精度的运动补偿来进行预测解码的步骤。4.根据权利要求3所述的视频解码方法，其中， 所述边缘信息，是从所述运动向量所指示的...
【专利技术属性】
技术研发人员：松尾翔平，坂东幸浩，高村诚之，如泽裕尚，
申请(专利权)人：日本电信电话株式会社，
类型：
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。