基于已重建先验信息的快速仿射运动估计方法技术

本发明专利技术从VVC帧间仿射运动估计模式和Skip模式存在互斥性以及当前CU与其父CU、前序子CU和相邻CU的最佳帧间预测模式存在相关性入手，公开了一种基于已重建先验信息的快速仿射运动估计方法。首先提取当前CU目前的最佳预测模式，父CU、前序子CU和相邻CU的最佳预测模式，通过最佳模式是否为Skip模式提前跳过不必要的仿射运动估计过程，从而降低总体编码时间。本发明专利技术公开的VVC快速放射运动估计方法，相比于VVC编码标准，在不明显降低压缩编码效率的前提下，明显降低了VVC的时间复杂度。明显降低了VVC的时间复杂度。

【技术实现步骤摘要】
基于已重建先验信息的快速仿射运动估计方法


[0001]本专利技术涉及视频编码领域中的仿射运动估计复杂度降低技术问题，尤其是涉及一种基于已重建先验信息的快速仿射运动估计方法。

技术介绍

[0002]随着5G技术的发展与普及，超高清视频的应用也越来越广泛，视频数据迅速增长，但传输宽带和各种终端设备的存储容量有限，以往的视频压缩编码技术H.264/AVC和H.265/HEVC已无法满足市场的需求。为了研究更加高效的视频压缩编码技术，以支持未来一代的高分辨率视频编码标准，由MPEG和ITU联合成立的JVET(joint video explore team)在2020年7月正式发布了新一代视频压缩编码标准H.266/vvc，标准参考软件为VTM。VVC与HEVC的整体编码框架区别不大，而是在每个编码模块中引入了新的技术。在不影响视频视觉质量的前提下，VVC的编码效率较HEVC提升了约50％。而同时带来的还有编码时间的巨大提高，不利于实时通信。
[0003]在帧间预测模块中，VVC引入了仿射运动估计模型，与HEVC帧间预测时仅采用平移运动对运动物体进行运动补偿相比，仿射运动模型除了能描述物体的平移运动外，还能描述物体的旋转和缩放，这也更贴近现实中物体的真实运动过程。仿射运动估计带来了更高的压缩效率，但也带来了很高的复杂度，使预测编码时间大幅度增加，不利于在很多实际场景中的应用。同时，VVC在编码块(CU)划分部分引入了多类型树划分，与选择最佳帧间预测模式递归进行，这也进一步增加了计算量，使编码时间大幅增加。因此找到一种在几乎不影响VVC压缩效率的快速仿射运动估计方法是有意义的。
[0004]在普遍情况下，视频中的运动物体往往只占整帧图像的一小部分，其余的大部分为背景区域。而通常只有运动物体的运动轨迹存在平移、旋转和缩放，背景区域一般只存在平移运动。在VVC的帧间预测时，是对所有的区域都进行仿射运动估计，而最终只有很少一部分区域将仿射运动估计模式作为最佳帧间预测模式，将仿射运动估计模式作为最佳帧间预测模式的CU约只占9％，因此存在大量不必要的计算，造成了时间的浪费。
[0005]VVC在选择CU最佳帧间预测模式的过程中，CU划分和模式的率失真代价计算是递归进行的。通过计算每种划分方式下的每种模式的率失真代价值选择代价最小的作为最佳模式。率失真代价的计算公式如公式(1)所示：
[0006]J＝SAD+λ
×
B
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(1)
[0007]其中，SAD是绝对误差和，是拉格朗日算子，B是编码所需比特数。CU的划分顺序如图1所示，父CU一共有5种划分方式划分为子CU，分别为四叉树划分(QT)，水平二叉树划分(BH)，垂直二叉树划分(BV)，水平三叉树划分(TH)，垂直三叉树划分(TV)。但是在实际划分过程中，是按照图1中虚线所示顺序进行的，并会保存前面划分后的预测模式和编码信息，而在同一编码块CTU中的图像纹理及运动方式具有很强的相似性，因此可以利用前面已经进行划分编码的同层级子CU(前序子CU)的信息和上一层级父CU的信息来预测当前CU选择仿射运动估计模式作为最佳模式的可能性，从而可以跳过不必要的仿射运动估计过程。同
时，相邻CU的纹理和运动方式也具有较强的相关性，因此相邻CU的重建信息也可以作为是否跳过仿射运动估计的判断条件之一。
[0008]帧间预测Merge模式中存在一种特殊模式即Skip模式。Skip模式的特殊之处在于它不传残差，是一种更为简单的模式。Skip模式和Affine模式具有互斥性。Skip模式多用于背景区域以及纹理较少和运动缓慢的区域，而此类区域往往不会将仿射运动估计模式作为最佳模式，因此可以利用父CU、前序子CU和相邻CU的最佳模式是否是Skip模式来提前终止仿射运动估计过程，减少帧间预测仿射运动估计的复杂度。

技术实现思路

[0009]在VVC帧间预测过程中，仅有很小一部分CU会将仿射运动估计模式作为最佳帧间预测模式，并且这部分CU往往为运动复杂的区域。而实际帧间预测过程中，VVC是对所有CU进行仿射运动估计过程，根据其率失真代价选择是否将其作为最佳预测模式。这增加了很多不必要的计算过程，造成预测编码时间大幅度增加。
[0010]针对VVC帧间预测时，CU的最佳预测模式与其父CU、前序子CU和相邻CU具有相关性的特点，本专利技术旨在提出一种在不明显降低VVC压缩编码效率的前提下，有效降低帧间仿射运动估计复杂度的方法。该方法是在VVC帧间预测时，通过提取当前CU的父CU、前序子CU和相邻CU的最佳预测模式信息，来提前跳过不必要的仿射运动估计过程，以此来降低仿射运动估计的复杂度，从而达到在不明显影响视频码率和质量的前提下，降低总体编码时间的目的。
[0011]本专利技术专利提出了一种降低帧间仿射运动估计复杂度的方法。在进行帧间预测，针对当前CU，首先提取当前CU到目前为止的最佳预测模式，父CU和前序CU的最佳预测模式以及相邻左边和上边CU的最佳预测模式，来判断当前是否有必要执行仿射运动估计过程，从而提前跳过可能性较低的仿射运动估计计算过程，具体包括以下步骤：
[0012](1)执行仿射运动估计之前的常规平移运动估计过程，获取父CU、前序子CU、相邻左边和相邻上边CU的最佳帧间预测模式以及当前CU目前的最佳模式；
[0013](2)判断当前CU目前的最佳帧间预测模式是否是Skip模式，若是，则跳过当前CU的仿射运动估计过程，执行步骤(6)；若否，执行步骤(3)；
[0014](3)判断父CU和前序子CU中是否存在最佳帧间预测模式为Skip模式的CU，若存在，则跳过当前CU的仿射运动估计过程，执行步骤(6)；若不存在，执行步骤(4)；
[0015](4)判断相邻左边、上边对CU的最佳帧间预测模式是否都为Skip模式，若是，则跳过当前CU的仿射运动估计过程，执行步骤(6)；若否，则执行步骤(5)；
[0016](5)执行原始仿射运动估计过程；
[0017](6)确定最佳帧间预测模式；
[0018](7)结束运动估计过程。
[0019]本专利技术与现有技术相比所具有的优点及有益技术效果：
[0020](1)本专利技术提出的基于已重建先验信息的快速仿射运动估计方法，与传统的VVC标准编码相比，在不明显降低帧内编码性能的前提下，本专利技术所提出的快速仿射运动估计方法的总体编码时间比VVC标准算法的编码时间明显降低；
[0021](2)本专利技术提出的基于已重建先验信息的快速仿射运动估计方法，分析了VVC帧间
Skip模式与仿射运动估计模式的互斥性，并利用这种互斥性提前对仿射运动估计过程执行的必要性进行了判断，跳过了不必要的计算过程，减少了帧间仿射运动估计的复杂度；
[0022](3)本专利技术提出的基于已重建先验信息的快速仿射运动估计方法，分析了VVC帧间父CU、前序子CU和当前CU最佳预测模式之间的相关性，利用此相关性，通过提前跳本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于已重建先验信息的快速仿射运动估计方法，其特征在于：(1)执行仿射运动估计之前的常规平移运动估计过程，获取父CU、前序子CU、相邻左边和相邻上边CU的最佳帧间预测模式以及当前CU目前的最佳模式；(2)判断当前CU目前的最佳帧间预测模式是否是Skip模式，若是，则跳过当前CU的仿射运动估计过程，执行步骤(6)；若否，执行步骤(3)；(3)判断父CU和前序子CU中是否存在最佳帧间预测模式为Skip模式的CU，若存在，则跳过当前CU的仿射运动估计过程，执行步骤(6)；若不存在，执行步骤(4)；(4)判断相邻左边、上边对CU的最佳帧间预测模式是否都为Skip模式，若是，则跳过当前CU的仿射运动估计过程，执行步骤(6)；若否，则执行步骤(5)；(5)执行原始仿射运动估计过程；(6)确定最佳帧间预测模式；(7)结束运动估计过程。2.如权利要求1所述的基于已重建先验信息的快速仿射运动估计方法，其特征在于基于Skip模式多用于...

【专利技术属性】
技术研发人员：何小海，杨若兰，熊淑华，卿粼波，陈洪刚，王正勇，
申请(专利权)人：四川大学，
类型：发明
国别省市：