用于图像运动补偿的方法和装置制造方法及图纸

一种用于图像运动补偿的方法和装置，该方法包括：确定第一图像块的时域参考块的运动矢量，其中，所述时域参考块和所述第一图像块位于不同的图像上；当所述时域参考块的运动矢量指向特定参考图像，或者所述第一图像块的参考图像为特定参考图像时，根据处理后的所述时域参考块的运动矢量确定所述第一图像块的运动矢量，所述处理后的所述时域参考块的运动矢量和处理前的时域参考块的运动矢量相同；或者，当所述时域参考块的运动矢量指向特定参考图像，或者所述第一图像块的参考图像为特定参考图像时，放弃参考所述时域参考块的运动矢量来获取所述第一图像块的运动矢量；或者，当所述时域参考块的运动矢量指向特定参考图像，或者所述第一图像块的参考图像为特定参考图像时，将所述时域参考块的运动矢量作为所述第一图像块的运动矢量。

Method and device for image motion compensation

【技术实现步骤摘要】
【国外来华专利技术】用于图像运动补偿的方法和装置版权申明本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
本申请涉及图像处理领域，尤其涉及一种用于图像运动补偿的方法和装置。
技术介绍
近年来，由于便携式设备、手持式设备以及可穿戴设备的盛行，视频的内容量不断增长。随着视频形式变得越来越复杂，视频的存储和传输变得越来越具有挑战性。为了减少视频存储和传输所占用的带宽，通常在编码端对视频数据进行编码压缩，在解码端进行解码。编码压缩过程包括预测、变换、量化和熵编码等处理。其中，预测包括帧内预测和帧间预测两种类型，其目的在于利用预测块数据去除当前待编码图像块的冗余信息。帧内预测利用本帧图像的信息获得预测块数据。帧间预测利用参考图像的信息获得预测块数据，其过程包括将当前待编码图像划分成若干个待编码图像块，再将待编码图像块划分成若干个子图像块；然后，针对每个子图像块，在参考图像中搜索与当前子图像块最匹配的图像块作为预测图像块，预测图像块与当前子图像块的相对位移即为运动矢量；其后，将该子图像块与预测图像块的相应像素值相减得到残差。将得到的各子图像块对应的残差组合在一起，得到待编码图像块的残差。残差经过变换、量化和熵编码等处理后得到熵编码比特流，将熵编码比特流及进行编码后的编码模式信息，例如帧内预测模式、运动矢量(或运动矢量残差)等信息，进行存储或发送到解码端。在图像的解码端，获得熵编码比特流后进行熵解码，得到相应的残差；根据解码得到的运动矢量、帧内预测等信息找到待解码图像块对应的预测图像块；根据预测图像块与残差得到待解码图像块中各像素点的值。通过以上说明可知，在进行帧间预测时，选取的参考图像与当前待编码图像越相似则帧间预测产生的残差越小，从而可以提升帧间预测的编码效率。具体地，现有的一些技术可以利用视频中的各图像构建一个包含场景的背景内容的高质量的特定参考图像。在进行帧间预测时当前待编码图像或当前待解码图像的背景部分可通过参考所述的高质量的特定参考图像用于减少帧间预测的残差信息，从而提高编码效率。也即，该特定参考图像是作为帧间预测的参考图像。长期参考图像不是一个已解码图像，而是一个人为构造的图像。长期参考图像中包括多个图像块，任意一个图像块均是从某个已解码图像中取出的，长期参考图像中的不同图像块可能取自于不同的已解码图像。为了提高编码效率，减少编码端发送的信息量，现有的一些技术可以在解码端直接推导出运动矢量。编码端无需发送运动矢量信息或运动矢量残差信息，解码端也无需通过解码运动矢量信息或运动矢量残差信息便可以获得真实的运动矢量。现有的一些使用运动矢量推导的技术和一些使用双向运动预测的技术中，不考虑长期参考图像的特殊性。一些使用运动矢量推导的技术不考虑运动矢量所指向的参考图像是否为长期参考图像，在进行运动矢量修正时可能会在长期参考图像中进行运动搜索，这反而降低了搜索效率和编码效率。使用双向运动预测的技术根据图像的时间相关性对运动矢量进行操作，当涉及到的运动矢量所指向的参考图像为长期参考图像时，由于当前待编码图像或当前待解码图像与长期参考图像的时间距离定义不明确，这些操作可能会失效。
技术实现思路
本申请提供了一种用于图像运动补偿的方法和用于图像运动补偿的装置，可以提高编/解码效率。第一方面，提供一种用于图像运动补偿的方法，包括：获取当前图像块的初始运动矢量MV；当所述初始MV指向的参考图像为特定参考图像时，基于所述初始MV对所述当前图像块进行运动补偿；当所述初始MV指向的参考图像为非特定参考图像时，对所述初始MV进行修正，获得修正后的MV，基于所述修正后的MV对所述当前图像块进行运动补偿。第二方面，提供一种用于图像运动补偿的装置，包括：至少一个存储器，用于存储计算机可执行指令；至少一个处理器，单独或共同地用于：访问所述至少一个存储器，并执行所述计算机可执行指令，以实施以下操作：获取当前图像块的初始运动矢量MV；当所述初始MV指向的参考图像为特定参考图像时，基于所述初始MV对所述当前图像块进行运动补偿；当所述初始MV指向的参考图像为非特定参考图像时，对所述初始MV进行修正，获得修正后的MV，基于所述修正后的MV对所述当前图像块进行运动补偿。第三方面，提供一种计算机可读存储介质，其上存储有指令，当指令在计算机上运行时，使得计算机执行第一方面的用于图像运动补偿的方法。第四方面，提供一种编码设备，包括第二方面的用于图像运动补偿的装置。第五方面，提供一种解码设备，包括第二方面的用于图像运动补偿的装置。第六方面，提供一种用于图像运动补偿的方法，包括：获取当前图像块的初始运动矢量MV；确定所述初始MV的缩放比例，其中，当所述初始MV指向特定参考图像时，所述初始MV的缩放1比例为1；基于所述初始MV的缩放比例对所述初始MV进行缩放；基于所述缩放后的MV对所述当前图像块进行运动补偿。第七方面，提供一种用于图像运动补偿的装置，包括：至少一个存储器，用于存储计算机可执行指令；至少一个处理器，单独或共同地用于：访问所述至少一个存储器，并执行所述计算机可执行指令，以实施以下操作：获取当前图像块的初始运动矢量MV；确定所述初始MV的缩放比例，其中，当所述初始MV指向特定参考图像时，所述初始MV的缩放1比例为1；基于所述初始MV的缩放比例对所述初始MV进行缩放；基于所述缩放后的MV对所述当前图像块进行运动补偿。第八方面，提供一种计算机可读存储介质，其上存储有指令，当指令在计算机上运行时，使得计算机执行第六方面的用于图像运动补偿的方法。第九方面，提供一种编码设备，包括第七方面的用于图像运动补偿的装置。第十方面，提供一种解码设备，包括第七方面的用于图像运动补偿的装置。第十一方面，提供一种用于图像处理的方法，包括：获取第一初始运动矢量MV和第二初始MV，所述第一初始MV指向第一参考图像，所述第二初始MV指向第二参考图像；当所述第一参考图像和所述第二参考图像中至少一个为特定参考图像时，基于所述第一初始MV和所述第二初始MV计算得到当前图像块的预测图像块；当所述第一参考图像和所述第二参考图像均为非特定参考图像时，根据所述第一初始MV和所述第二初始MV所指向的像素点的梯度值，计算得到当前图像块的MV，根据所述当前图像块的MV，计算得到当前图像块的预测图像块。第十二方面，提供一种用于图像处理的装置，包括：至少一个存储器，用于存储计算机可执行指令；至少一个处理器，单独或共同地用于：访问所述至少一个存储器，并执行所述计算机可执行指令，以实施以下操作：获取第一初始运动矢量MV和第二初始MV，所述第一初始MV指向第一参考图像，所述第二初始MV指向第二参考图像；当所述第一参考图像和所述本文档来自技高网...

【技术保护点】
一种视频处理方法，其特征在于，所述方法包括：/n确定第一图像块的时域参考块的运动矢量，其中，所述时域参考块和所述第一图像块位于不同的图像上；/n当所述时域参考块的运动矢量指向特定参考图像，或者所述第一图像块的参考图像为特定参考图像时，根据处理后的所述时域参考块的运动矢量确定所述第一图像块的运动矢量，所述处理后的所述时域参考块的运动矢量和处理前的时域参考块的运动矢量相同；或者，/n当所述时域参考块的运动矢量指向特定参考图像，或者所述第一图像块的参考图像为特定参考图像时，放弃参考所述时域参考块的运动矢量来获取所述第一图像块的运动矢量；或者，/n当所述时域参考块的运动矢量指向特定参考图像，或者所述第一图像块的参考图像为特定参考图像时，将所述时域参考块的运动矢量作为所述第一图像块的运动矢量。/n

【技术特征摘要】
【国外来华专利技术】20180402 CN PCT/CN2018/081652;20180713 CN PCT/CN20一种视频处理方法，其特征在于，所述方法包括：
确定第一图像块的时域参考块的运动矢量，其中，所述时域参考块和所述第一图像块位于不同的图像上；
当所述时域参考块的运动矢量指向特定参考图像，或者所述第一图像块的参考图像为特定参考图像时，根据处理后的所述时域参考块的运动矢量确定所述第一图像块的运动矢量，所述处理后的所述时域参考块的运动矢量和处理前的时域参考块的运动矢量相同；或者，
当所述时域参考块的运动矢量指向特定参考图像，或者所述第一图像块的参考图像为特定参考图像时，放弃参考所述时域参考块的运动矢量来获取所述第一图像块的运动矢量；或者，
当所述时域参考块的运动矢量指向特定参考图像，或者所述第一图像块的参考图像为特定参考图像时，将所述时域参考块的运动矢量作为所述第一图像块的运动矢量。


根据权利要求1所述的视频处理方法，其特征在于，所述处理后的所述时域参考块的运动矢量，包括：
根据数值为1的缩放比例对所述时域参考块的运动矢量进行缩放后得到的运动矢量，或者，
跳过缩放步骤的所述时域参考块的运动矢量。


根据权利要求1或2所述的视频处理方法，其特征在于，所述方法还包括：
当所述时域参考块的运动矢量指向非特定参考图像，且所述第一图像块的参考图像是非特定参考图像时，基于所述时域参考块的运动矢量指向的参考图像与所述时域参考块所在图像之间的时间距离，以及所述第一图像块的参考图像与所述第一图像块所在图像之间的时间距离，确定所述第一图像块的运动矢量。


根据权利要求3所述的视频处理方法，其特征在于，所述方法包括：
基于所述时域参考块的运动矢量指向的参考图像与所述时域参考块所在图像之间的时间距离，以及所述第一图像块的参考图像与所述第一图像块所在图像之间的时间距离，确定所述时域参考块的运动矢量的缩放比例；
根据经所述缩放比例缩放后的所述时域参考块的运动矢量确定所述第一图像块的运动矢量。


根据权利要求1至4任一项所述的视频处理方法，其特征在于，所述方法还包括：
建立所述第一图像块的运动信息候选列表，所述运动信息候选列表包括所述第一图像块的空域参考块的运动矢量和/或所述第一图像块的参考帧索引值，其中，所述空域参考块和所述第一图像块位于同一个图像上；
根据所述第一图像块的运动信息候选列表确定所述第一图像块的运动矢量。


根据权利要求5所述的视频处理方法，其特征在于，所述根据处理后的所述时域参考块的运动矢量确定所述第一图像块的运动矢量，包括：
将所述处理后的所述时域参考块的运动矢量加入所述运动矢量候选列表；
或者，所述放弃参考所述时域参考块的运动矢量来获取所述第一图像块的运动矢量，包括：
放弃将所述时域参考块的运动矢量加入所述运动矢量候选列表中。


根据权利要求5或6所述的视频处理方法，其特征在于，所述第一图像块为一个编码单元CU。


根据权利要求1至3任一项所述的视频处理方法，其特征在于，所述第一图像块为第二图像块的部分，所述方法还包括：
建立所述第一图像块的运动信息候选列表，所述运动信息候选列表包括所述第二图像块的空域参考块的运动矢量和/或所述第一图像块的参考帧索引值，其中，所述空域参考块和所述第二图像块位于同一个图像上；
根据所述第一图像块的运动信息候选列表确定所述第二图像块的运动矢量。


根据权利要求8所述的视频处理方法，其特征在于，所述第一图像块的参考帧索引值与所述第二图像块的参考帧索引值相同；或者，
所述第一图像块的参考帧索引值根据所述第二图像块的参考帧索确定。


根据权利要求8或9所述的视频处理方法，其特征在于，所述根据处理后的所述时域参考块的运动矢量确定所述第一图像块的运动矢量，包括：
将所述处理后的所述时域参考块的运动矢量加入所述第二图像块的运动信息候选列表；
或者，所述放弃参考所述时域参考块的运动矢量来获取所述第一图像块的运动矢量，包括：
放弃将所述时域参考块的运动矢量加入所述第二图像块的运动信息候选列表中。


根据权利要求1、8或9所述的视频处理方法，其特征在于，所述第二图像块为一个编码单元CU，所述第一图像块为所述编码单元中的一个子图像块，所述子图像块由所述编码单元划分得到。


根据权利要求1至11任一项所述的视频处理方法，其特征在于，所述确定第一图像块的时域参考块的运动矢量，包括：
在所述第一图像块的参考图像集中，确定与所述第一图像块所在图像距离最近的图像；
根据确定出的所述图像上确定所述第一图像块的时域参考块以及所述时域参考块的运动矢量。


根据权利要求12所述的视频处理方法，其特征在于，
所述时域参考块为在所述确定出的图像上，和所述第一图像块的位置相同的图像块；或者，
所述时域参考块为所述第一图像块相邻的图像块的运动矢量在所述确定出的图像上指向的图像块；或者，
所述时域参考块为所述第一图像块相邻的图像块的运动矢量在所述确定出的图像上指向的位置经过数值截断的位置对应的图像块；或者，
所述时域参考块为在所述确定出的图像上所述第一图像块的位置相同的图像块的运动矢量指向的图像块；或者，
所述时域参考块为在所述确定出的图像上，和所述第一图像块的位置相同的图像块的特定相邻图像块；或者，
所述时域参考块为在所述确定出的图像上和所述第一图像块的位置相同的图像块的特定相邻图像块的运动矢量指向的图像块。


根据权利要求1至11任一项所述的视频处理方法，其特征在于，所述确定第一图像块的时域参考块的运动矢量，包括：
在所述第一图像块所在图像中，确定所述第一图像块的特定相邻图像块；
根据所述特定相邻图像块的参考图像确定所述第一图像块的时域参考块以及所述时域参考块的运动矢量。


根据权利要求14所述的视频处理方法，其特征在于，
所述时域参考块为所述特定相邻图像块的参考图像上，与所述第一图像块的位置相同的图像块；或者，
所述时域参考块为所述特定相邻图像块的参考图像上，与所述特定相邻图像块的位置相同的图像块；或者，
所述时域参考块为所述特定相邻图像块的运动矢量指向的图像块。


根据权利要求14所述的视频处理方法，其特征在于，所述确定所述第一图像块的特定相邻图像块，包括：
在所述第一图像块所在图像中，按照特定扫描顺序获取得到的第一个相邻图像块；或者，
在所述第一图像块所在图像中，按照特定扫描顺序获得第一个与所述第一图像块具有相同的参考帧索引值的相邻图像块；或者，
按照特定扫描顺序获得第一个含有运动信息的图像块；或者，
按照特定扫描顺序获得第一个与所述第一图像的默认的参考图像相同的相邻图像块。


根据权利要求16所述的视频处理方法，其特征在于，所述特定扫描顺序为以所述第一块为搜索起点，沿着以下其中一个方向作为扫描顺序：
从下至上、从左至右、从右至左、从上至下。


根据权利要求1至14中任一项所述的方法，其特征在于，所述特定参考图像包括长期参考图像、构造帧、不被输出的帧中的至少一种。


根据权利要求1至15中任一项所述的方法，其特征在于，所述方法还包括：
在确定所述参考图像为不被输出的帧，以及确定所述参考图像为构造帧时，将所述参考图像确定为所述特定参考图像。


根据权利要求1至16中任一项所述的方法，其特征在于，所述非特定参考图像包括短期参考图像。


一种视频处理装置，其特征在于，包括：
至少一个存储器，用于存储计算机可执行指令；
至少一个处理器，单独或共同地用于：访问所述至少一个存储器，并执行所述计算机可...

【专利技术属性】
技术研发人员：郑萧桢，李蔚然，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44