【技术实现步骤摘要】
【国外来华专利技术】用于图像运动补偿的方法和装置版权申明本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
本申请涉及图像处理领域，尤其涉及一种用于图像运动补偿的方法和装置。
技术介绍
近年来，由于便携式设备、手持式设备以及可穿戴设备的盛行，视频的内容量不断增长。随着视频形式变得越来越复杂，视频的存储和传输变得越来越具有挑战性。为了减少视频存储和传输所占用的带宽，通常在编码端对视频数据进行编码压缩，在解码端进行解码。编码压缩过程包括预测、变换、量化和熵编码等处理。其中，预测包括帧内预测和帧间预测两种类型，其目的在于利用预测块数据去除当前待编码图像块的冗余信息。帧内预测利用本帧图像的信息获得预测块数据。帧间预测利用参考图像的信息获得预测块数据，其过程包括将当前待编码图像划分成若干个待编码图像块，再将待编码图像块划分成若干个子图像块；然后，针对每个子图像块，在参考图像中搜索与当前子图像块最匹配的图像块作为预测图像块，预测图像块与当前子图像块的相对位移即为运动矢量；其后，将该子图像块与...
【技术保护点】
1.一种用于图像运动补偿的方法，其特征在于，包括：获取当前图像块的初始运动矢量MV；当所述初始MV指向的参考图像为特定参考图像时，基于所述初始MV对所述当前图像块进行运动补偿；当所述初始MV指向的参考图像为非特定参考图像时，对所述初始MV进行修正，获得修正后的MV，基于所述修正后的MV对所述当前图像块进行运动补偿。
【技术特征摘要】
【国外来华专利技术】2018.04.02 CN PCT/CN2018/0816521.一种用于图像运动补偿的方法，其特征在于，包括：获取当前图像块的初始运动矢量MV；当所述初始MV指向的参考图像为特定参考图像时，基于所述初始MV对所述当前图像块进行运动补偿；当所述初始MV指向的参考图像为非特定参考图像时，对所述初始MV进行修正，获得修正后的MV，基于所述修正后的MV对所述当前图像块进行运动补偿。2.根据权利要求1所述的方法，其特征在于，所述当所述初始MV指向的参考图像为非特定参考图像时，对所述初始MV进行修正，获得修正后的MV，基于所述修正后的MV对所述当前图像块进行运动补偿，包括：获取所述当前图像块的MV候选列表，所述MV候选列表中的任一候选MV指向的参考图像为非特定参考图像；基于所述MV候选列表确定所述初始MV；对所述初始MV进行修正，获得修正后的MV；基于所述修正后的MV对所述当前图像块进行运动补偿。3.根据权利要求2所述的方法，其特征在于，所述获取所述当前图像块的MV候选列表，包括：确定用于加入所述MV候选列表的候选MV，当所述候选MV指向的参考图像为非特定参考图像时，将所述候选MV加入所述MV候选列表。4.根据权利要求3所述的方法，其特征在于，所述方法还包括：基于所述候选MV指向的参考图像的帧标记确定所述候选MV指向的参考图像为非特定参考图像。5.根据权利要求2至4中任一项所述的方法，其特征在于，所述MV候选列表包括以下中的至少一种候选MV：如果所述当前图像块在高级运动矢量预测AMVP模式下，相对非特定参考图像得到的原始AMVP候选MV；相对非特定参考图像得到的合并候选MV；从非特定参考图像通过插值得到的MV；和所述当前块相对非特定参考图像的上方相邻MV和左方相邻MV。6.根据权利要求5所述的方法，其特征在于，所述基于所述MV候选列表确定所述初始MV，包括：基于双向匹配法和/或模板匹配法，确定所述MV候选列表中的候选MV对应的失真代价；将所述MV候选列表中失真代价最小的MV，作为所述初始MV。7.根据权利要求6所述的方法，其特征在于，所述对所述初始MV进行修正，获得修正后的MV，包括：为所述当前图像块生成子MV候选列表，所述子MV候选列表中包括所述初始MV；从所述子MV候选列表中确定出失真代价最小的MV，作为所述修正后的MV。8.根据权利要求1所述的方法，其特征在于，所述初始MV包括第一初始MV和第二初始MV，当所述初始MV指向的参考图像为特定参考图像时，基于所述初始MV对所述当前图像块进行运动补偿，包括：当所述第一初始MV和所述第二初始MV中至少一个初始MV指向的参考图像为特定参考图像时，基于所述第一初始MV和所述第二初始MV对所述当前图像块进行运动补偿；当所述第一初始MV和所述第二初始MV指向的参考图像均为非特定参考图像时，对所述第一初始MV和所述第二初始MV进行修正，获得修正后的第一MV和修正后的第二MV，基于所述修正后的第一MV和所述修正后的第二MV对所述当前图像块进行运动补偿。9.根据权利要求8所述的方法，其特征在于，所述对所述第一初始MV和所述第二初始MV进行修正，获得修正后的第一MV和修正后的第二MV，包括：基于第一参考图像块和第二参考图像块生成模板，其中，所述第一参考图像块对应于所述第一初始MV且属于第一参考图像，所述第二参考图像块对应于所述第二初始MV且属于第二参考图像；基于所述模板对所述第一初始MV和所述第二初始MV进行修正，获得所述修正后的第一MV和所述修正后的第二MV。10.根据权利要求9所述的方法，其特征在于，所述基于所述模板对所述第一初始MV和所述第二初始MV进行修正，获得所述修正后的第一MV和所述修正后的第二MV，包括：利用N个第三参考图像块，分别与所述模板进行匹配，其中，所述N个第三参考图像块对应于N个第三初始MV且属于所述第一参考图像；利用M个第四参考图像块，分别与所述模板进行匹配，其中，所述M个第四参考图像块对应于M个第四初始MV且属于所述第二参考图像；基于所述匹配结果，从所述N个第三初始MV中选择一个第三初始MV，以及从所述M个第四初始MV中选择一个第四初始MV，所述一个第三初始MV和所述一个第四初始MV作为所述当前图像块的MV，或者用于确定所述当前图像块的MV。11.根据权利要求10所述的方法，其特征在于，所述第三初始MV包括所述第一初始MV，所述第四初始MV包括所述第二初始MV。12.根据权利要求10或11所述的方法，其特征在于，所述N个第三初始MV中的至少部分初始MV是基于所述第一初始MV进行偏移得到，所述M个第四初始MV中的至少部分初始MV是基于所述第二初始MV进行偏移得到的。13.根据权利要求10至12中任一项所述的方法，其特征在于，所述N等于所述M。14.根据权利要求10至13中任一项所述的方法，其特征在于，所述第一参考图像为所述当前图像块的前向帧，所述第二参考图像是所述当前图像块的后向帧；或，所述第一参考图像为所述当前图像块的前向帧，所述第二参考图像是所述当前图像块的前向帧。15.根据权利要求1至14中任一项所述的方法，其特征在于，所述特定参考图像包括长期参考图像、构造帧、不被输出的帧中的至少一种。16.根据权利要求1至15中任一项所述的方法，其特征在于，所述方法还包括：在确定所述参考图像为不被输出的帧，以及确定所述参考图像为构造帧时，将所述参考图像确定为所述特定参考图像。17.根据权利要求1至16中任一项所述的方法，其特征在于，所述非特定参考图像包括短期参考图像。18.一种用于图像运动补偿的装置，其特征在于，包括：至少一个存储器，用于存储计算机可执行指令；至少一个处理器，单独或共同地用于：访问所述至少一个存储器，并执行所述计算机可执行指令，以实施以下操作：获取当前图像块的初始运动矢量MV；当所述初始MV指向的参考图像为特定参考图像时，基于所述初始MV对所述当前图像块进行运动补偿；当所述初始MV指向的参考图像为非特定参考图像时，对所述初始MV进行修正，获得修正后的MV，基于所述修正后的MV对所述当前图像块进行运动补偿。19.根据权利要求18所述的用于图像运动补偿的装置，其特征在于，所述处理器具体用于：获取所述当前图像块的MV候选列表，所述MV候选列表中的任一候选MV指向的参考图像为非特定参考图像；基于所述MV候选列表确定所述初始MV；对所述初始MV进行修正，获得修正后的MV；基于所述修正后的MV对所述当前图像块进行运动补偿。20.根据权利要求19所述的用于图像运动补偿的装置，其特征在于，所述处理器还用于：确定用于加入所述MV候选列表的候选MV，当所述候选MV指向的参考图像为非特定参考图像时，将所述候选MV加入所述MV候选列表。21.根据权利要求18至20中任一项所述的用于图像运动补偿的装置，其特征在于，所述处理器还用于：基于所述候选MV指向的参考图像的帧标记确定所述候选MV指向的参考图像为非特定参考图像。22.根据权利要求21所述的用于图像运动补偿的装置，其特征在于，所述MV候选列表包括以下中的至少一种候选MV：如果所述当前图像块在高级运动矢量预测AMVP模式下，相对非特定参考图像得到的原始AMVP候选MV；相对非特定参考图像得到的合并候选MV；从非特定参考图像通过插值得到的MV；和所述当前块相对非特定参考图像的上方相邻MV和左方相邻MV。23.根据权利要求22所述的用于图像运动补偿的装置，其特征在于，所述处理器具体用于：基于双向匹配法和/或模板匹配法，确定所述MV候选列表中的候选MV对应的失真代价；将所述MV候选列表中失真代价最小的MV，作为所述初始MV。24.根据权利要求18至20中任一项所述的用于图像运动补偿的装置，其特征在于，所述处理器具体用于：为所述当前图像块生成子MV候选列表，所述子MV候选列表中包括所述初始MV；从所述子MV候选列表中确定出失真代价最小的MV，作为所述修正后的MV。25.根据权利要求18所述的用于图像运动补偿的装置，其特征在于，所述初始MV包括第一初始MV和第二初始MV，所述处理器具体用于：当所述第一初始MV和所述第二初始MV中至少一个初始MV指向的参考图像为特定参考图像时，基于所述第一初始MV和所述第二初始MV对所述当前图像块进行运动补偿；当所述第一初始MV和所述第二初始MV指向的参考图像均为非特定参考图像时，对所述第一初始MV和所述第二初始MV进行修正，获得修正后的第一MV和修正后的第二MV，基于所述修正后的第一MV和所述修正后的第二MV对所述当前图像块进行运动补偿。26.根据权利要求25所述的用于图像运动补偿的装置，其特征在于，所述处理器具体用于：基于第一参考图像块和第二参考图像块生成模板，其中，所述第一参考图像块对应于所述第一初始MV且属于第一参考图像，所述第二参考图像块对应于所述第二初始MV且属于第二参考图像；基于所述模板对所述第一初始MV和所述第二初始MV进行修正，获得所述修正后的第一MV和所述修正后的第二MV。27.根据权利要求26所述的用于图像运动补偿的装置，其特征在于，所述处理器具体用于：利用N个第三参考图像块，分别与所述模板进行匹配，其中，所述N个第三参考图像块对应于N个第三初始MV且属于所述第一参考图像；利用M个第四参考图像块，分别与所述模板进行匹配，其中，所述M个第四参考图像块对应于M个第四初始MV且属于所述第二参考图像；基于所述匹配结果，从所述N个第三初始MV中选择一个第三初始MV，以及从所述M个第四初始MV中选择一个第四初始MV，所述一个第三初始MV和所述一个第四初始MV作为所述当前图像块的MV，或者用于确定所述当前图像块的MV。28.根据权利要求27所述的用于图像运动补偿的装置，其特征在于，所述第三初始MV包括所述第一初始MV，所述第四初始MV包括所述第二初始MV。29.根据权利要求27或28所述的用于图像运动补偿的装置，其特征在于，所述N个第三初始MV中的至少部分初始MV是基于所述第一初始MV进行偏移得到，所述M个第四初始MV中的至少部分初始MV是基于所述第二初始MV进行偏移得到的。30.根据权利要求27至29中任一项所述的用于图像运动补偿的装置，其特征在于，所述N等于所述M。31.根据权利要求27至30中任一项所述的用于图像运动补偿的装置，其特征在于，所述第一参考图像为所述当前图像块的前向帧，所述第二参考图像是所述当前图像块的后向帧；或，所述第一参考图像为所述当前图像块的前向帧，所述第二参考图像是所述当前图像块的前向帧。32.根据权利要求18至31中任一项所述的用于图像运动补偿的装置，其特征在于，所述特定参考图像包括长期参考图像、构造帧、不被输出的帧中的至少一种。33.根据权利要求18至32中任一项所述的用于图像运动补偿的装置，其特征在于，所述处理器还用于：在确定所述参考图像为不被输出的帧，并进一步确定所述参考图像为构造帧时，将所述参考图像确定为所述特定参考图像。34.根据权利要求18至33中任一项所述的用于图像运动补偿的装置，其特征在于，所述非特定参考图像包括短期参考图像。35.一种计算机可读存储介质，其特征在于，其上存储有指令，当指令在计算机上运行时，使得计算机执行权利要求1至17中任一项所述的用于图像运动补偿的方法。36.一种编码设备，其特征在于，包括权利要求18至34中任一项所述的用于图像运动补偿的装置。37.一种解码设备，其特征在于，包括权利要求18至34中任一项所述的用于图像运动补偿的装置。38.一种用于图像运动补偿的方法，其特征在于，包括：获取当前图像块的初始运动矢量MV；确定所述初始MV的缩放比例，其中，当所述初始MV指向特定参考图像时，所述初始MV的缩放1比例为1；基于所述初始MV的缩放比例对所述初始MV进行缩放；基于所述缩放后的MV对所述当前图像块进行运动补偿。39.根据权利要求38所述的方法，其特征在于，所述基于所述缩放后的MV对所述当前图像块进行运动补偿，包括：对所述缩放后的MV进行修正，获得修正后的MV；基于所述修正后的MV对所述当前图像块进行运动补偿。40.根据权利要求38或39所述的方法，其特征在于，所述获取当前图像块的初始运动矢量MV，包括：获取所述当前图像块的MV候选列表；基于所述MV候选列表确定所述初始MV。41.根据权利要求40所述的方法，其特征在于，所述MV候选列表中的任一候选MV指向的参考图像为非特定参考图像。42.根据权利要求41所述的方法，其特征在于，所述获取所述当前图像块的MV候选列表，包括：确定用于加入所述MV候选列表的候选MV，当所述候选MV指向的参考图像为非特定参考图像时，将所述候选MV加入所述MV候选列表。43.根据权利要求42所述的方法，其特征在于，所述方法还包括：基于所述候选MV指向的参考图像的帧标记确定所述候选MV指向的参考图像为非特定参考图像。44.根据权利要求40至43中任一项所述的方法，其特征在于，所述MV候选列表包括以下中的至少一种候选MV：如果所述当前图像块在高级运动矢量预测AMVP模式下，相对非特定参考图像得到的原始AMVP候选MV；相对非特定参考图像得到的合并候选MV；从非特定参考图像通过插值得到的MV；和所述当前块相对非特定参考图像的上方相邻MV和左方相邻MV。45.根据权利要求44所述的方法，其特征在于，所述基于所述MV候选列表确定所述初始MV，包括：基于双向匹配法和/或模板匹配法，确定所述MV候选列表中的候选MV对应的失真代价；将所述MV候选列表中失真代价最小的MV，作为所述初始MV。46.根据权利要求45所述的方法，其特征在于，所述对所述缩放后的MV进行修正，获得修正后的MV，包括：为所述当前图像块生成子MV候选列表，所述子MV候选列表中包括所述缩放后的MV；从所述子MV候选列表中确定出失真代价最小的MV，作为所述修正后的MV。47.根据权利要求38所述的方法，其特征在于，所述初始MV包括第一初始MV和第二初始MV，所述方法包括：当所述第一初始MV和所述第二初始MV中至少一个初始MV指向的参考图像为特定参考图像时，将所述第一初始MV和所述第二初始MV的缩放比例均置为1，基于所述第一初始MV和所述第二初始MV对所述当前图像块进行运动补偿；和/或，当所述第一初始MV和所述第二初始MV指向的参考图像均为非特定参考图像时，确定所述第一初始MV的缩放和所述第二初始MV的缩放比例，基于所述第一初始MV的缩放比例对所述第一初始MV进行缩放，基于所述第二初始MV的缩放比例对所述第二初始MV进行缩放，基于所述缩放后的第一初始MV和所述缩放后的第二初始MV对所述当前图像块进行运动补偿。48.根据权利要求47所述的方法，其特征在于，...
【专利技术属性】
技术研发人员：郑萧桢，李蔚然，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东,44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。