用于视频编解码的解码器侧的运动推导的方法和装置制造方法及图纸

本发明专利技术公开了使用基于双向匹配或模板匹配的解码器推导运动信息的视频编码的方法和设备。根据一种方法，初始运动向量(motion vector，MV)索引在编码器侧的视频比特流中发信，或者由解码器侧的视频比特流确定。然后使用双向匹配、模板匹配或同时使用二者来推导所选择的MV以微调与初始MV索引相关的初始MV。在另一种方法中，当列表0和列表1的MV均存在于模板匹配中时，如果成本低于双向预测模板匹配，则两个MV之间的最小成本MV可用于单向预测模板匹配。根据又一种方法，MV搜索的微调取决于块尺寸。根据另一种方法，合并候选MV对始终用于双向匹配或模板匹配。

Motion deduction method and device for decoder side of video codec

The present invention discloses a method and apparatus for deriving motion information video coding using decoder based on bidirectional matching or template matching. According to one method, the initial motion vector (motion vector, MV) index sends a letter in the video bit stream on the encoder side, or is determined by a video bit stream on the decoder side. Then, the bidirectional MV, template matching or simultaneous use of the two is used to deduce the selected MV to fine tune the initial MV associated with the initial index. In another method, when both list 0 and the MV of list 1 exist in template matching, the minimum cost MV between the two MV can be used for unidirectional prediction template matching if the cost is lower than the two-way prediction template matching. According to another method, the fine tuning of MV search depends on block size. According to another method, the merged candidate MV pairs are always used for bidirectional matching or template matching.

【技术实现步骤摘要】
【国外来华专利技术】用于视频编解码的解码器侧的运动推导的方法和装置优先权声明本申请基于且要求于2015年9月2日提交的申请号为62/213,257的美国临时专利申请的优先权，其整体以引用的方式并入本文。
本专利技术涉及使用解码器侧推导的运动信息进行视频编解码的运动补偿，特别是涉及使用双向匹配和/或模板匹配技术来合并运动向量推导而使得性能的提升或复杂度的降低。
技术介绍
在使用运动补偿帧间预测的一般视频编解码系统中，运动信息通常从编码器侧传输到解码器侧，这样解码器可以正确地执行运动补偿帧间预测。在这样的系统中，运动信息将会消耗一些编解码位。为了提高编解码的效率，在在VCEG-AZ07(JianleChen等人，FurtherImprovementtoHMKTA-1.0，ITU-TelecommunicationsStandardizationSector，StudyGroup16Question6，视频编解码专家组(VCEG，VideoCodingExpertsGroup)，第五十二次会议：2015年6月19日至26日，波兰华沙)公开了解码器侧的运动向量的推导方法。根据VCEG-AZ07，解码器侧的运动向量的推导方法使用两种帧率提升(FrameRateUp-Conversion，FRUC)模式。其中一种FRUC模式称为B切片的双向匹配，而另一种FRUC模式称为P切片或B切片的模板匹配。图1是FRUC双向匹配模式的示例，其中，基于两个参考图片推导用于当前块110的运动信息。通过在两个不同参考图片(即，Ref0和ref1)中沿着当前块的运动轨迹找到两个块(120和130)之间的最佳匹配来推导当前块110的运动信息。在连续运动轨迹的假设下，指向两个参考块的与ref0相关的运动向量MV0和与Ref1相关的运动向量MV1应当与当前图片(即，图片pic)和两张参考图片与之间的时间距离(即TD0和TD1)成比例。图2是模板匹配FRUC模式的示例。当前图片(即，Curpic)中的当前块210的相邻区域(220a和220b)被用作模板以与参考图片(即Ref0)中的对应模板(230a和230b)相匹配。模板220a/220b与模板230a/230b之间的最佳匹配将确定解码器推导的运动向量240。虽然图2用Ref0用作参考图片，Ref1也可用作参考图片。根据VCEG-AZ07，当merge_flag或skip_flag为真时，则发信FRUC_mrg_flag。如果FRUC_mrg_flag为1，则发信FRUC_merge_mode以指示是选择双向匹配合并模式还是模板匹配合并模式。如果FRUC_mrg_flag为0，则意味着使用常规合并模式并且在这种情况下发信合并索引。在视频编解码中，为了提高编解码效率，可以使用运动向量预测(motionvectorprediction，MVP)来预测用于块的运动向量，其中会生成候选项列表。合并候选项列表可以用于在合并模式下对块进行编解码。当合并模式被用于编解码块时，块的运动信息(例如运动向量)可以由合并MV列表中的候选项MV之一来表示。因此，不是直接发送块的运动信息，而是将合并索引发送到解码器侧。解码器保持相同的合并列表，并使用该合并索引来取回合并索引通过信号发送的合并候选项。通常，合并候选项列表由少量候选项组成，并且发送合并索引比发送运动信息效率更高。当一个块以合并模式编解码时，运动信息通过信号发信合并索引而不是具体发送来与相邻块的运动信息“合并”。但是，预测残差仍然被发送。在预测残差为零或非常小的情况下，预测残差被“跳过”(即，跳过模式)，并且通过具有合并索引的跳过模式对块进行编解码以识别合并列表中的合并MV。尽管术语FRUC表示帧率提升的运动向量推导，但是底层技术旨在用于解码器推导一个或多个合并MV候选项，并且不需要具体发送运动信息。因此，在本公开中FRUC也被称为解码器推导的运动信息。由于模板匹配方法是基于模式的MV推导技术，所以在本专利技术中FRUC技术也被称为基于模式的MV推导(Pattern-basedMVDerivation，PMVD)。在解码器侧MV推导方法中，通过扫描所有参考帧中的所有MV来推导出被称为时间推导MVP的新的时间MVP。为了推导LIST_0时间推导MVP，对于LIST_0参考帧中的每个LIST_0MV，MV被缩放以指向当前帧。当前帧中该缩放MV指向的4x4块是目标当前块。MV被进一步缩放以指向目标当前块LIST_0中refIdx等于0的参考图片。进一步缩放的MV存储在目标当前块的LIST_0MV字段中。图3A和图3B分别是为List_0和List_1推导时间推导MVP的示例。在图3A和图3B中，每个小方块对应于一个4×4块。时间推导的MVP过程扫描所有参考图片中所有4x4块中的所有MV以生成当前帧的时间推导的LIST_0和LIST_1MVP。例如，在图3A中，块310、块312和块314分别对应于当前图片的4×4块，具有等于0的索引(即，refidx＝0)的List_0参考图片和具有等于1的索引(即，refidx＝1)的List_0参考图片。索引等于1的List_0参考图片中的两个块的运动向量320和330是已知的。然后，可以通过分别缩放运动向量320和330来推导时间推导MVP322和332。缩放后的MVP然后被分配给对应的块。类似地，在图3B中，块340、块342和块344分别对应于当前图片的4×4块，具有等于0的索引(即，refidx＝0)的List_1参考图片和具有等于1的索引(即，refidx＝1)的List_1参考图片。索引等于1的List_1参考图片中两个块的运动向量350和360是已知的。然后，可以通过分别缩放运动向量350和360来推导时间推导MVP352和362。对于双向匹配合并模式和模板匹配合并模式，应用两阶段匹配。第一阶段是PU级匹配，第二阶段是子PU级匹配。在PU级别匹配中，分别选择LIST_0和LIST_1中的多个初始MV。这些MV包括来自合并候选项(即，诸如HEVC标准中指定的常规合并候选项)的MV和来自时间推导MVP的MV。为两个列表生成两个不同的开始MV集。对于一个列表中的每个MV，通过组成该MV和通过将该MV缩放到另一个列表而推导的镜像MV来生成MV对。对于每个MV对，使用该MV对来补偿两个参考块。计算这两个块的绝对差值之和(sumofabsolutelydifferences，SAD)。具有最小SAD的MV对被选为最佳MV对。在为PU推导最佳MV之后，执行钻石搜索以微调MV对。微调精度为1/8像素。微调搜索范围限制在±1个像素内。最终的MV对是PU级别推导MV对。钻石搜索是在视频编解码领域众所周知的快速块匹配运动估计算法。因此，此处不重复钻石搜索算法的细节。对于第二阶段子PU级搜索，当前PU被划分成子PU。子PU的深度(例如3)在序列参数集(sequenceparameterset，SPS)中被发信。最小子PU尺寸是4x4块。对于每个子PU，选择LIST_0和LIST_1中的多个开始MV，其包括PU级推导MV的MV、零MV、当前子PU和右下块的HEVC同位TMVP、当前子PU的时间推导MVP以及左边和上部的PU/子PU的MV。通过本文档来自技高网...

【技术保护点】
一种使用运动补偿的视频编解码方法，其特征在于，所述方法包括：接收与当前图片中的当前块相关的输入数据；在编码器侧视频比特流中发信初始运动向量索引或在解码器侧从所述视频比特流确定所述初始运动向量索引；使用双向匹配、模板匹配或同时使用二者来推导选择的运动向量以微调与所述初始运动向量索引相关的初始运动向量；从包括所述选择的运动向量的一组运动向量候选项或运动向量预测子候选项确定最终运动向量或最终运动向量预测子；和分别在所述编码器侧或所述解码器侧使用所述最终运动向量或所述最终运动向量预测子对所述当前块或所述当前块的运动向量进行编码或解码。

【技术特征摘要】
【国外来华专利技术】2015.09.02 US 62/213,2571.一种使用运动补偿的视频编解码方法，其特征在于，所述方法包括：接收与当前图片中的当前块相关的输入数据；在编码器侧视频比特流中发信初始运动向量索引或在解码器侧从所述视频比特流确定所述初始运动向量索引；使用双向匹配、模板匹配或同时使用二者来推导选择的运动向量以微调与所述初始运动向量索引相关的初始运动向量；从包括所述选择的运动向量的一组运动向量候选项或运动向量预测子候选项确定最终运动向量或最终运动向量预测子；和分别在所述编码器侧或所述解码器侧使用所述最终运动向量或所述最终运动向量预测子对所述当前块或所述当前块的运动向量进行编码或解码。2.根据权利要求1所述的方法，其特征在于，所述初始运动向量索引对应于用于选择合并运动向量候选项的合并索引。3.根据权利要求1所述的方法，其特征在于，预定义的运动向量生成处理用于推导目标运动向量列表，并且所述初始运动向量索引指示来自所述目标运动向量列表的目标运动向量。4.根据权利要求1所述的方法，其特征在于，所述初始运动向量索引被推断为用于双向匹配、模板匹配或同时用于两者的预定义值。5.根据权利要求4所述的方法，其特征在于，所述预定义值是0。6.根据权利要求1所述的方法，其特征在于，使用率失真优化处理来在包括所述发信的所述初始运动向量和一个或多个其他运动补偿处理的当前运动补偿处理中选择，通过试行一组起始运动向量选择第二最终运动向量而无需发信所述初始运动向量。7.一种使用运动补偿的视频编解码方法，其特征在于，所述方法包括：接收与当前图片中的当前块相关的输入数据；使用模板匹配推导与第一参考列表中的第一参考图片相关的第一运动向量；使用模板匹配推导与第二参考列表中的第二参考图片相关的第二运动向量；如果所述第一运动向量和所述第二运动向量都存在：确定与用于当前块的当前模板和由所述第一运动向量指向的第一模板之间的第一单向预测相对应的第一成本；确定与用于所述当前块的当所述前模板和由所述第二运动向量指向的第二模板之间的第二单向预测相对应的第二成本；确定对应于所述当前块的所述当前模板与所述第一模板和所述第二模板的组合之间的双向预测的第三成本；根据所述第一成本、所述第二成本和所述第三成本中的最小成本，在所述第一单向预测、所述第二单向预测和所述双向预测中选择编解码模式；从包括与所述选择的编解码模式相关的对应运动向量的一组运动向量候选项或运动向量预测子候选项确定最终运动向量或最终运动向量预测子；和分别在编码器侧或解码器侧使用所述最终运动向量或所述最终运动向量预测子对所述当前块或所述当前块的当前运动向量进行编码或解码。8.根据权利要求7所述的方法，其特征在于，如果为所述第一参考列表和所述第二参考列表中的一个找到第一最佳模板，则使用所述第一最佳模板搜索所述第一参考列表和所述第二参考列表中的另一个中的第二最佳模板。9.根据权利要求8所述的方法，其特征在于，所述当前模板被修改为对应于((2×所述当前模板)-所述第一最佳模板)的修改后的当前模板，以搜索所述第一参考列表和所述的第二参考列表中的另一个中的所述第二最佳模板，并且在确定所述第二最佳模板之后，所述第二最佳模板用于在下一次迭代中搜索所述第一参考列表和所述第二参考列表中的一个中的所述第一最佳模板。10.一种使用运动补偿的视频编解码方法，其特征在于，所述方法包括：接收与当前图片中的当前块相关的输入数据；确定用于双向匹配合并模式的最佳起始运动向量对或用于模板匹配合并模式的个别列表的最佳起始运动向量；通过在围绕所述最佳起始运动向量对或者所述最佳起始运动向量的搜索窗口范围内进行搜索，将所述最佳起始运动向量微调为用于所述模板匹配合并模式的所述个别列表的微调运动向量；从包括与所述微调运动向量对或所述运动向量相关的选择的运动向量的一组运动向量候选项或运动向量预测子候选项中确定最终运动向量或最终运动向量预测子；和分别在编码器侧或解码器侧使用所述最终运动向量或所述最终运动向量预测子对所述当前块或所述当前块的当前运动向量进行编码或解码。11.根据权利要求10所述的方法，其特征在于，所述当前块对应于编解码单元(CU)或预测单元(PU)。12.根据权利要求10所述的方法，其特征在于，所述搜索窗口的范围取决于所述当前块的块尺寸，并且如果所述当前块的块尺寸大于阈值，则将所述搜索窗口的所述范围设置为第一范围，否则，所述搜索窗口的所述范围被设置为第二范围。13.根据权利要求12所述的方法，其特征在于，所述阈值，所述第一范围和所述第二范围中的至少一个在分片级，图片级或序列级发信。14.根据权利要求12所述的方法，其特征在于，所述阈值对应于16×16，所述第一范围对应于±8，并且所述第二范围对应于±4。15.根据权利要求10所述的方法，其特征在于，如果所述当前块的块尺寸小于或等于阈值，则所述最佳起始运动向量对和所述最佳起始运动向量未被微调，并且没有微调的运动向量对以及没有微...

【专利技术属性】
技术研发人员：庄子德，陈庆晔，徐志玮，黄毓文，林建良，孙域晨，沈怡廷，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71