【技术实现步骤摘要】
【国外来华专利技术】
【】所描述的公开涉及用于视频编解码系统中的视频处理方法和装置的运动补偿(motion compensation)，包括用于视频编码和解码系统中的运动补偿的基于模板匹配(template matching)的运动向量(motion vector，简写为mv)细化。
技术介绍
0、
技术介绍
1、数字视频系统已在各种设备和多媒体系统中得到应用，例如智能手机、数字电视、数字相机和其他设备。数字视频系统的技术通常受各种编解码标准的约束，例如h.261、mpeg-1、mpeg-2、h.263、mpeg-4和高级视频编解码(avc)/h.264。高效视频编解码(hevc)是由视频编解码联合协作小组(jct-vc)小组基于基于混合块的运动补偿变换编解码架构开发的标准。hevc标准提高了其先前标准avc的视频压缩性能，以满足对更高图像解析度、更高帧速率和更好视频质量的需求。此外，通用视频编解码(vvc)，也称为h.266，是hevc的继承者。vvc是一种视频压缩标准，具有改进的压缩性能并支持非常广泛的应用。然而，随着对高质量和高性能数字视频系统的需求不断增加，需要在当前标准(例如vvc和hevc)上改进视频编解码(例如视频编码和解码)。与通用视频编解码算法和规范相关的公开内容可从signal processing society网站(https://signalprocessingsociety.org/sites/default/files/uploads/community_involvement/docs/icme2020_
技术实现思路
0、
技术实现思路
1、以下公开提供了许多不同的实施例或示例，用于实现所提供主题的不同特征。下面描述组件和布置的具体示例以使本公开明了。当然，这些仅仅是示例并且不旨在进行限制。例如，在下面的描述中在第二特征上形成第一特征可以包括第一和第二特征直接接触形成的实施例，并且还可以包括在第一和第二特征之间形成附加特征，使得第一和第二特征可以不直接接触的实施例。此外，本公开可以在各种示例中重复参考数字和/或字母。这种重复本身并不规定所讨论的各种实施例和/或配置之间的关系。
2、本专利技术的一些方面涉及在视频编解码系统中的视频编码器或视频解码器中实施的装置和方法。在视频编码器或视频解码器中实现的方法可以包括根据仿射模式确定视频流的当前帧中的当前子块或块的控制点运动向量(cpmv)候选；确定当前帧中与当前子块关联的当前模板；检索参考帧中搜索区域内的仿射运动向量场(affine motion vectorfield)生成的参考模板；以及基于优化测量计算参考模板和当前模板之间的差异。此外，该方法还可以包括针对搜索区域内的不同参考模板重复(iterate)检索和计算差异，直到根据优化测量找到细化cpmv以最小化差异。优化测量可以是绝对差之和(sad)测量或平方差之和(ssd)测量。该方法还可以包括使用细化cpmv对当前子块应用运动补偿以对当前子块进行编码或解码。
3、本专利技术的一些方面涉及一种视频解码器，该视频解码器包括用于在视频解码器中进行运动补偿的装置。该装置可以包括被配置为执行与模板匹配相关的运动补偿操作的一个或多个电子设备或处理器。在一些实施例中，一个或多个电子设备或处理器可以被配置为接收与包括多个子块的当前帧中的当前块相关联的输入视频数据，其中该视频数据包括根据仿射模式用于当前帧中当前块的当前子块控制点运动向量(cpmv)候选；确定当前帧中与当前子块关联的当前模板；检索参考帧中搜索区域内的仿射运动向量场生成的参考模板；并基于优化测量计算参考模板和当前模板之间的差异。此外，一个或多个电子设备或处理器可以被配置为重复检索和计算搜索区域内的不同参考模板的差异，直到根据优化测量找到细化cpmv以最小化差异。此外，一个或多个电子设备或处理器可以被配置为使用细化cpmv对当前子块应用运动补偿以解码当前子块。
4、本专利技术的一些方面涉及一种视频解码器，该视频解码器包括用于视频解码器中的运动补偿(mc)的装置。该装置可以包括被配置为执行与模板匹配相关的运动补偿操作的一个或多个电子设备或处理器。在一些实施例中，一个或多个电子设备或处理器可以被配置为确定表示当前子块的初始预测p1的常规预测信号；确定表示当前子块的附加假设预测h(n+1)的附加预测信号。之后，一个或多个电子设备或处理器可以被配置为对运动向量mv(hn+1)执行基于模板匹配的细化过程，直到依据优化测量找到附加假设预测的最佳细化h′n+1＝mc(tm(mv(hn+1)))，其中该运动向量mv(hn+1)用于获取与当前子块相关联的当前模板的参考帧中的搜索区域内的附加假设预测hn+1。此外，一个或多个电子设备或处理器可以被配置为通过基于加权的叠加因子αn+1应用至少一个预测信号的样本加权叠加(sample-wiseweighted superposition)来获得一个整体预测信号pn+1，该至少一个预测信号由用于推导附加假设预测的mv的最佳细化h′n+1＝mc(tm(mv(hn+1)))获得。
本文档来自技高网...【技术保护点】
1.一种在视频编码器或视频解码器中实现的方法，该方法包括：
2.根据权利要求1所述的方法，其中，该优化测量包括绝对差和测量或平方差和测量。
3.根据权利要求1所述的方法，其中，该参考帧中的该搜索区域包括该参考帧的[-8，+8]像素范围。
4.根据权利要求1所述的方法，其中，该仿射模式包括仿射间模式或仿射合并模式。
5.根据权利要求1所述的方法，其中，与该当前子块相关联的该当前模板包括包括在该当前子块上方和/或左侧的相邻像素的模板。
6.根据权利要求1所述的方法，其中，该控制点运动向量候选是第一控制点运动向量候选，并且该方法还包括：
7.根据权利要求6所述的方法，其中，该第一细化控制点运动向量或该第二细化控制点运动向量是基于4参数仿射模型或6参数仿射模型的该当前子块的控制点运动向量。
8.一种用于视频解码器中的运动补偿的装置，该装置包括一个或多个电子设备或处理器，被配置为：
9.根据权利要求8所述的装置，其中该优化测量包括绝对差和测量或平方差和测量；以及
10.根据权利要求8
11.根据权利要求8所述的装置，其中，与该当前子块相关联的该当前模板包括包含该当前子块上方和左侧的相邻像素的模板。
12.根据权利要求8所述的装置，其中，该控制点运动向量候选是第一控制点运动向量候选，并且该一个或多个电子设备或处理器被配置为：
13.根据权利要求12所述的装置，其中该第一细化控制点运动向量或该第二细化控制点运动向量是基于4参数仿射模型或6参数仿射模型的该当前子块的控制点运动向量。
14.根据权利要求8所述的装置，其中该仿射模式包括仿射间模式，并且该一个或多个电子设备或处理器被配置为基于该当前子块的该控制点运动向量执行运动补偿，而无需从视频编码器传输运动向量差。
15.根据权利要求14所述的装置，其中该仿射模式包括该仿射间模式，并且该当前子块的该控制点运动向量基于6参数仿射模型。
16.根据权利要求8所述的装置，其中该一个或多个电子设备或处理器被配置为：从视频编码器接收附加辅助信息，用于该视频解码器的运动补偿。
17.一种用于视频解码器中的运动补偿的装置，该装置包括一个或多个电子设备或处理器，被配置为：
18.根据权利要求17所述的装置，其中，该第一预测信号包括单向预测信号或双向预测信号。
19.根据权利要求17所述的装置，其中，该整体预测信号Pn+1是基于样本加权迭加公式Pn+1＝(1-αn+1)Pn+αn+1h′n+1导出的，其中h′n+1是基于用于该附加假设预测的该MV的该最佳细化得到的。
20.根据权利要求17所述的装置，其中为了导出该整体预测信号，该一个或多个电子设备或处理器被配置为进一步基于应用双边滤波或预定义权重来导出该整体预测信号。
21.根据权利要求17所述的装置，其中，该一个或多个电子设备或处理器被配置为：
22.根据权利要求17所述的装置，其中，该优化测量包括绝对差和(SAD)测量或平方差和(SSD)测量；
...【技术特征摘要】
【国外来华专利技术】
1.一种在视频编码器或视频解码器中实现的方法，该方法包括：
2.根据权利要求1所述的方法，其中，该优化测量包括绝对差和测量或平方差和测量。
3.根据权利要求1所述的方法，其中，该参考帧中的该搜索区域包括该参考帧的[-8，+8]像素范围。
4.根据权利要求1所述的方法，其中，该仿射模式包括仿射间模式或仿射合并模式。
5.根据权利要求1所述的方法，其中，与该当前子块相关联的该当前模板包括包括在该当前子块上方和/或左侧的相邻像素的模板。
6.根据权利要求1所述的方法，其中，该控制点运动向量候选是第一控制点运动向量候选，并且该方法还包括：
7.根据权利要求6所述的方法，其中，该第一细化控制点运动向量或该第二细化控制点运动向量是基于4参数仿射模型或6参数仿射模型的该当前子块的控制点运动向量。
8.一种用于视频解码器中的运动补偿的装置，该装置包括一个或多个电子设备或处理器，被配置为：
9.根据权利要求8所述的装置，其中该优化测量包括绝对差和测量或平方差和测量；以及
10.根据权利要求8所述的装置，其中，该仿射模式包括仿射间模式或仿射合并模式。
11.根据权利要求8所述的装置，其中，与该当前子块相关联的该当前模板包括包含该当前子块上方和左侧的相邻像素的模板。
12.根据权利要求8所述的装置，其中，该控制点运动向量候选是第一控制点运动向量候选，并且该一个或多个电子设备或处理器被配置为：
13.根据权利要求12所述的装置，其中该第一细化控...
【专利技术属性】
技术研发人员：欧莱娜·邱巴赫，陈俊嘉，江嫚书，庄子德，陈庆晔，徐志玮，黄毓文，
申请(专利权)人：联发科技新加坡私人有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。