利用连续坐标系的运动补偿和运动估计制造技术

本申请涉及利用连续坐标系的运动补偿和运动估计。一种配置为解码器的信号处理器内的运动补偿系统，运动补偿系统包括：运动补偿块，用于接收视频信号的参考图像和关于运动补偿的信息，并用于生成运动补偿图像；以及组合器，用于将运动补偿后的图像与残余数据进行组合，以重构视频信号的目标图像的再现，其中关于运动补偿的信息用于确定与运动补偿图像相关联的多个显示元素的多个运动矢量，其中每个运动矢量用于确定分数坐标集合，分数坐标集合指示参考图像内分辨率高于该参考图像的位置，其中分数坐标集合用于确定参考图像中多个显示元素的分组，以及其中对参考图像中多个显示元素的分组进行加权以确定运动补偿图像中显示元素的值。

【技术实现步骤摘要】
利用连续坐标系的运动补偿和运动估计本申请是申请日为2013年5月14日，申请号为201380037629.7，专利技术名称为“利用连续坐标系的运动补偿和运动估计”的申请的分案申请。
技术介绍
在本领域中已知用以处理多维信号或沿着时间演进的信号的压缩和解压缩的许多技术。这是音频信号、视频信号和类似于在科学和医学领域中使用的体积信号之类的其它多维信号的情况。为了实现高压缩比，那些技术利用信号内部的空间和时间相关。常规方法识别参考并尝试确定当前位置与给定参考之间的信号的差异。这是在其中参考是已接收并解码的空间平面的一部分的空间域以及其中将信号时间的单个时刻（例如，帧序列中的视频帧）取做在某个持续时间内的参考的时域两者中完成的。例如这是MPEG系列压缩算法的情况，其中，将先前解码的宏块取做空间域中的参考，并且在时域中使用I帧和P帧作为用于后续P帧的参考。已知技术以许多方式来利用空间相关和时间相关，采用多个不同的技术以便对差异进行识别、简化、编码和传输。根据常规方法，为了利用空间相关，执行域变换（例如到频域），并且然后执行信息的有损删除和量化。在时域中，替代地，常规方法传输当前样本与经运动补偿的参考样本之间的量化差异。为了使样本之间的相似性最大化，编码器尝试对比参考信号来估计沿着时间发生的修改。这在常规编码方法（例如，MPEG系列技术、VP8等）中称为运动估计和补偿。运动信息被传输到解码器，以便通过利用在解码器处可用于参考样本的信息而实现当前样本的重构：在现有技术方法中，这是使用以宏块为基础的运动矢量完成的。换言之，运动矢量可以指示以包括多个显示元素的块级的运动。传统上，已经借助于偏移运动矢量来表示运动信息，即指示参考图片中的图片（例如，平面元素块或“像元（pel）”，对于2D图像的情况而言常常称为图片元素或“像素”）的类似部分的位置的矢量。例如，如上文所讨论的，使用块运动补偿（BMC），可以将视频序列的图像划分成像素块。可以基于参考帧中的相等尺寸的块B0来预测当前图像中的每个块B。可以将相对于在当前图像中B的位置的在参考图像中块B0的位置编码为偏移运动矢量。在这样的情况下，运动矢量指示像素块的估计x和y移动的反向（特别地，其指示移动的反向，因为其从B指向B0，而移动从B0指向B）。通常以亚像素（subpixel）精度对运动矢量进行编码（即，还可以指定像素的分数的移动），因为编码器想要还能够捕获小于全像素的微小移动。根据MPEG系列编解码器，除移位至预测块的位置之外，块未被变换，并且必须通过指示块B0与块B之间的差异的残余（residual）数据来对附加信息进行编码。常常将运动估计称为确定运动矢量的过程，该运动矢量适当地描述从一个图片至另一个（通常来自视频序列中的相邻帧）的变换。运动估计通常是基于以下假设：图像值（例如，用适当色彩空间表达的亮度、色彩等）随时间推移保持恒定、但其在图像中的位置可改变。通过运动矢量进行的运动估计的基础假设是由运动矢量识别的图像部分（例如，宏块）的可能移动局限于平移运动。在现有技术中，基于离散坐标系（即，利用符号的有限集）来表达被关联至像元或一组像元的运动矢量的坐标，其拥有与当前图像相同分辨率（“像元分辨率”，即当前图像和参考图像具有相同的分辨率）的步宽或拥有亚像元分辨率（例如，以非限制性示例的方式，像元的1/4、像元的1/8等）。在此最后情况下，参考图像具有高于当前图像的分辨率，以便允许运动矢量指向具有亚像素分辨率（相对于当前图像的分辨率）的给定位置；基本上，用给定比例因数对参考图像进行超采样，并且用超采样参考图像的坐标系中的整数来表达运动矢量的坐标。换言之，即使显示器不具有显示此类高分辨率的能力，对于给定参考图像而言也产生图像的超采样（高分辨率）再现，仅仅为了支持运动补偿操作。可以使用运动矢量来识别图像再现的哪个部分将被用来重构显示信号。利用具有亚像元分辨率的运动矢量允许运动估计和运动补偿方面的更好精度，而且意味着在解码器侧要求较高的存储器量的显著缺点，因为存储“超高分辨率”的参考图像的缓冲器需要存储比对于在相应显示屏上显示所必要的数目高得多的数目的像元。基于块运动补偿和使用整数坐标（即，具有固定精度的坐标，诸如像素的1/8）的偏移运动矢量的已知编码技术具有用本文所述的新型方法来适当地解决的多个重要缺点。最特别地，具有给定亚像素精度的偏移坐标的使用通常要求缓冲处于给定亚像素分辨率的参考图像的上采样再现（例如，甚高分辨率版本）：因此，捕获非常微小的移动（例如，像素的1/128，例如在高帧速率视频信号的情况下或在诸如具有2度旋转的1%缩放之类的复杂移动的情况下）由于存储器限制和对于计算超采样参考图像所必要的高计算量而是不可行的。超高分辨率参考图像的生成和处理由于许多原因而是不合期望的。
技术实现思路
本文中的实施例相对于常规系统和方法偏离，提供了用以估计、编码和利用运动信息从而基于参考图像的运动补偿而生成当前图像的适当预测（或“目标图像”）的新型方法，因此支持诸如运动估计、运动补偿、信号编码、信号质量增强（例如，降噪、超分辨率等）、信号内插（例如，帧速率的增加）、特效、计算机图形、医学成像、计算机视觉、增强现实应用等之类方法。本文中的一个实施例包括一种用于基于参考图像的任意位置的值来计算或预测目标图像的元素的值的方法，由此独立于被用作重构图像再现的基础的参考图像的实际样本网格（即，分辨率）而用分数坐标（诸如浮点数、高精度定点数、实数、非整数等）来表达此类任意位置。与以较高分辨率预先计算并产生超采样参考图像且然后基于超采样网格借助于整数坐标系来执行运动补偿相对，本文所示的某些实施例不需要预先计算参考图像的任何超采样再现，并且替代地在参考图像中的任何的任意位置处在运行时（例如，不限于，经由运行时再采样技术）计算参考元素。根据本文中的实施例，通过使用大体上连续的坐标系并且用相对有限的缓冲器存储器成本和计算成本来有效地支持非常微小的移动（例如，在必要时，甚至小于像元的1/10）的运动补偿可以有效地实现运动补偿。基本上，根据本文中的实施例的运动补偿允许极高的精度（例如，捕获小于像元的1/100的移动），并且可利用在运行时执行的再采样操作，而不需要存储处于较高分辨率的大的参考图像。与传统运动补偿方法相结合本文中的实施例可以是有用的，并且与运动区和运动矩阵相结合可以是甚至更有用的（与用偏移运动矢量进行的块运动补偿相对），如在相关申请中所述。为了简单起见，本文所示的非限制性实施例将信号称为沿着时间维度以给定采样速率发生的多维样本（即，被组织为具有一个或多个维度的阵列的一个或多个元素的集合，例如以非限制性示例的方式，被组织为二维图像的图片元素的集合）序列。在本描述中，将常常使用术语“图像”或“平面”（意图具有“超平面”的最宽泛意义，即具有任何数目的维度和给定采样网格的元素阵列）来识别沿着样本序列的信号的样本的数字再现，其中，每个平面具有针对其维度（例如，X和Y）中的每一个的给定分辨率，并且包括用一个或多个“值”或“设置”（例如，以非限制性示例的本文档来自技高网...

【技术保护点】
1. 一种配置为解码器的信号处理器内的运动补偿系统，所述运动补偿系统包括：/n运动补偿块，用于接收视频信号的参考图像和关于运动补偿的信息，并用于生成运动补偿图像；以及/n组合器，用于将运动补偿后的图像与残余数据进行组合，以重构视频信号的目标图像的再现，/n其中所述关于运动补偿的信息用于确定与运动补偿图像相关联的多个显示元素的多个运动矢量，/n其中每个运动矢量用于确定分数坐标集合，所述分数坐标集合指示参考图像内分辨率高于该参考图像的位置，/n其中所述分数坐标集合用于确定所述参考图像中多个显示元素的分组，以及/n其中对所述参考图像中多个显示元素的分组进行加权以确定运动补偿图像中显示元素的值。/n

【技术特征摘要】
20120514 US 61/646797;20120515 US 61/6474261.一种配置为解码器的信号处理器内的运动补偿系统，所述运动补偿系统包括：
运动补偿块，用于接收视频信号的参考图像和关于运动补偿的信息，并用于生成运动补偿图像；以及
组合器，用于将运动补偿后的图像与残余数据进行组合，以重构视频信号的目标图像的再现，
其中所述关于运动补偿的信息用于确定与运动补偿图像相关联的多个显示元素的多个运动矢量，
其中每个运动矢量用于确定分数坐标集合，所述分数坐标集合指示参考图像内分辨率高于该参考图像的位置，
其中所述分数坐标集合用于确定所述参考图像中多个显示元素的分组，以及
其中对所述参考图像中多个显示元素的分组进行加权以确定运动补偿图像中显示元素的值。


2.根据权利要求1所述的运动补偿系统，其中根据再采样内核来确定用于多个显示元素的分组的权重的集合。


3.根据权利要求2所述的运动补偿系统，其中所述权重的集合是从查找表中检索的。


4.根据权利要求1所述的运动补偿系统，其中所述多个运动矢量用于基于对象从一个图像平面到另一图像平面的分数移动来生成运动补偿图像，所述分数移动处于亚像素水平。


5.根据权利要求1所述的运动补偿系统，其中所述分数坐标集合是基于仿射变换来确定的。


6.根据权利要求5所述的运动补偿系统，其中所述仿射变换执行扩缩、旋转、偏移、剪切和视角改变中的一项或多项。


7.一种...

【专利技术属性】
技术研发人员：卢卡·罗萨托，圭多·梅亚尔迪，
申请(专利权)人：卢卡·罗萨托，圭多·梅亚尔迪，
类型：发明
国别省市：意大利;IT