使用稀疏光流表示的运动补偿制造技术

本发明专利技术提供了用于根据经过子采样的稀疏运动场估计密集运动场的运动向量的方法和装置。所述稀疏运动场包括两个或两个以上运动向量以及它们各自的起始位置。对于每个所述运动向量，推导将所述运动向量从其起点变换到目标点的变换。然后，所述变换后的运动向量贡献于目标位置上的运动向量估计。对每个运动向量的贡献进行加权。这种运动估计可以很容易地用于视频编码和解码。视频编码和解码。视频编码和解码。

【技术实现步骤摘要】
【国外来华专利技术】使用稀疏光流表示的运动补偿


[0001]本专利技术实施例大体上涉及视频处理领域，尤其涉及运动补偿以及用于视频处理的方法和装置。

技术介绍

[0002]视频译码(视频编码和解码)广泛用于数字视频应用，例如广播数字电视、基于互联网和移动网络的视频传输、视频聊天和视频会议等实时会话应用、DVD和蓝光光盘、视频内容采集和编辑系统以及安全应用的可携式摄像机。
[0003]即使视频相对较短，也需要大量的视频数据来描述，当数据要在带宽容量有限的通信网络中流式传输或以其它方式传输时，这样可能会造成困难。因此，视频数据通常要先压缩，然后通过现代电信网络进行传输。由于内存资源可能有限，当在存储设备中存储视频时，该视频的大小也可能是一个问题。视频压缩设备通常在信源侧使用软件和/或硬件对视频数据进行编码，然后传输或存储视频数据，从而减少表示数字视频图像所需的数据量。然后，对视频数据进行解码的视频解压缩设备在目的地侧接收压缩数据。在网络资源有限以及对更高视频质量的需求不断增长的情况下，需要改进压缩和解压缩技术，这些改进的技术能够在几乎不影响图像质量的情况下提高压缩比。
[0004]一般而言，图像压缩可以是无损或有损。在无损图像压缩中，原始图像可以从压缩图像中完美重建。但是，压缩率相当低。相比之下，有损图像压缩可以实现高压缩率，但缺点是无法完美重建原始图像。尤其是在低码率下使用时，有损图像压缩会引入可见的空间压缩伪影。

技术实现思路

[0005]本专利技术涉及用于估计给定目标位置上的运动向量的方法和装置。
>[0006]本专利技术由独立权利要求的范围限定。一些有利实施例在从属权利要求中提供。
[0007]具体地，本专利技术实施例提供了一种从稀疏运动场表示中估计给定目标位置上的运动向量的高效方法。这是通过对贡献运动向量进行加权来执行的，其中，所述贡献运动向量是通过对属于所述稀疏运动场表示的运动向量进行至少两种不同变换得到的。
[0008]根据一方面，提供了一种用于估计目标位置处的运动向量的方法。所述方法包括：获取两个或两个以上起始位置和分别从所述两个或两个以上起始位置开始的两个或两个以上运动向量；对于所述两个或两个以上起始位置中的每个起始位置，获取用于将从所述起始位置开始的运动向量变换到另一个位置的对应变换；通过使用所述对应变换将所述两个或两个以上运动向量中的每个运动向量从所述起始位置变换到所述对应变换的目标位置，确定两个或两个以上贡献运动向量；估计所述目标位置处的运动向量，其中，所述运动向量包括所述两个或两个以上贡献运动向量的加权平均值。
[0009]所述方法可以使用更复杂的运动模型来表示更大的区域，而使用更少的参数来描述更大的区域。所述参数可以从编码端可用的光流中预测，而不是使用众所周知的大部分
复杂的率失真优化(Rate
‑
Distortion Optimization，RDO)方法。当运动模型简单时，编码器可以执行更多子采样。更复杂的运动模型可以用于描述预测帧的较大区域内的运动，这减少了信令开销。
[0010]在一些实现方式中，非线性函数是高斯分布函数。这种非线性运动模型可以使运动场的任何稀疏表示增密。例如，距离对应于平方范数。很容易计算平方范数，尤其是与高斯分布函数结合使用。由于高斯分布存在距离的二次项，因此计算范数所需的平方根计算是不必要的。
[0011]根据一个实施例，所述获取变换包括：获取从所述另一个位置开始的运动向量；根据从所述起始位置开始的所述运动向量到从所述另一个位置开始的所述运动向量的仿射变换，估计仿射变换的参数。仿射变换可以涵盖通常存在于自然视频中的大量运动类型，例如缩放、旋转或平移。
[0012]例如，所述两个或两个以上起始位置属于一组Ns个起始位置，其中，Ns>2，所述起始位置按照预定义顺序排列；对于起始位置j，0≤j≤Ns，所述另一个位置是所述预定义顺序中的位置j+1。位置以及可能与之相关联的运动向量的排序可以高效存储和/或传输这些边信息参数。
[0013]例如，贡献向量的权重取决于相应变换运动向量的起始位置在所述预定义顺序内的位置。这样，权重与位置/运动向量的关联性可以在没有显式指示的情况下存储或传送。
[0014]根据一个实施例，所述两个或两个以上起始位置是图像的分片中的样本位置，其中，所述图像包括多个分片，所述分片是比所述图像小的一组图像样本。按照所述分片进行运动向量估计和变换可以更好地适应图像的内容，并且可以实现某种并行处理。
[0015]在一些示例性实现方式中，所述方法包括以下步骤：重建所述图像的所述分片的运动向量场，包括估计从所述分片的每个(例如每个整数)样本目标位置P(x,y)开始的运动向量，其中，所述运动向量不属于相应运动向量可用的两个或两个以上起始位置。这使得能够从稀疏(子样本)运动场中重建密集运动场，这样构成近似光流。光流可以用于在视频编解码器等中进行预测。需要说明的是，除了估计从不属于两个或两个以上起始位置中的每个位置开始的运动向量之外，在一些实施例中，还可以估计两个或两个以上起始位置。
[0016]根据一个实施例，所述两个或两个以上起始位置和分别从所述两个或两个以上起始位置开始的所述两个或两个以上运动向量是通过从与所述图像的所述分片有关的码流中解析得到的；在所述加权平均值中使用的权重是根据从所述码流中解析出的一个或多个参数确定的。在码流中提供这些参数使得编码器和解码器能够传输(运动向量场和/或视频图像的)这些参数。
[0017]此外，在一些实现方式中，所述图像的所述分片内的所述两个或两个以上起始位置是根据从所述码流中解码出的所述分片的特征确定的；分别从所述两个或两个以上起始位置开始的所述两个或两个以上运动向量是通过从与所述分片相关的码流中解析得到的；在所述加权平均值中使用的权重是根据从所述码流中解析出的一个或多个参数确定的。指示边信息以在码流中指定加权函数可以适应图像内容的权重，因此实现更准确的重建。
[0018]例如，所述两个或两个以上起始位置和分别从所述两个或两个以上起始位置开始的所述两个或两个以上运动向量是通过确定运动向量场和通过对所述获取到的运动向量场进行子采样得到的，其中，所述运动向量场包括所述图像的所述分片的每个(例如每个整
数)样本位置的运动向量；和/或相应贡献运动向量的权重是通过率失真优化或机器学习确定的。
[0019]根据一方面，提供了一种用于对图像进行解码的方法。所述方法包括：根据上述实施例和示例所述的估计样本目标位置处的运动向量；根据所述估计的运动向量和对应的参考图像，预测所述图像中的所述目标位置处的样本；根据所述预测重建所述目标位置处的样本。执行运动向量估计的解码器能够使用很少参数来重建图像的任何部分的运动向量。因此，当将参数传送到解码器时，可以高效使用速率。
[0020]根据一方面，提供了一种用于对图像进行编码的方法。所述方法包括：根据上述实施例和示例所述的估计目标位置处的运动向量；根据所述估计的运动向量和对应的参考图本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于估计目标位置(950)处的运动向量的方法(1200)，其特征在于，所述方法包括：获取(1210)两个或两个以上起始位置(901、925)和分别从所述两个或两个以上起始位置(901、925)开始的两个或两个以上运动向量(910、911)；对于所述两个或两个起始位置中的每个起始位置(901、925)，获取(1220)用于将从所述起始位置(901、925)开始的运动向量(910、911)变换到另一个位置(925、927)的对应变换(740、840)；通过使用所述对应变换(740、840)将所述两个或两个以上运动向量(910、911)中的每个运动矢量从所述起始位置(901、925)变换到所述对应变换(740、840)的目标位置(950)，确定(1230)两个或两个以上贡献运动向量(1140、1145)；估计(1240)所述目标位置(950)处的运动向量(1148)，其中，所述运动向量包括所述两个或两个以上贡献运动向量(1140、1145)的加权平均值。2.根据权利要求1所述的方法，其特征在于，所述加权平均值是通过使用权重对所述两个或两个以上贡献运动向量(1140、1145)中的每个贡献运动向量进行加权来计算的，其中，所述权重是所述起始位置(901、911)和所述目标位置(950)之间距离的非线性函数。3.根据权利要求2所述的方法，其特征在于，所述非线性函数是高斯分布函数。4.根据权利要求2或3所述的方法，其特征在于，所述距离对应于平方范数。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述获取(1220)对应变换包括：获取从所述另一个位置(925、927)开始的运动向量(911、912)；根据从所述起始位置(901、925)开始的运动向量(901、911)到从所述另一个位置(925、927)开始的运动向量(911、912)的仿射变换，估计仿射变换的参数。6.根据权利要求5所述的方法，其特征在于，所述两个或两个起始位置(901、925)属于一组Ns个起始位置，其中，Ns>2，所述起始位置按照预定义顺序排列；对于起始位置j，0≤j≤Ns，所述另一个位置是所述预定义顺序中的位置j+1。7.根据权利要求6所述的方法，其特征在于，贡献向量(1140、1145)的权重取决于相应变换运动向量的起始位置在所述预定义顺序内的位置。8.根据权利要求1至7中任一项所述的方法，其特征在于，所述两个或两个以上起始位置(901、925)是图像的分片中的样本位置，其中，所述图像包括多个分片，所述分片是一组图像样本，所述一组图像样本小于所述图像。9.根据权利要求8所述的方法，其特征在于，所述方法包括以下步骤：重建所述图像的所述分片的运动向量场，包括估计从所述分片的每个样本目标位置P(x,y)开始的运动向量，其中，所述每个样本目标位置不是相应运动向量可用的两个或两个以上起始位置。10.根据权利要求8或9所述的方法，其特征在于，所述两个或两个以上起始位置(901、925)和分别从所述两个或两个以上起始位置(901、925)开始的所述两个或两个以上运动向量(910、911)是通过从与所述图像的所述分片(S)有关的码流中解析得到的；
在所述加权平均值中使用的权重是根据从所述码流中解析出的一个或多个参数确定的。11.根据权利要求8或9所述的方法，其特征在于，所述图像的所述分片(S)内的所述两个或两个以上起始位置(901、92...

【专利技术属性】
技术研发人员：马克西姆，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：