用于视频编码的自适应搜索窗口定位的方法和系统技术方案

一种利用与呈现的视频帧相关联的运动提示的方法、系统和计算机程序产品。这些运动提示被提供给视频编码器以引导由所述视频编码器执行的运动补偿预测过程。具体地，这些运动提示可用于将搜索窗口更好地定位在参考视频帧中，以更好地捕获所述参考视频帧中的像素块的运动。因为所述搜索窗口更好地定位在所述参考视频帧中，所以可在不牺牲编码图像质量的水平的情况下减小执行所述编码过程所需的存储器。

Adaptive search window localization for video coding

Method, system and computer program product for using motion cues associated with rendered video frames. These motion cues are provided to the video encoder to guide the motion compensation prediction process performed by the video encoder. In particular, these motion cues may be used to better position the search window in a reference video frame to better capture the motion of a pixel block in the reference video frame. Because the search window is better positioned in the reference video frame, it is possible to reduce the memory required to perform the encoding process without sacrificing the level of the encoded image quality.

【技术实现步骤摘要】
【国外来华专利技术】相关申请的交叉引用本申请要求2014年8月1日提交的美国专利申请号14/450,094的权益，所述美国专利申请以引用的方式并入本文中，就好像是完全陈述那样。专利
本申请总体上涉及视频编码，并且更具体地，涉及运动补偿预测。背景视频编码器通常应用运动补偿预测，以便通过利用连续视频帧之间的时间相关性来减少编码的数据量。运动补偿预测是根据参考视频帧的变换来描述当前视频帧的过程。运动补偿预测基于以下事实：一个视频帧与另一个视频帧之间的唯一差异通常是摄像机移动的结果或者帧中对象移动的结果。这意味着表示一个帧的许多信息将与下一个帧中所使用的信息相同。运动补偿预测由以下组成：为当前帧中的每个块找到参考帧内的“最佳可能”匹配。然而，就计算复杂性和存储带宽而言，搜索整个参考帧是价格高昂的。因此，软件和硬件视频编码器的实际实现方式搜索位于预测运动矢量周围的参考帧内的选择区(即搜索范围)，所述预测运动矢量基于先前编码块来计算。此外，在许多情况下，编码器不包含存储整个参考帧的足够大的存储器。因此，在实践中，视频编码器通常仅存储参考帧的子集(即搜索窗口)。此搜索窗口的中心通常在参考帧中的相应地定位的块(即共位块)上。预测运动矢量随后限制为保持在此搜索窗口内部。搜索区是搜索窗口与搜索范围之间的重叠区域。就计算复杂性和存储带宽而言，搜索窗口越大，视频编码过程变得越昂贵。具体地，搜索窗口越大，所需的存储器占用就越大，并且视频编码器的硬件实现方式的成本就越高。另一方面，对于快速运动帧，由于对象将很可能移动到搜索窗口外部，所以较小的搜索窗口可能导致用于有效地捕获运动的运动补偿预测过程失败。实际上，这将导致将当前块编码成具有高能残差的帧内预测块或帧间预测块。在这两种情况下，编码器的率失真(R-D)性能将分别受到影响。因此，将需要较高的比特率来对视频帧进行编码。概述因此，所需要的是可使用具有有限存储器的视频编码器来有效地对快速运动视频进行编码的系统和方法。在某些情况下，实施方案包括一种方法，所述方法用于：基于由产生参考视频帧和当前视频帧的应用程序所接收的运动信息来生成运动提示，以及将运动提示提供给视频以引导由视频编码器执行的运动补偿预测过程来对当前视频帧进行编码。此运动提示可用于更好地定位参考视频帧中的搜索窗口，以更好地捕获参考视频帧中的像素块的运动。因为搜索窗口更好地定位在参考视频帧中，所以可在不牺牲编码图像质量的水平的情况下减小执行所述编码过程所需的存储器。下文参照附图详细地描述各实施方案的另外特征和优点，以及实施方案的结构和操作。应注意，各实施方案不限于本文所述的特定实施方案。本文呈现此类实施方案仅用于说明目的。基于本文中所包含的教义，其他实施方案对于相关领域普通技术人员将是显而易见的。附图简述并入本文并且形成本说明书的一部分的附图示出本公开的实施方案，并且与描述一起，进一步用于解释本公开的原理并且用于使相关领域技术人员能够制作并使用各实施方案。图1示出可实现本公开的实施方案的系统的功能框图。图2示出通常由视频编码器采用以使用参考视频帧来对当前视频帧进行编码的运动补偿预测过程。图3示出根据本公开的实施方案的用于利用与呈现的视频帧相关联的运动提示以更有效地对所呈现的视频帧进行编码的系统的功能框图。图4示出根据本公开的实施方案的将呈现的视频帧划分成区域和子区域，以便使用运动提示来更有效地对所呈现的视频帧进行编码。图5示出根据本公开的实施方案的识别搜索窗口位置，以便使用运动提示来更有效地对所呈现的视频帧进行编码。图6示出根据本公开的实施方案的识别额外的搜索窗口位置，以便使用运动提示来更有效地对所呈现的视频帧进行编码。图7示出根据本公开的实施方案的用于使用运动提示来引导由视频编码器所执行的运动补偿预测过程的方法的流程图。图8示出根据本公开的实施方案的用于生成运动矢量的系统的功能框图，所述运动矢量用于引导由视频编码器所执行的运动补偿预测过程。图9示出根据本公开的实施方案的用于确定运动提示以引导由视频编码器所执行的运动补偿预测过程的方法的流程图。图10示出可用于实现本公开的各方面的示例性计算机系统的框图。将参照附图对本公开的实施方案进行描述。元件首次出现在其中的附图通常是由对应参考编号中的最左侧的数字指示。优选实施方案的详述在以下描述中，阐述众多特定细节以便提供对本公开的实施方案的全面理解。然而，对本领域技术人员显而易见的是，可在没有这些特定细节的情况下实践各实施方案，包括结构、系统和方法。本文中的描述和表示是由本领域那些经验丰富或者熟练的技术人员用来将他们的工作要旨传达给本领域的其他技术人员的常用手段。在其他情况下，众所周知的方法、程序、部件和流程(circuitry)未进行详细描述，以便避免不必要地模糊本公开的各个方面。在本说明书中，参考“一个实施方案”、“实施方案”、“示例性实施方案”等表明所描述的实施方案可包括某一特定特征、结构或特性，但是每个实施方案可能不一定包括所述特定特征、结构或特性。此外，此类措词不一定指同一实施方案。此外，当结合一个实施方案来描述某一特定特征、结构或特性时，应当认为，无论是否明确描述，使得此类特征、结构或特性结合其他实施方案起作用是在本领域的技术人员知识范围内的。1.综述本公开涉及与一种系统和方法有关的实施方案，所述系统和方法用于：基于由产生呈现的视频帧的应用程序所接收的信息来利用运动提示，以便更有效地对所呈现的视频帧进行编码。在描述系统和方法的另外细节之前，提供视频编码的简要综述。一般来说，视频编码是通过消除冗余图像信息来减少对所呈现的视频帧的序列进行编码所需的比特量的过程。例如，视频帧的序列中紧密邻近的视频帧通常是非常类似的并且通常仅在以下方面不同：它们所描绘的场景中的一个或多个对象在连续帧之间略微移动。视频编码被配置来通过针对紧密匹配将要编码的当前视频帧中的像素块的像素块来搜索参考视频帧，来在至少一个实例中利用视频帧之间的此时间冗余度。视频编码器利用以下事实：通常不需要存储或传输当前视频帧中的对于参考视频帧中的紧密匹配的像素块来说是冗余的像素块。相反，视频编码器基于参考视频帧中的紧密匹配的像素块来形成当前视频帧中的像素块的预测，以确定冗余信息，并且随后从当前视频帧中的像素块中减去预测，从而仅留下残差。此过程通常称为运动补偿预测。随后可在没有冗余信息的情况下将残差(或基于残差确定的信息)发送到接收装置，以减少传输当前视频帧所需的比特量。视频解码器可基于残差来重构当前视频帧中的像素块。可使用例如由视频编码器执行的相同预测方法来基于参考视频帧中的紧密匹配的像素块来预测冗余信息。在一个实施方案中，本公开的系统和方法利用与所呈现的视频帧的序列相关联的全局运动提示，以改善由视频编码器执行的运动补偿预测过程来对所呈现的视频帧的序列进行编码。如上所述的运动补偿预测包括搜索参考视频帧中的紧密匹配将要编码的当前视频帧中的像素块的像素块。改善此搜索过程可减少用于对当前视频帧中的像素块进行编码的时间量和/或比特量。在另一个实施方案中，本公开的系统和方法利用与所呈现的视频帧的序列相关联的半全局运动提示，以改善由视频编码器执行的运动补偿预测过程来对所呈现的视频帧的序列进行编码。如本领域普通技术人员基于本文的教导将理本文档来自技高网...

【技术保护点】
一种方法，其包括：基于由产生参考视频帧和当前视频帧的应用程序接收的运动信息来生成运动提示；以及将所述运动提示提供给视频编码器，以引导由所述视频编码器执行的运动补偿预测过程来对所述当前视频帧进行编码。

【技术特征摘要】
【国外来华专利技术】2014.08.01 US 14/450,0941.一种方法，其包括：基于由产生参考视频帧和当前视频帧的应用程序接收的运动信息来生成运动提示；以及将所述运动提示提供给视频编码器，以引导由所述视频编码器执行的运动补偿预测过程来对所述当前视频帧进行编码。2.如权利要求1所述的方法，其中所述参考视频帧和所述当前视频帧是视频帧序列中的连续视频帧。3.如权利要求1所述的方法，其中所述将所述运动提示提供给所述视频编码器包括：将运动矢量提供给所述视频编码器。4.如权利要求1所述的方法，其中所述视频编码器：计算基于搜索窗口在所述参考视频帧中的位置来对锚定块进行编码的率失真(R-D)成本，所述锚定块是所述当前视频帧的子区域的第一块；将所述R-D成本与R-D阈值进行比较；基于所述比较来在所述参考视频帧中识别额外的搜索窗口位置；并且基于所述比较来将所述搜索窗口的所述位置更新为所述额外的搜索窗口位置中的一个。5.如权利要求1所述的方法，其中所述生成所述运动提示包括：将所述当前视频帧划分成区域；以及基于所述运动信息来确定所述区域中的一个区域的运动矢量。6.如权利要求5所述的方法，其中所述视频编码器将所述当前视频帧的所述区域划分成子区域，每个子区域具有锚定块。7.如权利要求6所述的方法，其中所述视频编码器基于运动矢量分布、所述参考视频帧与所述当前视频帧之间的时间差以及场景改变提示中的至少一个来将所述当前视频帧的所述区域划分成所述子区域。8.如权利要求5所述的方法，其中所述视频编码器使用所述运动矢量来确定将要用来对所述当前视频帧的所述区域的子区域中的像素块进行编码的搜索窗口在所述参考视频帧中的位置。9.如权利要求8所述的方法，其中所述视频编码器使用平移了所述运动矢量的所述子区域中的锚定块来确定将要用来对所述当前视频帧的所述子区域中的所述像素块进行编码的所述搜索窗口在所述参考视频帧中的所述位置。10.如权利要求9所述的方法，其中所述视频编码器在所述参考视频帧中的所述搜索窗口中搜索在搜索范围内的像素块，以便对所述当前视频帧的所述子区域中的所述像素块进行编码。11.一种系统，其包括：自适应搜索窗口定位器，其被配置来：从产生参考视频帧和当前视频帧的应用程序接收运动提示；将所述当前视频帧划分成一个或多个区域；基于所述运动提示确定将要用来对所述当前视频帧中的所述一个或多个区域中的一个区域中的像素块进行编码的搜索窗口在所述参考视频帧中的位置；以及运动估计装置，其被配置来基于所述搜索窗口的所述位置来对所述像素块进行编码。12.如权利要求11所述的系统，其中所述第...

【专利技术属性】
技术研发人员：卡勒德·马姆欧，伊哈卜·M·A·阿梅尔，
申请(专利权)人：ATI科技无限责任公司，
类型：发明
国别省市：加拿大;CA