用于视频编码的超宽区域运动估计制造技术

本发明专利技术提供一种用于视频编码的超宽区域运动估计。超宽区域运动估计能够包括多个阶段的运动搜索作为用于编码或者解码视频序列的帧的过程的一部分。第一阶段运动搜索包括使用以与超级索引元素的位置相对应的位置为中心的第一运动搜索窗口，所述超级索引元素能够指示帧中具有运动的区域。响应于第一阶段运动搜索，能够确定可能运动的区域，以指示有可能包括帧内运动的超级块的列表。然后使用以与可能运动的区域相对应的位置为中心的另一个运动搜索窗口对所述列表中的超级块执行第二阶段运动搜索。能够将在所述第二阶段中搜索的超级块的列表保持在缓存中以减少存储器的需求。

Ultra wide range motion estimation for video coding

The invention provides an ultra wide area motion estimation for video coding. Ultra wide range motion estimation can include multiple stages of motion search as part of the process for encoding or decoding frames of video sequences. The first stage motion search includes the first motion search window centered on the position corresponding to the super index element, which can indicate the region with motion in the frame. In response to the first stage motion search, a region of possible motion can be determined to indicate a list of super blocks that may include intra frame motion. Then, another moving search window centered on the location of the possible motion region is used to perform the second stage motion search of the super block in the list. A list of super blocks that can be searched in the second stage is kept in the cache to reduce memory requirements.

【技术实现步骤摘要】
用于视频编码的超宽区域运动估计
技术介绍
数字视频流通常表示使用帧或者静止图像的序列的视频。每个帧能够包括数个块，而这些块可以包含描述色值、亮度或者针对像素的其他属性的信息。典型视频流中的数据量大，并且视频的传输和贮存能够使用到相当的计算或通信资源。由于视频数据中所涉及的数据量大，所以传输和存储需要高性能压缩和解压缩。
技术实现思路
本公开大体上涉及编码和解码视频数据，并且更具体地涉及使用超宽区域运动估计以供视频编码。根据本公开的一个实施方式的装置被提供用于编码视频序列的当前帧的块。所述装置包括处理器。所述处理器被配置成执行存储在非暂时性存储介质中的指令以对所述当前帧执行第一运动搜索，以确定可能运动的区域。所述处理器被进一步配置成执行存储在非暂时性存储介质中的指令以基于所述可能运动的区域，识别有可能包括所述当前帧内运动的超级块的列表。所述处理器被进一步配置成执行存储在非暂时性存储介质中的指令以对所述超级块的列表中的一个或多个超级块执行第二运动搜索。相对于参考帧，检测该运动。所述处理器被进一步配置成执行存储在非暂时性存储介质中的指令以基于所述第二运动搜索的结果来生成预测块，其中当前帧的块可使用预测块来编码。根据本公开的另一个实施方式的装置被提供用于解码经编码的比特流中所包括的经编码的帧的块。所述装置包括处理器。所述处理器被配置成执行存储在非暂时性存储介质中的指令以对所述经编码的帧执行第一运动搜索，以确定可能运动的区域。所述处理器进一步被配置成执行存储在非暂时性存储介质中的指令以基于所述可能运动的区域，识别有可能包括所述经编码的帧内运动的超级块的列表。所述处理器被进一步配置成执行存储在非暂时性存储介质中的指令以对所述超级块列表中的一个或多个超级块执行第二运动搜索。相对于参考帧检测该运动。所述处理器被进一步配置成执行存储在非暂时性存储介质中的指令以基于所述第二运动搜索的结果来生成预测块，其中经编码的帧的块可使用预测块来解码。根据本公开的一个实施方式的方法被提供用于使用计算设备来解码经编码的视频信号，所述经编码的视频信号包括经编码的帧。该方法包括对经编码的帧执行第一运动搜索，以确定可能运动的区域。所述方法进一步包括：基于所述可能运动的区域，识别有可能包括所述经编码的帧内运动的超级块的列表。该方法进一步包括对所述超级块的列表中的一个或多个超级块执行第二运动搜索。相对于参考帧检测该运动。该方法进一步包括：基于所述第二运动搜索的结果来生成预测块，其中经编码的帧的块可使用预测块来解码。在下面实施例的详细描述、所附权利要求以及附图中公开了本公开的这些和其他方面。附图说明下面参照附图来描述本文的内容，其中贯穿几个视图，相似的附图标记是指相似的部分。图1是视频编码和解码系统的示意图。图2是能够实现发射站或者接收站的计算设备的示例的框图。图3是待编码并且随后解码的视频流的图示。图4是根据本公开的实施方式的编码器的框图。图5是根据本公开的实施方式的解码器的框图。图6是示出使用超宽区域运动估计来编码或解码视频序列的帧的示例的框图。图7是用于超宽区域运动估计来编码或解码视频序列的帧的过程的流程图。具体实施方式视频压缩方案可以包括将各自的图像或者帧分解成更小的部分，诸如块，并且使用多种技术来生成输出比特流，以针对输出中的各自块来限制所包括的信息。经编码的比特流能够被解码以从有限的信息来重建源图像。典型的视频压缩和解压缩方案使用运动搜索窗口来检测基准帧内运动，该基准帧可能在视频序列的显示次序中位于当前帧之前或之后，但在编码或解码次序中位于当前帧之前。如果在基准帧的一部分内检测到运动，则将基准帧的该部分与当前帧的对应部分相比较。如果比较的结果指示基准帧与当前帧的相应部分相似，则基准帧能够被使用于在编码或解码过程期间预测当前帧的运动。运动搜索窗口通常具有有限的尺寸，使得其无法检测整个帧中的运动。此外，在一些情形下，诸如在硬件编码器或解码器的场境(context)下，运动搜索窗口围绕帧内特定像素位置被固定。然而，随着视频技术改进和分辨率提高，固定的运动搜索窗口可能仅能检测帧的相对较小部分内的运动。例如，对于固定的运动搜索窗口而言，会难以跟踪4K视频序列的帧内运动。受限制的运动搜索能够导致经压缩视频序列的差压缩效率以及差视觉质量。基准帧的至少一部分须被存储于硬件存储器内，诸如外部的动态随机存取存储器(DRAM)，以用于执行运动估计。作为用于运动估计的阈值步骤，基准帧贮存器能够从存储整个基准帧的硬件存储器预取基准帧数据。执行预取以验证在执行运动估计的时间能够访问待使用于运动估计的数据的全部。然而，这限制了运动估计。例如，自从基准帧贮存器从硬件存储器预取基准帧数据以来，运动搜索窗口仍保持围绕给定的像素位置固定。如果帧的一些部分正在第一方向上运动并且其他部分正在第二方向上运动，则在运动估计操作期间可能没有方法调整运动搜索窗口的位置而不会招致实质性的板载存储问题。一个解决方案可以是使运动搜索窗口包括固定位移。利用固定位移，如果先前帧被确定成包括主要朝向帧的单个部分的运动，则运动搜索窗口能够被调整，使得其能够在下一帧内以该单个部分或附近为中心。然而，这种解决方案会是不可靠，原因是任何调整都具有一帧延迟。此外，其在帧的多个部分正在相反的方向上运动的情况下没有改善运动估计。另一个解决方案可以包括使用区块(tile)编码来减少板载存储器(例如，静态随机存取存储器(SRAM))的需求。在区块编码中，帧能够被分成多个垂直的组块(chunk)或者区块，其中每个区块能够被单独地编码。然而，因为运动搜索窗口能够叠加区块，区块编码对编码器增加额外的带宽。例如，鉴于在水平方向上+/-128像素的窗口与512像素的区块宽度，用于编码帧的总带宽实际上为帧大小的1.5倍。本公开的实施方式包括用于使用非固定的运动搜索窗口的用于视频编码的超宽区域运动估计的系统和方法。在多个阶段中执行运动估计，所述多个阶段包括处理关于当前帧的一个或多个超级块的数据。在第一阶段处，第一运动搜索窗口搜索当前帧的当前超级块的重点索引的部分内的运动。在第一阶段处确定超级块的运动所在的假设区域。假设区域指示当前帧的包括运动的超级块。在第二阶段处，第二运动搜索窗口围绕当前帧内的假设区域为中心。第二运动搜索窗口能够在大小上小于第一运动搜索窗口，以便提供更加集中的搜索区域。由第二阶段所致的运动数据可用于预测当前帧内的运动。在本文中，首先参照能够实现使用超宽区域运动估计以供视频编码的系统来描述其进一步细节。图1是视频编码和解码系统100的示意图。例如，发射站102能够是具有诸如图2中所述的内部硬件配置的计算机。然而，发射站102的其他合适的实施方式也可行。例如，发射站102的处理能够被分布于多个设备之中。网络104能够使发射站102与接收站106相连接，用于视频流的编码和解码。具体地，能够在发射站102中编码视频流并且能够在接收站106中解码经编码的视频流。例如，网络104能够是因特网(Internet)。网络104也能够是局域网(LAN)、广域网(WAN)、虚拟专用网(VPN)、蜂窝电话网络或者将视频流从发射站102传递至该示例中的接收站106的任何其他装置。在一个示例中，接收站106能够是具有诸如图2中所述的本文档来自技高网...

【技术保护点】
一种用于编码视频序列的当前帧的块的装置，所述装置包括：处理器，所述处理器被配置成：对所述当前帧执行第一运动搜索，以确定可能运动的区域；基于所述可能运动的区域，识别有可能包括所述当前帧内运动的超级块的列表；对所述超级块的列表中的一个或多个超级块执行第二运动搜索；以及基于所述第二运动搜索的结果来生成预测块，其中所述当前帧的所述块可使用所述预测块来编码。

【技术特征摘要】
2016.05.16 US 62/336,935;2016.12.15 US 15/380,1921.一种用于编码视频序列的当前帧的块的装置，所述装置包括：处理器，所述处理器被配置成：对所述当前帧执行第一运动搜索，以确定可能运动的区域；基于所述可能运动的区域，识别有可能包括所述当前帧内运动的超级块的列表；对所述超级块的列表中的一个或多个超级块执行第二运动搜索；以及基于所述第二运动搜索的结果来生成预测块，其中所述当前帧的所述块可使用所述预测块来编码。2.根据权利要求1所述的装置，其中，使用具有与所述当前帧的超级索引元素的位置相对应的中心的第一运动搜索窗口，执行所述第一运动搜索，以及其中，使用具有与所述可能运动的区域的位置相对应的中心的第二运动搜索窗口，执行所述第二运动搜索。3.根据权利要求2所述的装置，其中，所述超级索引元素对应于基准帧的可用于编码所述当前帧的所述块的像素。4.根据权利要求2所述的装置，其中，所述第二运动搜索窗口的大小小于所述第一运动搜索窗口的大小。5.根据权利要求1所述的装置，其中，所述处理器进一步被配置成通过以下步骤来识别所述超级块的列表：识别包括所述可能运动的区域的至少一部分的特定超级块；识别与所述特定超级块相邻的至少一个超级块；以及包括所述特定超级块和所述超级块的列表中的至少一个超级块。6.根据权利要求5所述的装置，其中，所述处理器进一步被配置成：响应于识别各个超级块，将指示所述超级块的列表中的所述各个超级块的数据存储于缓存内，其中，使用存储在所述缓存内的数据，执行所述第二运动搜索。7.根据权利要求1所述的装置，其中，所述第二运动搜索的结果包括指示针对所述当前帧的所述块的运动估计的运动矢量。8.一种用于解码包括在经编码的比特流中的经编码的帧的块的装置，所述装置包括：处理器，所述处理器被配置成：对所述经编码的帧执行第一运动搜索，以确定可能运动的区域；基于所述可能运动的区域，识别有可能包括所述经编码的帧内运动的超级块的列表；对所述超级块的列表中的一个或多个超级块执行第二运动搜索；以及基于所述第二运动搜索的结果来生成预测块，其中所述经编码的帧的所述块可使用所述预测块来解码。9.根据权利要求8所述的装置，其中，使用具有与所述经编码的帧的超级索引元素的位置相对应的中心的第一运动搜索窗口，执行所述第一运动搜索，以及其中，使用具有与所述可能运动的区域的位置相对应的中心的第二运动搜索窗口，执行所述第二运动搜索。10.根据权利要求9所述的装置，其中，所述超级索引元素对应于基准帧的可用于解码所述经编码的帧的所述块的像素。11.根据权利要求9所述的...

【专利技术属性】
技术研发人员：尤哈·佩卡·曼尼嫩，
申请(专利权)人：谷歌公司，
类型：发明
国别省市：美国,US