用于视频代码化中的运动补偿预测的基于运动场的参考帧渲染制造技术

渲染基于运动场的参考帧，该参考帧可被用于对要预测的视频序列的第一帧执行预测过程。确定来自视频序列的、用于第一帧的前向帧间预测的第一参考帧，以及来自视频序列的、用于第一帧的后向帧间预测的第二参考帧。使用对第一帧的块确定的相应的运动场来确定形成仿射单应模型的参数。通过将仿射单应模型应用于当前块，在基于运动场的参考帧内的共位位置处渲染重构参考帧的当前块。对每个重构参考帧块确定仿射单应模型以渲染基于运动场的参考帧。

Motion field based reference frame rendering for motion compensation prediction in video coding

【技术实现步骤摘要】
【国外来华专利技术】用于视频代码化中的运动补偿预测的基于运动场的参考帧渲染
技术介绍
数字视频流可以使用帧或静止图像的序列来表示视频。数字视频可以用于各种应用，包括例如视频会议、高清视频娱乐、视频广告或用户生成的视频的共享。数字视频流可以包含大量数据并且消耗计算设备的大量计算或通信资源以用于视频数据的处理、传输或存储。已经提出了用于降低视频流中的数据量的各种方法，包括压缩和其他编码技术。一种用于压缩的技术使用参考帧来生成对应于待编码的当前块的预测块。可以编码预测块和当前块之间的差异，而不是当前块本身的值，以减少编码的数据量。
技术实现思路
本公开总体上涉及编码和解码视频数据，并且更具体地，涉及渲染用于视频压缩中的运动补偿预测的基于运动场的参考帧。本公开描述了编码和解码方法和装置。根据本公开的实施方式的一种方法包括确定要预测的第一帧，所述第一帧在视频序列中；从所述视频序列确定第一参考帧以用于所述第一帧的前向帧间预测；从所述视频序列确定第二参考帧以用于所述第一帧的后向帧间预测；使用所述第一参考帧或所述第二参考帧中的至少一个来确定用于所述第一帧的块的相应运动场；使用所述运动场，确定形成所述第一帧的块的仿射单应模型(affinehomographicmodel)的参数；生成基于运动场的参考帧，其中，生成基于运动场的参考帧包括使用所述仿射单应模型和重构的参考帧，渲染与第一帧的块共位的所述基于运动场的参考帧的当前块；以及使用所述基于运动场的参考帧对所述第一帧执行预测过程。根据本公开的实施方式的装置包括非暂时性存储介质或存储器和处理器。介质包括可由处理器执行以执行包括下述步骤的方法的指令：确定要预测的第一帧，所述第一帧在视频序列中；使用来自所述视频序列、用于所述第一帧的前向帧间预测的第一参考帧或来自所述视频序列、用于所述第一帧的后向帧间预测的第二参考帧中的至少一个，确定用于所述第一帧的块的相应运动场；使用所述运动场，确定形成所述第一帧的块的仿射单应模型的参数；生成基于运动场的参考帧，其中，生成基于运动场的参考帧包括使用用于所述块的所述仿射单应模型和重构参考帧，渲染与第一帧的块共位的所述基于运动场的参考帧的当前块；以及使用所述基于运动场的参考帧对所述第一帧执行预测过程。根据本公开的实施方式的另一装置包括非暂时性存储介质或存储器和处理器。介质包括可由处理器执行以执行包括下述步骤的方法的指令：由视频序列确定第一帧；从所述视频序列确定第一参考帧以用于所述第一帧的前向帧间预测；从所述视频序列确定第二参考帧以用于所述第一帧的后向帧间预测；使用所述第一参考帧或所述第二参考帧中的至少一个来确定用于所述第一帧的至少一些块的运动场；使用所述运动场，生成至少一个仿射单应模型；生成与所述第一帧共位的基于运动场的参考帧，其中，生成基于运动场的参考帧包括使用至少一个所述仿射单应模型和重构参考帧，渲染所述基于运动场的参考帧的块；以及使用所述基于运动场的参考帧对所述第一帧执行预测过程。根据本公开的实施方式的另一种方法包括从视频序列中确定第一帧；使用来自所述视频序列、用于所述第一帧的前向帧间预测的第一参考帧和来自所述视频序列、用于所述第一帧的后向帧间预测的第二参考帧中的至少一个，确定用于所述第一帧的至少一些块的运动场；使用所述运动场，生成至少一个仿射单应模型；生成与所述第一帧共位的基于运动场的参考帧，其中，生成基于运动场的参考帧包括使用至少一个所述仿射单应模型和重构参考帧，渲染所述基于运动场的参考帧的块；以及使用所述基于运动场的参考帧对所述第一帧执行预测过程。在实施例的下述详细描述、所附权利要求和附图中公开了本公开的这些和其他方面。附图说明本文的描述参考了下述的附图，其中，在几个视图中相同的附图标记表示相同的部件，除非另有说明。图1是视频编码和解码系统的示意图。图2是可以实现发送站或接收站的计算设备的示例的框图。图3是待编码并随后解码的常见视频流的图。图4是根据本公开的实施方式的编码器的框图。图5是根据本公开的实施方式的解码器的框图。图6是视频序列的显示顺序中的一组帧的图。图7是图6的该组帧的代码化顺序的示例的图。图8是用于使用基于运动场生成的参考帧的视频序列的帧的运动补偿预测的过程的流程图。图9是用来解释根据本文的教导的运动矢量的线性投影的图。图10是用来解释根据本文的教导的仿射单应模型的图。图11是示出用于优化解码器的技术的图。具体实施方式可以通过多种技术来压缩视频流，以减少传输或存储视频流所需的带宽。可以将视频流编码为比特流，这涉及压缩，然后将其传输到解码器，该解码器可以解码或解压缩视频流，以为查看或进一步处理做准备。视频流的压缩通常通过空间和/或运动补偿预测来利用视频信号的空间和时间相关性。运动补偿预测例如使用一个或多个运动矢量来生成类似于要使用先前编码和解码的像素进行编码的当前块的块(也称为预测块)。通过编码运动矢量以及两个块之间的差，接收编码信号的解码器可以重新创建当前块。运动补偿预测也可以被称为帧间预测。在帧间预测过程中用于生成预测块的每个运动矢量是指当前帧以外的帧，即参考帧。参考帧可以位于视频流序列中当前帧之前或之后，并且可以是在被用作参考帧之前被重构的帧。在一些情况下，存在被用来编码或解码视频序列的当前帧的块的三个或以上参考帧。一个可以是被称为黄金帧的帧。另一个可以是最近编码或解码的帧。另一个可以是替代参考帧，其在序列中在一个或多个帧之前被编码或解码，但是以输出显示顺序，在那些帧之后被显示。以这种方式，替代参考帧是可用于后向预测的参考帧。一个或多个前向和/或后向参考帧可以被用来编码或解码块。可以基于所得的信噪比或速率失真的其他度量来测量当被用来编码或解码当前帧内的块时的参考帧的效力。在该技术中，直接从一个或多个可用参考帧中获得形成预测块的像素。参考像素块或其线性组合被用于预测当前帧中的给定编码块。该直接、基于块的预测可能无法捕获可从参考帧获得的真实运动活动。即，不能有效地捕获除平移运动以外的运动，例如物体的一般仿射运动。为此，运动补偿预测精度会受到影响。为了更充分地利用来自可用的双向参考帧(例如，一个或多个前向参考帧和一个或多个后向参考帧)的运动信息，本文教导的实施方式描述了使用运动场估计，生成或渲染在时间上与当前代码化帧共位(co-locate)的参考帧。该参考帧在本文中被称为基于运动场的参考帧。渲染基于运动场的参考帧涉及经由来自双向参考帧的运动矢量的线性投影，初始建立当前帧的运动场估计。对于当前帧中的任何给定块，分配给它及其周围的邻近块的估计运动矢量都是可用的。这种闭合边界运动信息允许对将当前块映射到参考帧中的像素的仿射单应模型的相对精确的估计。所得的基于运动场的参考帧能够处理非平移运动模型。本文首先参考可以实现本文的教导的系统来描述渲染基于运动场的参考帧以用于视频压缩和重构的更多细节。图1是视频编码和解码系统100的示意图。发送站102可以是例如具有诸如图2中所述的本文档来自技高网...

【技术保护点】
1.一种方法，包括：/n确定要预测的第一帧，所述第一帧在视频序列中；/n从所述视频序列确定第一参考帧以用于所述第一帧的前向帧间预测；/n从所述视频序列确定第二参考帧以用于所述第一帧的后向帧间预测；/n使用所述第一参考帧或所述第二参考帧中的至少一个来确定用于所述第一帧的块的相应的运动场；/n使用所述运动场，确定形成用于所述第一帧的块的仿射单应模型的参数；/n生成基于运动场的参考帧，其中，生成基于运动场的参考帧包括使用所述仿射单应模型和重构参考帧，渲染与所述第一帧的块共位的所述基于运动场的参考帧的当前块；以及/n使用所述基于运动场的参考帧对所述第一帧执行预测过程。/n

【技术特征摘要】
【国外来华专利技术】20171120 US 62/588,505;20180212 US 15/893,9781.一种方法，包括：
确定要预测的第一帧，所述第一帧在视频序列中；
从所述视频序列确定第一参考帧以用于所述第一帧的前向帧间预测；
从所述视频序列确定第二参考帧以用于所述第一帧的后向帧间预测；
使用所述第一参考帧或所述第二参考帧中的至少一个来确定用于所述第一帧的块的相应的运动场；
使用所述运动场，确定形成用于所述第一帧的块的仿射单应模型的参数；
生成基于运动场的参考帧，其中，生成基于运动场的参考帧包括使用所述仿射单应模型和重构参考帧，渲染与所述第一帧的块共位的所述基于运动场的参考帧的当前块；以及
使用所述基于运动场的参考帧对所述第一帧执行预测过程。


2.根据权利要求1所述的方法，其中，确定所述运动场包括：
使用所述第一参考帧或所述第二参考帧中的一个的运动矢量执行线性投影；以及
使用所述线性投影来确定从所述第一帧的块延伸到所述第一参考帧或所述第二参考帧中的至少一个的运动矢量。


3.根据权利要求1所述的方法，其中，确定所述运动场包括：
将用于预测所述第二参考帧的块的运动矢量投影到所述当前帧，以定义所述第一帧内的投影块位置；
使用用于预测所述第二参考帧的块的运动矢量，估计从所述投影块位置到所述第一参考帧的运动矢量；以及
使用用于预测所述第二参考帧的块的运动矢量，估计从所述投影块位置到所述第二参考帧的运动矢量。


4.根据权利要求3所述的方法，其中：
用于预测所述第二参考帧的块的运动矢量与具有参考帧索引的、用于预测所述第二参考帧的参考帧相关联，
所述当前帧具有当前帧索引，
所述第一参考帧具有第一帧索引，
所述第二参考帧具有第二帧索引，
估计从所述投影块位置到所述第一参考帧的运动矢量包括使用所述参考帧索引、所述当前帧索引、所述第一帧索引和所述第二帧索引，修改用于预测所述第二参考帧的块的运动矢量；以及
估计从所述投影块位置到所述第二参考帧的运动矢量包括使用所述参考帧索引、所述当前帧索引、所述第一帧索引和所述第二帧索引，修改用于预测所述第二参考帧的块的运动矢量。


5.根据权利要求1至4中任一项所述的方法，其中，渲染所述当前块包括，对于所述当前块中的每个像素位置：
使用所述仿射单应模型将所述当前块中的该像素位置映射到所述重构参考帧内的像素位置；以及
通过将所述重构参考帧内的像素位置的像素值分配给所述当前块中的像素位置，为所述基于运动场的参考帧生成所述当前块。


6.根据权利要求1至5中任一项所述的方法，其中，确定用于所述当前帧的块的相应运动场包括假设用于块的每个运动场在时间上是线性的。


7.根据权利要求1至6中任一项所述的方法，其中，所述重构参考帧是所述第一参考帧或所述第二参考帧中的一个。


8.根据权利要求1至7中任一项所述的方法，其中，使用所述基于运动场的参考帧对所述第一帧执行所述预测过程包括，针对所述第一帧内待预测的第一块，在所述基于运动场的参考帧内执行运动搜索。


9.根据权利要求1至8中任一项所述的方法，进一步包括：
确定用于编码所述第一帧的第一块的第一运动矢量，其中：
确定用于所述第一帧的块的相应的运动场包括对与由所述第一运动矢量标识的像素位置重叠的所述第一帧的每个块确定相应的运动场。


10.根据权利要求1至9中任一项所述的方法，其中，使用所述运动场确定形成所述仿射单应模型的参数包括，针对所述第一帧的块，使用所述块和至少两个相邻块的中心位置以及使用所述块和所述至少两个相邻块的运动场，确定形成用于所述块的仿射单应模型的参数。


11.一种装置，包括：
处理器；以及
非暂时性存储介质，所述非暂时性存储介质包括指令，所述指令可由所述处理器执行以执行包括下述步骤的方法：
确定要预测的第一帧，所述第一帧在视频序列中；
使用来自所述视频序列的、用于所述第一帧的前向帧间预测的第一参考帧或来自所述视频序列的、用于所述第一帧的后向帧间预测的第二参考帧中的至少一个，确定用于所述第一帧的块的相应的运动场；
使用所述运动场，确定形成用于所述第一帧的块的仿射单应模型的参数；...

【专利技术属性】
技术研发人员：许耀武，韩敬宁，江劲涵，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US