用于不可用参考图像的自适应时间滤波器制造技术

一种解码器，包括电路，所述电路被配置成接收比特流，从所述比特流中解码出多个视频帧，确定针对当前帧的当前块启用了长期参考块更新模式，确定包括像素值并使用所述多个视频帧的长期参考块更新，以及利用所述长期参考块更新来更新长期参考帧的一部分。还描述了相关的装置、系统、技术和物品。

【技术实现步骤摘要】
【国外来华专利技术】用于不可用参考图像的自适应时间滤波器相关申请的交叉引用本申请要求于2018年11月27日提交的、标题为“ADAPTIVETEMPORALFILTERFORANUNAVAILABLEREFERENCEPICTURE”的美国临时专利申请No.62/771,918的优先权，其全部内容通过引用并入本文。
本专利技术大体上涉及视频压缩领域。具体地，本专利技术涉及用于不可用参考图像的自适应时间滤波器。
技术介绍
视频编解码器可以包括对数字视频进行压缩或解压缩的电子电路或软件。其可以将未压缩视频转换为压缩格式，反之亦然。在视频压缩的上下文中，对视频进行压缩(和/或执行其某些功能)的设备通常可以被称为编码器，而对视频进行解压缩(和/或执行其某些功能)的设备则可以被称为解码器。视频质量、用于表示视频的数据量(例如，由比特率决定)、编码算法和解码算法的复杂度、对数据丢失和错误的敏感性、编辑的容易性、随机访问、端对端延迟(例如，延迟时间)等之间存在复杂的关系。运动补偿可以包括通过考虑照相机和/或视频中对象的运动，预测视频帧或者给定参考帧(例如先前帧和/或未来帧)的一部分的方法。其可以用于视频压缩，对视频数据进行编码和解码，例如使用运动图像专家组(MPEG)-2(也称为高级视频编码(AVC)和H.264)标准进行编码和解码。运动补偿可以根据参考图像到当前图像的变换来描述图像。当与当前图像进行比较时，参考图像可以是时间上先前的；或者，当与当前图像比较时，参考图像可以是来自未来的，或者参考图像可以包括长期参考(longtermreference，LTR)帧。当可以根据先前传输和/或存储的图像精确地合成图像时，可以提高压缩效率。诸如H.264和H.265之类的当前的标准允许通过被保存并可用作参考帧发送新解码的帧的信号，更新诸如长期参考帧之类的参考帧。这种更新由编码器发信号通知，并且整个帧被更新。但是更新整个帧的成本很高，尤其是在只有一小部分静态背景发生了改变的情况下。部分帧更新是可能的，但通常会涉及复杂且计算成本高的过程来实现帧更新。此外，这种更新可以通常涉及当背景的一部分改变时将当前帧的一部分复制到该帧，这可能需要频繁更新，并且可能无法反映未来的帧背景，从而导致相对较差的比特率性能。
技术实现思路
一方面，一种解码器，包括电路，所述电路被配置成：接收比特流，从所述比特流中解码出多个视频帧，确定针对当前帧的当前块启用了不可用参考块更新模式，确定包括像素值并使用所述多个视频帧的不可用参考块更新，以及利用所述不可用参考块更新来更新不可用帧的一部分。另一方面，一种方法包括接收比特流。所述方法包括从所述比特流中解码出多个视频帧。所述方法包括确定针对当前帧的当前块启用了不可用参考块更新模式。所述方法包括确定包括像素值并使用所述多个视频帧的不可用参考块更新。所述方法包括利用所述不可用参考块更新来更新不可用参考帧的一部分。在此描述的主题的一种或多种变型的细节在下面的附图和具体实施方式中进行阐述。根据具体实施方式和附图以及权利要求，在此描述的主题的其他特征和优点将显而易见。附图说明为了说明本专利技术，附图示出了本专利技术的一个或多个实施例的各个方面。然而，应当理解的是，本专利技术不限于附图中所示的精确布置和手段，在附图中:图1是说明使用多个视频帧来更新不可用参考帧的一部分(例如，块)的示例性过程的过程流程图；图2示出了两个示例性不可用参考帧缓冲器，其中，一个用于连续模式，另一个用于重置模式；图3是示出根据当前主题的一些实施方式，使用连续模式的示例性过程的过程流程图；图4是示出根据当前主题的一些实施方式，使用重置模式的示例性过程的过程流程图；图5是示出了根据当前主题的一些方面，使用时间过滤器更新不可用参考帧的示例性过程的过程流程图；图6是示出了能够利用不可用参考帧块更新来对比特流进行解码的示例性解码器的系统框图；图7是示出根据当前主题的一些方面，使用多个帧对具有不可用参考帧块更新的视频进行编码的示例性过程的过程流程图，该示例性过程可以提高压缩效率；图8是示出能够使用多个帧发送关于解码器侧不可用参考帧块更新的信号的示例性视频编码器的系统框图；以及图9是可以用于实现在此公开的任何一个或多个方法及其任何一个或多个部分的计算系统的框图。附图不一定是按比例绘制的，并且可以用虚线、示意图和局部视图来说明。在某些情况下，可能已经省略了对于理解实施例而言不必要的细节或者使得其他细节难以理解的细节。各个附图中相似的附图标记表示相似的元件。具体实施方式本公开中描述的实施例涉及不可用参考帧的接收、更新和操作。不可用参考(unavailablereference，UR)帧是用于在一个或多个图像组(groupofpicture，GOP)中创建预测帧和/或图像的帧和/或图像，但是所述帧和/或图像本身不显示在视频图像中。视频比特流中被标记为UR帧的帧可以用作参考，直到该帧被比特流信令显式地移除为止。UR帧可以提高长时间内具有静态背景(例如，视频会议或停车场监控的视频的背景)的场景中的预测和压缩效率。然而，随着时间的推移，场景的背景逐渐改变(例如，汽车在其停在空位置时，成为背景场景的一部分)。因此，通过允许更好的预测，更新UR帧可以提高压缩性能。诸如H.264和H.265之类的当前的标准允许通过发送新解码的帧被保存并可用作参考帧的信号，更新诸如LTR帧之类的类似帧。这种更新由编码器发信号通知，并且整个帧被更新。但是更新整个帧的成本很高，尤其是在只有一小部分静态背景发生了改变的情况下。一些现有的压缩技术仅使用前一帧的部分来更新诸如LTR帧之类的帧，这可能导致预测性能下降。当前主题的一些实施方式包括使用多个视频帧来更新LTR帧的一部分(例如，块)。例如，可以通过将时间滤波器应用于解码帧的缓冲器，以计算同位像素的统计量来更新LTR帧。例如，可以计算多个解码帧的每像素均值、中位数和/或模式，并将每像素均值、中位数和/或模式用于更新LTR帧的一部分。在一些实施方式中，当前主题可以支持连续模式和重置模式二者。通过使用多个帧来更新诸如UR和/或LTR帧之类的帧而不是仅使用前一帧的部分，可以改善预测，从而可以减小了残差并提高了比特率性能。图1是说明使用多个视频帧来更新UR帧的一部分(例如，块)的示例性过程100的过程流程图。通过使用多个帧来更新UR帧而不是仅使用前一帧的部分，可以改善预测，从而可以减小了残差并提高了比特率性能。仍然参考图1，在步骤105处，由解码器接收比特流。比特流可以例如包括但不限于：在比特流中找到的数据，当使用数据压缩时，所述比特流是解码器的输入。比特流可以包括对视频进行解码所需的信息。接收可以包括提取和/或解析比特流中的块以及相关联的信令信息。在一些实施方式中，比特流可以包括编码视频帧(其包括编码块)。每个编码块可以包括编码树单元(codingtreeunit，CTU)、编码单元(codingunit，CU)本文档来自技高网...

【技术保护点】
1.一种解码器，所述解码器包括电路，所述电路被配置成：/n接收比特流；/n从所述比特流中解码出多个视频帧；/n确定针对当前帧的当前块启用了不可用参考块更新模式；/n确定包括像素值并使用所述多个视频帧的不可用参考块更新；以及/n利用所述不可用参考块更新，更新不可用帧的一部分。/n

【技术特征摘要】
【国外来华专利技术】20181127 US 62/771,9181.一种解码器，所述解码器包括电路，所述电路被配置成：
接收比特流；
从所述比特流中解码出多个视频帧；
确定针对当前帧的当前块启用了不可用参考块更新模式；
确定包括像素值并使用所述多个视频帧的不可用参考块更新；以及
利用所述不可用参考块更新，更新不可用帧的一部分。


2.根据权利要求1所述的解码器，其中，确定所述不可用参考块更新包括：计算所述多个视频帧的同位像素的统计量。


3.根据权利要求2所述的解码器，其中，所述统计量包括均值、中位数和/或众数。


4.根据权利要求1所述的解码器，其中，确定所述不可用参考块更新包括：对所述多个视频帧进行时间滤波操作。


5.根据权利要求1所述的解码器，还被配置成确定包括多个帧的不可用参考缓冲器，对新帧进行解码，以及将所述新帧添加至所述不可用参考缓冲器。


6.根据权利要求5所述的解码器，还被配置成确定启用了重置模式，接收场景改变信号，以及清空所述长期帧缓冲器。


7.根据权利要求5所述的解码器，还被配置成确定启用了重置模式，检测场景改变，以及清空所述不可用参考帧缓冲器。


8.根据权利要求5所述的解码器，还被配置成确定所述不可用参考缓冲器已经达到或超过预定义最大允许缓冲器大小，并从所述不可用参考缓冲器中去除帧。


9.根据权利要求1所述的解码器，还被配置成将每个视频帧分割成块，并将时间滤波器应用于所述视频帧的块，以计算所述不可用参考块更新。


10.根据权利要求1所述的解码器，还被配置成对新帧进行解码，其中，确定所述不可用参考块更新包括使用所述不可用参考帧和所述新帧。


11.根据权利要求1所述的解码器，进一步包括：
熵解码处理器，被配置成接收所述比特流并将所述比特流解码为量化系数；
逆量化和逆变换处理器，被配置成处理所述量化系数，包括执行逆离散余弦；
解块滤波器；
帧缓冲器；以及
帧内预测处理器。


...

【专利技术属性】
技术研发人员：V·阿季奇，H·卡瓦，B·富尔赫特，
申请(专利权)人：OP方案有限责任公司，
类型：发明
国别省市：美国;US