使用分离的学习通路和滤波通路的视频代码化制造技术

在视频解码器内引入用于滤波和机器学习的分离通路。第一通路对重构帧的第一副本进行滤波以产生滤波帧，所述滤波帧被包括在输出视频流中以供显示。第二通路使用学习模型处理所述重构帧的第二副本，诸如用于训练和/或推理。所述第一通路和所述第二通路是在编码器或解码器的所述重构级之后被引入的。因此，所述第一通路和所述第二通路中的每一个的输入都在没有使用非内射函数的情况下产生的，而且虽然所述第一通路包括至少一个非内射函数，但是所述第二通路没有。因此，与使用所述滤波帧训练所述学习模型相比，使用所述重构帧的所述第二副本训练所述学习模型会导致分类精度上限更大。

【技术实现步骤摘要】
【国外来华专利技术】使用分离的学习通路和滤波通路的视频代码化
技术介绍
数字视频流可以使用帧或静止图像的序列来表示视频。数字视频能够被用于各种应用，包括例如视频会议、高清晰度视频娱乐、视频广告或用户生成的视频共享。数字视频流能够包含大量数据并且消耗计算设备的大量计算或通信资源以进行视频数据的处理、传输或存储。已经提出各种方法(包括编码或者解码技术)来减少视频流中的数据量。
技术实现思路
根据本公开的实施方式的解码器包括熵解码级、去量化级、逆变换级、重构级、第一后置重构通路和第二后置重构通路。熵解码级对表示来自编码比特流的编码视频帧的语法元素进行熵解码，以产生量化变换系数。去量化级对量化变换系数进行去量化，以产生变换系数。逆变换级对变换系数进行逆变换，以产生预测残差。重构级重构预测残差，以产生重构帧。第一后置重构通路使用一种或多种滤波技术对重构帧的第一副本进行滤波，以产生滤波帧，其中，滤波帧被包括在输出视频流中，以在用户设备上显示。第二后置重构通路使用重构帧的第二副本训练学习模型。与使用滤波帧训练学习模型相比，使用重构帧的第二副本训练学习模型会导致学习模型的分类精度上限更大。根据本公开的实施方式的方法包括对表示编码视频数据的量化变换系数进行去量化，以产生变换系数。方法进一步包括对变换系数进行逆变换，以产生预测残差。方法进一步包括重构预测残差，以产生重构帧。方法进一步包括对重构帧的第一副本进行滤波，以产生滤波帧。方法进一步包括使用学习模型处理重构帧的第二副本，以标识视频内容。根据本公开的实施方式的集成电路包括执行指令的处理器。指令包括从编码比特流中解码编码视频数据，以产生重构帧。指令进一步包括使用环内滤波器在第一解码通路上处理重构帧的第一副本，以产生输出视频流以用于在用户设备上显示。指令进一步包括通过使用学习模型在第二解码通路上处理重构帧的第二副本，以标识视频内容。在以下对实施方式、所附权利要求和附图的详细描述中公开了本公开的这些和其它方面。附图说明这里的描述参考下面描述的附图，其中，贯穿若干视图，相似的附图标记指代相似的部分。图1是视频编码和解码系统的示例的示意图。图2是可以实现发送站或接收站的计算设备的示例的框图。图3是待编码并随后解码的视频流的示例的图。图4是根据本公开的实施方式的编码器的示例的框图。图5是根据本公开的实施方式的解码器的示例的框图。图6是包括分离的学习和滤波通路的编码器的示例的框图。图7是包括分离的学习和滤波通路的解码器的示例的框图。图8是用于使用分离的学习和滤波通路的视频代码化的技术的示例的流程图。图9是使用用于视频编码的学习模型来训练和推理的技术的示例的流程图。具体实施方式视频压缩方案可以包括将相应的图像或帧分解成较小的部分(诸如块)，并且使用限制输出中的相应块所包括的信息的技术生成压缩比特流。压缩比特流可以被解码，以从有限的信息重新创建源图像。典型的视频压缩和解压缩技术使用许多工具来提高代码化效率，该编码效率可以通过速率和失真两者来测量。这些工具中有许多使用在输入和输出之间具有一对一映射的内射函数。因此，内射函数的输入可以从此内射函数的输出中标识和恢复。然而，那些工具中有一些使用在输入和输出之间具有一对多映射的非内射函数。非内射函数的使用会导致一些信息丢失。例如，典型的解码器通过一系列解码级处理压缩比特流，并且最终在输出视频流中发送最后解码级的输出。每个解码级都对它从系列中较早的解码级接收的输入应用函数，并且产生输出以供系列中较晚的解码级使用。这些解码级中有许多(例如熵解码级、去量化级、逆变换级、预测级和重构级)只使用内射函数；然而，这些解码级中有一些(例如滤波级)使用非内射函数。非内射函数的使用会使输出视频流不再与压缩比特流有一对一的映射。在一些情况下，编码器或解码器可以包括机器学习方面，诸如用于训练学习模型以标识视频内容和/或用于对视频内容进行推理。视频代码化中常用的机器学习方法是使用解码管道的输出作为学习模型的输入。因此，在解码过程中，最后解码级(例如滤波)的输出被用作学习模型的输入。同样地，在编码过程中，最后重构路径级(例如滤波)的输出可以被用作学习模型的输入。然而，这种方法存在缺陷，因为使用非内射函数进行视频代码化会导致信息丢失。例如，在编码或解码过程中执行的滤波技术为了人类观看的目的而对视频数据进行表面处理，诸如通过减少视频帧内的块效应，以改善视频的整体外观。通过滤波做出的改变会导致信息丢失，这可能会对学习模型的性能产生负面影响。例如，学习模型可能会因为滤波所导致的信息丢失而对通过滤波输出的视频内容进行错误分类。这种错误分类可能会损害或限制机器学习的精度。因此，可以想象的是，编码器或解码器的机器学习方面可以得益于编码器或解码器中的非内射函数(例如滤波级)的删除。然而，那些非内射函数对于编码或解码过程可能仍然很重要。例如，典型的编码器或解码器可以缓存滤波级的输出，以用于未来帧的预测。因此，从编码器和解码器中删除非内射函数是不可行的。本公开的实施方式解决了诸如在视频编码器中使用用于滤波和用于机器学习的分离通路的问题。第一通路对重构帧的第一副本进行滤波，以产生滤波帧，该滤波帧被包括在输出视频流中，以在用户设备上显示。第二通路使用学习模型处理重构帧的第二副本(例如用于训练和/或推理)。第一通路和第二通路是在编码器或解码器的重构级之后引入的。因此，第一通路和第二通路中的每一个的输入都是在没有使用非内射函数的情况下产生的，而且虽然第一通路包括至少一个非内射函数，但是第二通路没有。因此，与使用滤波帧训练学习模型相比，使用重构帧的第二副本训练学习模型会导致学习模型的分类精度上限更大。因此，使用重构帧的第二副本训练学习模型改善了或至少保持了学习模型当时的性能上限。分离学习通路和滤波通路进一步有利于视频编码器的机器学习方面，因为学习通路避免了与滤波视频数据相关联的计算复杂性。在此首先参考可以在其中实现它们的系统来描述用于使用分离的学习和滤波通路的视频代码化的技术的更多细节。图1是视频编码和解码系统100的示意图。发送站102可以是例如具有硬件的内部配置的计算机，诸如关于图2中描述的计算机。然而，发送站102的其它实施方式是可能的。例如，发送站102的处理能够分布在多个设备当中。网络104能够连接发送站102和接收站106以用于对视频流进行编码和解码。具体地，能够在发送站102中对视频流进行编码，并且能够在接收站106中对编码视频流进行解码。网络104可以是例如因特网。网络104也可以是局域网(LAN)、广域网(WAN)、虚拟专用网(VPN)、蜂窝电话网络、或将视频流从发送站102在此示例中转移到接收站106的任何其它手段。在一个示例中，接收站106可以是具有硬件的内部配置的计算机，诸如在图2中描述的计算机。然而，接收站106的其它合适的实施方式是可能的。例如，接收站106的处理能够分布在多个设备当中。视频编码和解码系统100的其它实施方式是可本文档来自技高网...

【技术保护点】
1.一种解码器，包括：/n熵解码级，所述熵解码级被配置为对表示来自编码比特流的编码视频帧的语法元素进行熵解码，以产生量化变换系数；/n去量化级，所述去量化级被配置为对所述量化变换系数进行去量化，以产生变换系数；/n逆变换级，所述逆变换级被配置为对所述变换系数进行逆变换，以产生预测残差；/n重构级，所述重构级被配置为重构所述预测残差，以产生重构帧；/n第一后置重构通路，所述第一后置重构通路被配置为使用一种或多种滤波技术对所述重构帧的第一副本进行滤波，以产生滤波帧，其中，所述滤波帧用于被包括在输出视频流中，以在用户设备上显示；以及/n第二后置重构通路，所述第二后置重构通路被配置为使用所述重构帧的第二副本来训练学习模型。/n

【技术特征摘要】
【国外来华专利技术】20180911 US 16/127,6371.一种解码器，包括：
熵解码级，所述熵解码级被配置为对表示来自编码比特流的编码视频帧的语法元素进行熵解码，以产生量化变换系数；
去量化级，所述去量化级被配置为对所述量化变换系数进行去量化，以产生变换系数；
逆变换级，所述逆变换级被配置为对所述变换系数进行逆变换，以产生预测残差；
重构级，所述重构级被配置为重构所述预测残差，以产生重构帧；
第一后置重构通路，所述第一后置重构通路被配置为使用一种或多种滤波技术对所述重构帧的第一副本进行滤波，以产生滤波帧，其中，所述滤波帧用于被包括在输出视频流中，以在用户设备上显示；以及
第二后置重构通路，所述第二后置重构通路被配置为使用所述重构帧的第二副本来训练学习模型。


2.根据权利要求1所述的解码器，其中，所述第二后置重构通路被配置为使用所述重构帧的所述第二副本和从所述第一后置重构通路接收到的滤波器侧信息来训练所述学习模型。


3.根据权利要求1或2所述的解码器，其中，在所述熵解码级、所述去量化级、所述逆变换级、所述重构级和所述第二后置重构通路执行的每个函数都是内射函数，其中，在所述第一后置重构通路执行的至少一个函数是非内射函数。


4.根据权利要求1或2所述的解码器，其中，所述重构帧是第一重构帧，其中，所述重构级被进一步配置为产生第二重构帧，其中，所述第一后置重构通路被配置为对所述第二重构帧的第一副本进行滤波，其中，所述第二后置重构通路被配置为使用经训练的学习模型对所述第二帧的第二副本执行一个或多个推理操作。


5.根据权利要求1至4中任一项所述的解码器，其中，所述一种或多种滤波技术包括使用环内滤波器执行的滤波技术。


6.根据权利要求1至5中任一项所述的解码器，其中，与使用所述滤波帧训练所述学习模型相比，使用所述重构帧的所述第二副本训练所述学习模型导致了所述学习模型的更大分类精度上限。


7.一种方法，包括：
对表示编码视频数据的量化变换系数进行去量化，以产生变换系数；
对所述变换系数进行逆变换，以产生预测残差；
重构所述预测残差，以产生重构帧；
对所述重构帧的第一副本进行滤波，以产生滤波帧；以及
使用学习模型来处理所述重构帧的第二副本，以标识视频内容。


8.根据权利要求7所述的方法，其中，使用所述学习模型来处理所述重构帧的所述第二副本以标识所述视频内容包括：
使用所述重构帧的所述第二副本训练所述学习模型，以标识所述视频内容。


9.根据权利要求8所述的方法，与使用所述滤波帧训练所述学习模型相比，使用所述重构帧的所述第二副本训练所述学习模型导致了所述学习模型的更大分类精度上限。


10.根据权利要求8或9所述的方法，其中，使用所述重构帧的所述第二副本训练所述学习模型以标识所述视频内容包括：
使用滤波器侧信息来训练所述学习模型，其中，所述滤波器侧信息被用于对所述重构帧的所述第一副本进行滤波。


11.根据权利要求7至...

【专利技术属性】
技术研发人员：徐睿杰，达克·何，
申请(专利权)人：谷歌有限责任公司，
类型：发明
国别省市：美国;US