使用P帧译码系统的学习B帧译码技术方案

本文描述了用于处理视频数据的技术，例如通过使用单向译码系统和内插参考帧来执行学习的双向译码。例如，处理可以包括：获得第一参考帧和第二参考帧。该处理可以包括：至少部分地通过在第一参考帧和第二参考帧之间执行插值来生成第三参考帧。该处理可以包括：例如通过估计输入帧和第三参考帧之间的运动，基于第三参考帧对输入帧执行单向帧间预测，并至少部分地通过基于估计的运动，变形第三参考帧一个或多个像素来生成变形帧。该处理可以包括：基于变形帧和预测残差来生成表示输入帧的重构帧，重构帧包括双向预测帧。重构帧包括双向预测帧。重构帧包括双向预测帧。

【技术实现步骤摘要】
【国外来华专利技术】使用P帧译码系统的学习B帧译码


[0001]概括地说，本公开内容涉及视频译码(例如，对视频数据进行编码和/或解码)。例如，本公开内容的各方面涉及使用单向译码系统(例如，单向预测帧(P帧)编码器
‑
解码器或CODEC)的学习双向预测帧(B帧)译码。

技术介绍

[0002]许多设备和系统允许处理和输出视频数据以供消费。数字视频数据包括大量数据，以满足视频质量、性能和功能方面日益增长的需求。例如，视频数据的消费者通常想要高保真度、分辨率、帧速率等等的高质量视频。满足这些需求通常需要大量的视频数据，这给处理和存储视频数据的通信网络和设备带来了巨大负担。视频译码技术可以用于对视频数据进行压缩。视频译码的一个示例目标是将视频数据压缩成使用较低比特率的形式，同时避免或最小化视频质量的降低。随着不断发展的视频服务变得可用，以及对大量视频数据的需求不断增加，需要具有更好性能和效率的译码技术。

技术实现思路

[0003]本文描述的系统和技术包括使用单向(例如，P帧)译码系统的学习的双向(例如，B帧)译码，该译码系统可以利用通过在参本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于处理视频数据的系统，所述系统包括：双向译码引擎，其包括插值引擎和单向译码引擎，其中：所述插值引擎被配置为：获得第一参考帧和第二参考帧；以及至少部分地通过在所述第一参考帧和所述第二参考帧之间执行插值来生成第三参考帧；以及所述单向译码引擎被配置为：基于所述第三参考帧，对输入帧执行单向帧间预测。2.根据权利要求1所述的系统，其中，所述单向译码引擎包括运动引擎和变形引擎，并且其中：所述运动引擎被配置为估计所述输入帧和所述第三参考帧之间的运动；以及所述变形引擎被配置为至少部分地通过基于所述估计的运动来变形所述第三参考帧的一个或多个像素，以生成变形帧。3.根据权利要求2所述的系统，其中，所述单向译码引擎还包括残差引擎，并且其中：所述残差引擎被配置为：至少部分地通过确定所述输入帧和所述变形帧之间的差异来确定残差；以及使用所述残差来生成预测残差。4.根据权利要求3所述的系统，还包括存储器和耦合到所述存储器的至少一个处理器，其中，所述单向译码引擎被配置为：基于所述变形帧和所述预测残差，生成表示所述输入帧的重构帧，所述重构帧包括双向预测帧；以及其中，所述至少一个处理器被配置为使所述重构帧被存储在所述存储器中。5.根据权利要求4所述的系统，其中，所述至少一个处理器包括神经处理单元(NPU)。6.根据权利要求3所述的系统，其中，所述运动引擎包括第一神经网络，并且所述残差引擎包括第二神经网络。7.根据权利要求6所述的系统，其中，所述第一神经网络包括第一自动编码器，并且所述第二神经网络包括第二自动编码器。8.根据权利要求1所述的系统，其中，所述单向译码引擎被配置为：获得第四参考帧；估计另外输入帧和所述第四参考帧之间的运动；至少部分地通过基于所述估计的运动来变形所述第四参考帧的一个或多个像素，生成另外的变形帧；以及基于所述另外的变形帧和另外的预测残差，生成表示所述另外输入帧的重构帧，表示所述另外输入帧的所述重构帧包括单向预测帧。9.根据权利要求1所述的系统，其中，为了至少部分地通过在所述第一参考帧和所述第二参考帧之间执行插值来生成所述第三参考帧，所述插值引擎被配置为：确定表示从所述第一参考帧到所述第三参考帧的像素运动的第一组运动信息；确定表示从所述第二参考帧到所述第三参考帧的像素运动的第二组运动信息；至少部分地通过使用所述第一组运动信息对所述第一参考帧执行变形函数来生成第
一变形信息；至少部分地通过使用所述第二组运动信息对所述第二参考帧执行所述变形函数来生成第二变形信息；以及基于所述第一变形信息和所述第二变形信息生成所述第三参考帧。10.根据权利要求9所述的系统，其中，所述第一组运动信息和所述第二组运动信息是基于所述第一参考帧和所述第二参考帧之间的像素运动来确定的。11.根据权利要求9所述的系统，其中，所述第一组运动信息包括第一光流图，并且所述第二组运动信息包括第二光流图。12.根据权利要求9所述的系统，其中，所述变形函数包括双线性插值函数。13.根据权利要求2所述的系统，其中，所述输入帧与所述第三参考帧之间的所述估计的运动包括光流数据。14.根据权利要求2所述的系统，其中，所述输入帧与所述第三参考帧之间的所述估计的运动包括动态卷积数据。15.根据权利要求2所述的系统，其中，所述输入帧与所述第三参考帧之间的所述估计的运动包括基于块的运动数据。16.根据权利要求1所述的系统，其中，所述系统是移动设备、扩展现实设备或电视之一。17.根据权利要求1所述的系统，还包括：被配置为捕获一个或多个视频帧的显示器和相机中的至少一个。18.一种用于处理视频数据的方法，所述方法包括：获得第一参考帧和第二参考帧；至少部分地通过在所述第一参考帧和所述第二参考帧之间执行插值来生成第三参考帧；以及基于所述第三参考帧对输入帧执行单向帧间预测。19.根据权利要求18所述的方法，还包括：估计所述输入帧和所述第三参考帧之间的运动；以及至少部分地通过基于所述估计的运动，变形所述第三参考帧的一个或多个像素，来生成变形帧。20.根据权利要求19所述的方法，还包括：至少部分地通过确定所述输入帧和所述变形帧之间的差异来确定残差；以及使用所述残差生成预测残差。21.根据权利要求20所述的方法，还包括：基于所述变形帧和所述预测残差，生成表示所述输入帧的重构帧，所述重构帧包括双向预测帧；以及使所述重构帧存储在存储器中。22.根据权利要求20所述的方法，其中，所述运动是使用第一自动编码器估计的，并且其中所述预测残差是使用第二自动编码器生成的。23.根据权利要求18所述的方法，还包括：获得第四参考帧；
估计另外输入帧和所述第四参考帧之间的运动；至少部分地通过基于所述估计的运动来变形所述第四参考帧的一个或多个像素，生成另外的变形帧；以及基于所述另外的变形帧和另外的预测残差，生成表示所述另外输入帧的重构帧，表示所述另外输入帧的所述重构帧包括单向预测帧。24.根据权利要求18所述的方法，还包括：确定表示从所述第一参考帧到所述第三参考帧的像素运动的第一组运动信息；确定表示从所述第二参考帧到所述第三参考帧的像素运动的第二组运动信息；至少部分地通过使用所述第一组运动信息对所述第一参考帧执行变形函数来生成第一变形信息；至少部分地通过使用所述第二组运动信息对所述第二参考帧执行所述变形函数来生成第二变形信息；以及基于所述第一变形信息和所述第二变形信息生成所述第三参考帧。25.根据权利要求24所述的方法，其中，所述第一组运动信息和所述第二组运动信息是基于所述第一参考帧和所述第二参考帧之间的像素运动来确定的。26.根据权利要求24所述的方法，其中，所述第一组运动信息包括第一光流图，并且所述第二组运动信息包括第二光流图。27.根据权利要求24所述的方法，其中，所述变形函数包括双线性插值函数。28.根据权利要求19所述的方法，其中，所述输入帧与所述第三参考帧之间的所述估计的运动包括光流数据。29.根据权利要求19所述的方法，其中，所述输入帧与所述第三参考帧之间的所述估计的运动包括动态卷积数据。30.根据权利要求19所述的方法，其中，所述输入帧与所述第三参考帧之间的所述估计的运动包括基于块的运动数据。31.一种其上存储有指令的非临时性计算机可读介质，当所述指令被一个或多个处理器执行时，使所述一个或多个处理器执行以下操作：获得第一参考帧和第二参考帧；至少部分地通过在所述第一参考帧和所述第二参考帧之间执行插值来生成第三参考帧；以及基于所述第...

【专利技术属性】
技术研发人员：R，
申请(专利权)人：高通股份有限公司，
类型：发明
国别省市：