视频转码的跨编解码器编码优化制造技术

本申请涉及视频转码的跨编解码器编码优化。公开了一种用于将一个编解码器的运动估计和模式决策结果以及决策与另一个编解码器共享的方法。视频被接收以被转码成多个不同编解码器的多个不同输出编码。每个编解码器都具有不同的视频编码格式。执行视频的共享运动估计和共享模式决策处理。共享模式决策处理的在多个不同编解码器之间共享的一个或更多个结果用于将视频编码成多个不同编解码器的多个不同输出编码。同输出编码。同输出编码。

【技术实现步骤摘要】
视频转码的跨编解码器编码优化
[0001]其他申请的交叉引用
[0002]本申请要求2020年7月20日提交的、题为“CROSS
‑
CODEC ENCODING OPTIMIZATIONS FOR VIDEO TRANSCODING”的美国临时专利申请第63/054,009号、2020年8月24日提交的、题为“CROSS
‑
CODEC ENCODING OPTIMIZATIONS FOR VIDEO TRANSCODING”的美国临时专利申请第63/069,614号以及2021年4月22日提交的、题为“CROSS
‑
CODEC ENCODING OPTIMIZATIONS FOR VIDEO TRANSCODING”的美国临时专利申请第17/238,075号的优先权，出于所有目的，所有这些申请通过引用并入本文。
[0003]专利技术背景
[0004]视频编码格式是用于(例如在数据文件或比特流中)存储或传输数字视频内容的内容表示格式。它通常使用标准化的视频压缩算法。视频编码格式的示例包括H.262(MPEG
‑
2第2部分)、MPEG
‑
4第2部分、H.264(MPEG
‑
4第10部分)、HEVC(H.265)、Theora、RealVideo RV40、VP9和AV1。视频编解码器(video codec)是一种为数字视频提供编码和解码的设备或软件。大多数编解码器通常是视频编码格式的实现。
[0005]最近，互联网上视频的使用呈爆炸式增长。一些网站(例如，社交媒体网站或视频共享网站)可能有数十亿用户，每个用户每天可能上传或下载一个或更多个视频。当用户将视频从用户设备上传到网站上时，网站可以将视频从一种视频编码格式转换成一种或更多种不同的视频编码格式，并且以一种或更多种不同的视频编码格式存储视频，使得可以将与特定的一组应用、硬件、平台或网络条件兼容或对它们更有效的视频版本下载到特定的目标设备。不同的视频编码格式可以提供不同的输出质量和分辨率。这种从一种视频编码格式到另一种视频编码格式的直接数字到数字转换被称为转码(transcode)。
[0006]视频转码包括许多不同的步骤。视频转码的第一步是解码，其中将视频从上传的文件解压缩为多个原始帧。这些未压缩的帧然后被缩放以改变它们的分辨率，并且每种分辨率使用一组优化的设置被再次编码。输出视频还与原始视频进行比较，以计算一组质量度量。转码步骤通常在视频点播(VOD)服务器的多核CPU中运行。因此，改进的转码技术将是期望的。
[0007]附图简述
[0008]在以下详细描述和附图中公开了本专利技术的各种实施例。
[0009]图1示出了视频编码器100的实施例的框图。
[0010]图2示出了RDO模块130的示例性框图。
[0011]图3示出了支持特定视频编码格式的视频编码器300的实施例的框图。
[0012]图4示出了支持多种视频编码格式的视频编码器400的实施例的框图。
[0013]图5示出了用于与另一个编解码器共享一个编解码器的运动估计和模式决策结果以及决策的示例性过程500。
[0014]详细描述
[0015]本专利技术可以以多种方式实现，包括作为过程；装置；系统；物质的组成；体现在计算机可读存储介质上的计算机程序产品；和/或处理器，例如被配置为执行存储在耦合到处理
器的存储器上和/或由该存储器提供的指令的处理器。在本说明书中，这些实现或者本专利技术可以采取的任何其他形式可以被称为技术。通常，在本专利技术的范围内，可以改变所公开的过程的步骤顺序。除非另有说明，否则被描述为被配置成执行任务的诸如处理器或存储器的组件可以被实现为在给定时间被临时配置为执行任务的通用组件或者被制造为执行任务的特定组件。如本文所使用的，术语“处理器”指的是被配置成处理数据(例如计算机程序指令)的一个或更多个设备、电路和/或处理核心。
[0016]下面提供了本专利技术的一个或更多个实施例的详细描述以及说明本专利技术原理的附图。结合这些实施例描述了本专利技术，但是本专利技术不限于任何实施例。本专利技术的范围仅由权利要求限定，并且本专利技术包括许多替代、修改和等同物。为了提供对本专利技术的全面理解，在以下描述中阐述了许多具体细节。这些细节是出于示例的目的而提供的，并且本专利技术可以根据权利要求来实施，而不需要这些具体细节中的一些或全部。为了清楚起见，没有详细描述与本专利技术相关的
中已知的技术材料，以免不必要地模糊本专利技术。
[0017]图1示出了视频编码器100的实施例的框图。例如，视频编码器100支持视频编码格式AV1(开放媒体联盟视频1)。然而，视频编码器100也可以支持其他视频编码格式，例如H.262(MPEG
‑
2第2部分)、MPEG
‑
4第2部分、H.264(MPEG
‑
4第10部分)、HEVC(H.265)、Theora、RealVideo RV40和VP9。
[0018]视频编码器100包括许多模块。视频编码器100的一些主要模块如图1所示。如图1所示，视频编码器100包括用于传输视频数据的直接存储器存取(DMA)控制器114。视频编码器100还包括AMBA(高级微控制器总线架构)到CSR(控制和状态寄存器)模块116。其他主要模块包括运动估计模块102、模式决策模块104、解码器预测模块106、中央控制器108、解码器残差模块110和滤波器112。
[0019]视频编码器100包括中央控制器模块108，其控制视频编码器100的不同模块，包括运动估计模块102、模式决策模块104、解码器预测模块106、解码器残差模块110、滤波器112和DMA控制器114。
[0020]视频编码器100包括运动估计模块102。运动估计模块102包括整数运动估计(IME)模块118和分数运动估计(FME)模块120。运动估计模块102确定描述从一个图像到另一个图像的变换(例如，从一个帧到相邻帧的变换)的运动向量。运动向量是用于帧间预测(inter
‑
frame prediction)的二维向量；它相对于参考帧引用当前帧，并且其坐标值提供从当前帧中的位置到参考帧中的位置的坐标偏移。运动估计模块102估计可用于模式决策模块104中的帧间预测(inter prediction)的最佳运动向量。帧间编码帧(inter coded frame)被划分成被称为宏块(macroblock)的块。编码器不是直接对每个块的原始像素值进行编码，而是试图找到与它在先前编码的帧(称为参考帧)上进行编码的块相似的块。这个过程是通过块匹配算法完成的。如果编码器搜索成功，则可以用一个向量(被称为运动向量)对该块进行编码，该向量指向匹配块在参考帧的位置。运动向量确定过程被称为运动估计。
[0021]视频编码器100包括模式决策模块104。模式决策模块104的主要组件包括帧间预测模块122、帧内预测(intra本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种方法，包括：接收要被转码成多个不同编解码器的多个不同输出编码的视频，其中，每个编解码器具有不同的视频编码格式；执行所述视频的共享运动估计和共享模式决策处理；以及使用所述共享模式决策处理的在所述多个不同编解码器之间共享的一个或更多个结果来将所述视频编码成所述多个不同编解码器的多个不同输出编码。2.根据权利要求1所述的方法，其中，所述共享运动估计和所述共享模式决策处理与所述多个不同编解码器中具有第一视频编码格式的第一编解码器兼容，并且其中，所述共享运动估计和所述共享模式决策处理与所述多个不同编解码器中具有第二视频编码格式的第二编解码器不兼容。3.根据权利要求2所述的方法，还包括将所述共享模式决策处理的结果直接发送到与所述第一视频编码格式兼容的第一特定于标准的模块以用于进一步处理，其中，所述第一特定于标准的模块包括第一特定于标准的最终编码模块和第一特定于标准的滤波器引擎。4.根据权利要求3所述的方法，其中，所述第一特定于标准的最终编码模块执行预测、变换和量化以及熵编码。5.根据权利要求2所述的方法，还包括将所述共享模式决策处理的一个或更多个结果发送到映射模块，所述映射模块将所述一个或更多个结果映射到一个或更多个映射结果，其中，所述一个或更多个映射结果包括与所述第二视频编码格式兼容的一个或更多个模式决策处理结果。6.根据权利要求5所述的方法，还包括将所述一个或更多个映射结果发送到与所述第二视频编码格式兼容的第二特定于标准的模块以用于进一步处理，其中，所述第二特定于标准的模块包括第二特定于标准的最终编码模块和第二特定于标准的滤波器引擎。7.根据权利要求6所述的方法，其中，所述第二特定于标准的最终编码模块执行预测、变换和量化以及熵编码。8.根据权利要求5所述的方法，其中，所述映射模块使用基于机器学习模型的映射函数将所述一个或更多个结果映射到所述一个或更多个映射结果，其中，所述机器学习模型基于在一个或更多个视频解码器上收集的模式决策来被训练。9.根据权利要求5所述的方法，其中，所述映射模块执行附加运动估计和模式决策处理，其中，所述一个或更多个映射结果基于所述共享模式决策处理的所述一个或更多个结果以及所述附加运动估计和模式决策处理的结果。10.根据权利要求5所述的方法，其中，所述共享模式决策处理的所述一个或更多个结果包括运动估计或模式决策处理的中间结果，并且其中，所述映射模块基于所述中间结果执行附加运动估计和模式决策处理以形成所述一个或更多个映射结果。11.根据权利要求5所述的方法，其中，所述映射模块使用所述一个或更多个结果作为用于获得一个或更多个细化模式决策处理结果的细化搜索的一个或更多个初始值，以形成所述一个或更多个映射结果。12.一种系统，包括：接口，其被配置成接收要被转码成多个不同编解码器的多个不同输出编码的视频，其中，每个编解码器具有不同...

【专利技术属性】
技术研发人员：哈里哈兰，
申请(专利权)人：脸谱公司，
类型：发明
国别省市：