提供了一种视频编码器，具有：一个或多个编码器插件，其为一个或多个相应基础编解码器提供包装器以实施基础编码层，每一包装器实施用于与对应基础编解码器进行数据交换的接口，所述基础编码层被配置成对视频信号进行编码和解码；增强编码器，其用以实施增强编码层，所述增强编码器被配置成：从所述一个或多个编码器插件中的一个接收经解码视频信号，所述经解码视频信号包括由所述一个或多个编码器插件中的所述一个产生的经编码视频信号的经解码版本，且针对所述经编码视频信号产生经编码增强信号，所述经编码增强信号包括残差数据的一个或多个层，所述残差数据基于从所述经解码视频信号导出的数据与从输入视频信号导出的数据的比较来产生；以及编码器集成层，其用以控制所述一个或多个编码器插件和所述增强编码器的操作以使用所述基础编码层和所述增强编码层产生所述输入视频信号的编码，其中所述编码器集成层为所述视频编码器提供控制接口。还提供了一种系统、方法和计算机可读介质。方法和计算机可读介质。方法和计算机可读介质。
【技术实现步骤摘要】
【国外来华专利技术】集成用于分层视频编码的编码器
[0001]本专利技术涉及用于使用分层编码格式以及编码器和编码系统对信号，例如视频信号进行编码的方法。本专利技术尤其涉及一种用于将分层编码器，优选地LCEVC编码器集成到应用程序或软件堆叠中的视频编码器。
技术介绍
[0002]先前已经在例如WO 2014/170819和WO 2018/046940(其内容以引入的方式并入本文中)中提出了混合式后向兼容编码技术。基于层的编码格式的其它示例包含ISO/IEC MPEG
‑
5第2部分LCEVC(下文称为“LCEVC”)。LCEVC在WO/2020/188273A1和相关联标准规范文件中进行了描述，相关联标准规范文件包含在2020年1月13日星期一至2020年1月17日星期五在布鲁塞尔举行的MPEG 129会议上公布的ISO/IEC DIS 23094
‑
2低复杂度增强视频编码草案，两份文件都以引用的方式全文并入本文中。
[0003]在这些编码格式中，信号被分解成多个数据“梯队”(也称为“分级层”)，每一梯队对应于“质量层级”，从原始信号的采样率的最高梯队到最低梯队。最低梯队通常为原始信号的低质量再现且其它梯队含有关于应用于重构再现以便产生最终输出的校正的信息。
[0004]LCEVC采用此多层方法，其中可经由额外低位率流增强任何基础编解码器(例如，高级视频编码
‑
AVC，也称为H.264或高效视频编码
‑
HEVC，也称为H.265)。LCEVC由两个分量流定义：基础流，其通常可由硬件解码器解码；和增强流，其由适合于具有可持续功耗的软件处理实施方案的一个或多个增强层组成。所述增强为现有编解码器提供改进的压缩效率，并降低编码和解码复杂性。
[0005]由于LCEVC和类似编码格式充分利用现有解码器且本质上为后向兼容的，因此需要与现有视频编码实施方案进行高效且有效的集成而无需完全重新设计。已知编码实施方案的示例包含软件工具FFmpeg。
[0006]此外，LCEVC不限于已知编解码器且理论上能够充分利用尚待开发的编解码器。因而，任何LCEVC实施方案应能够与以硬件或软件实施的任何迄今已知或尚待开发的编解码器集成，而不会引入编码复杂性。
[0007]应注意，在这些编码格式的一些实现中，可在视频编码期间由基础编解码器执行编码和解码操作两者。也就是说，增强流可通过比较输入信号的版本与经编码基础流的经解码版本形成。因此，在这些实现中，需要在编码器处高效且有效地指示使用基础编解码器的编码和解码操作两者。
技术实现思路
[0008]本专利技术的各个方面和变化在所附权利要求中阐述。在下面的详细描述中进一步阐述了某些未要求保护的方面。
[0009]根据一个方面，提供有一种视频编码器，包括：一个或多个编码器插件，其为一个或多个相应基础编解码器提供包装器以实施基础编码层，每一包装器实施用于与对应基础
编解码器进行数据交换的接口，所述基础编码层被配置成对视频信号进行编码和解码；增强编码器，其用以实施增强编码层，所述增强编码器被配置成：从一个或多个编码器插件中的一个接收经解码视频信号，所述经解码视频信号包括由一个或多个编码器插件中的所述一个产生的经编码视频信号的经解码版本，且针对经编码视频信号产生经编码增强信号，所述经编码增强信号包括残差数据的一个或多个层，残差数据基于从经解码视频信号导出的数据与从输入视频信号导出的数据的比较来产生；以及编码器集成层，其用以控制一个或多个编码器插件和增强编码器的操作以使用基础编码层和增强编码层产生输入视频信号的编码，其中编码器集成层为视频编码器提供控制接口。
[0010]优选地，增强编码器为LCEVC编码器，使得编码器集成层、一个或多个插件和增强编码器共同提供LCEVC编码软件堆叠。LECVC编码软件堆叠可实施于一个或多个LCEVC编码器库中且因此提供用于对MPEG
‑
5增强流进行编码的优化软件库。
[0011]根据这一方面的视频编码器易于部署，也就是说，其可由广泛范围的编码和播放器供应商支持或经实施以易于更新系统。本专利技术的各方面提供在具有从低层级API到常用开源编码器和播放器中的实施方案的一系列选项的软件堆叠的任何层级处部署LCEVC的能力。
[0012]编码器集成层可被配置成：接收输入视频信号的帧的所有权；指示通过一个或多个编码插件和增强编码器对所述帧进行编码；以及在经由控制接口请求后将指针提供到输出数据的位置。以此方式，编码器集成层允许应用层在不干扰编码过程的情况下容易且简单地检索经编码数据。在优选实施方案中，与指针一起，编码器集成层可经由控制接口提供成功指示，从而允许用户或应用层标识数据已经成功地处理并且可在无复杂情况的情况下检索。另外，指针可提供于数据结构内，所述数据结构进一步包括与输入视频信号的编码相关联的辅助信息。在某些实施方案中，可仅对数据结构进行读取。有益的是，数据结构允许应用程序不必手动创建。辅助信息可包含经编码视频帧的所有信息，例如帧类型、数据长度、所使用的量化参数、时戳信息、配置旗标或用户数据信息。
[0013]编码器集成层可任选地进一步被配置成针对待编码的帧的类型从输入视频信号的帧创建数据结构，所述数据结构包括共同构成所述帧的平面集；且使用来自输入视频信号的帧的帧数据填充所述平面。每一帧的平面可为例如YUV且通常与待编码的帧的类型相关联。因此，编码器集成层提供内部输入模式，其中应用层仅需要将帧提供到所述层以执行编码。
[0014]另外或替代地，编码器集成层可进一步被配置成标识帧被外部分配且检索数据结构，其包括共同构成输入视频信号的帧的平面集和对所述帧进行编码所必需的参数集。因此，应用层还可提供待外部分配的输入，使得用户可指定帧的填充。数据结构可不存在对所述帧进行编码所必需的参数且编码器集成可填充此类字段。编码器集成层可标识帧在初始化期间被外部分配。对所述帧进行编码所必需的参数的示例包含平面的数目、帧类型和时戳信息。
[0015]在某些实施例中，编码器集成层可被配置成获得编码属性的集合，并且在编码器集成层的初始化后，经由控制接口，根据编码属性确认成功初始化。编码属性可例如包含分辨率、帧率和位率且可包括在作为编码器实施层的初始化的部分发送到控制接口的对象中，使得编码器集成层准备好接收帧。
[0016]编码器集成层可被配置成接收编码属性的另一集合且指示使用一个或多个编码器插件重新配置基础编码器层。重新配置可在视频处理期间发生。以此方式，可动态地重新配置编码属性，例如目标位率或帧率，其中基础编码器也支持动态重新配置。
[0017]在某些实施例中，控制接口可使用只读和可写属性的组合提供配置系统。所述接口允许将可经由应用程序编程接口(API)调用存取的属性高效传送到编码器集成层。
[0018]在配置接口的第一示例中，编码器集成层被配置成：获得配置默认值的集合；检索包括一个或多个配置属性的配置数据结构；以及覆写对应于所述一个或配置属性的配置本文档来自技高网...
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种视频编码器，其包括：一个或多个编码器插件，其为一个或多个相应基础编解码器提供包装器以实施基础编码层，每一包装器实施用于与对应基础编解码器进行数据交换的接口，所述基础编码层被配置成对视频信号进行编码和解码；增强编码器，其用以实施增强编码层，所述增强编码器被配置成：从所述一个或多个编码器插件中的一个接收经解码视频信号，所述经解码视频信号包括由所述一个或多个编码器插件中的所述一个产生的经编码视频信号的经解码版本，且针对所述经编码视频信号产生经编码增强信号，所述经编码增强信号包括残差数据的一个或多个层，所述残差数据基于从所述经解码视频信号导出的数据与从输入视频信号导出的数据的比较产生；以及编码器集成层，其用以控制所述一个或多个编码器插件和所述增强编码器的操作以使用所述基础编码层和所述增强编码层产生所述输入视频信号的编码，其中所述编码器集成层为所述视频编码器提供控制接口。2.根据权利要求1所述的视频编码器，其中所述编码器集成层被配置成：接收所述输入视频信号的帧的所有权；指示通过所述一个或多个编码插件和所述增强编码器对所述帧的编码；以及在经由所述控制接口请求后将指针提供到输出数据的位置。3.根据权利要求2所述的视频编码器，其中所述指针提供于数据结构内，所述数据结构进一步包括与所述输入视频信号的所述编码相关联的辅助信息。4.根据前述权利要求中任一项所述的视频编码器，其中所述编码器集成层进一步被配置成针对待编码的帧的类型从所述输入视频信号的所述帧创建数据结构，所述数据结构包括共同构成所述帧的平面集；且使用来自所述输入视频信号的所述帧的帧数据填充所述平面。5.根据权利要求1至3中任一项所述的视频编码器，其中所述编码器集成层进一步被配置成标识帧被外部分配且检索数据结构，所述数据结构包括共同构成所述输入视频信号的帧的平面集和对所述帧进行编码所必需的参数集。6.根据前述权利要求中任一项所述的视频编码器，其中所述编码器集成层被配置成获得编码属性的集合，并且在初始化所述编码器集成层后，经由所述控制接口，根据所述编码属性确认成功初始化。7.根据权利要求6所述的视频编码器，其中所述编码器集成层被配置成接收编码属性的另一集合且指示使用所述一个或多个编码器插件重新配置所述基础编码器层。8.根据前述权利要求中任一项所述的视频编码器，其中所述编码器集成层被配置成：获得配置默认值的集合；检索包括一个或多个配置属性的配置数据结构；以及覆写对应于所述一个或配置属性的配置默认值的所述集合中的配置默认值。9.根据前述权利要求中任一项所述的视频编码器，其中所述控制接口包括预定义查询的集合，其中所述编码器集成层被配置成从预定义查询的所述集合接收查询且返回所述编码器集成层的对应编码或配置属性。10.根据前述权利要求中任一项所述的视频编码器，其中所述控制接口包括预定义元数据查询的集合，所述编码器集成层被配置成接收针对一个或多个元数据属性的查询...
【专利技术属性】
技术研发人员：F，
申请(专利权)人：威诺瓦国际有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。