视频编码方法、装置以及设备制造方法及图纸

本公开提供了一种视频编码方法、装置以及设备，涉及人工智能领域，具体涉及云计算、视频编码、媒体云技术，可应用在智能云场景下。量化决策模型训练方法的一具体实施方式包括：获取样本视频序列集合，其中，样本视频序列集合包括样本视频序列；获取对样本视频序列进行编码中的当前变换单元的目标特征集合和量化标签；将目标特征集合作为输入，将量化标签作为输出，对初始量化决策模型进行训练，得到量化决策模型。该实施方式通过训练量化决策模型，能够实现基于机器学习模型来提前进行量化决策，不仅节省了大量的时间，还提升了量化的准确程度。度。度。

【技术实现步骤摘要】
视频编码方法、装置以及设备


[0001]本公开涉及人工智能领域，具体涉及云计算、视频编码、媒体云技术，可应用在智能云场景下。

技术介绍

[0002]量化是视频编码中不可缺少的关键步骤。量化是指将信号的连续取值(或大量可能的离散取值)映射为有限多个离散幅值的过程，实现信号取值多对一的映射。量化不可避免地引入失真。例如，如果量化选择RDOQ(Rate Distortion Optimized Quantization，率失真优化量化)，又涉及到复杂的RDO(Rate Distortion Optimized，率失真优化)流程，量化相对比较浪费时间。因此，判断何时使用RDOQ成为视频编码中的一个至关重要的环节。
[0003]目前，量化决策方法主要为经验公式、实验数据拟合和公式推导等方法，通过统计特征来判断是否使用RDOQ量化。

技术实现思路

[0004]本公开实施例提出了一种视频编码方法、装置、设备、存储介质以及程序产品。
[0005]第一方面，本公开实施例提出了一种量化决策模型训练方法，包括：获取样本视频序列集合，其中，样本视频序列集合包括样本视频序列；获取对样本视频序列进行编码中的当前变换单元的目标特征集合和量化标签；将目标特征集合作为输入，将量化标签作为输出，对初始量化决策模型进行训练，得到量化决策模型。
[0006]第二方面，本公开实施例提出了一种视频编码方法，包括：获取视频序列；获取对视频序列进行编码中的当前变换单元的目标特征集合；将目标特征集合输入到量化决策模型中，得到当前变换单元的量化决策结果，其中，量化决策模型是采用第一方面所述的方法训练得到的；基于量化决策结果对当前变换单元进行量化。
[0007]第三方面，本公开实施例提出了一种量化决策模型训练装置，包括：第一获取模块，被配置成获取样本视频序列集合，其中，样本视频序列集合包括样本视频序列；第二获取模块，被配置成获取对样本视频序列进行编码中的当前变换单元的目标特征集合和量化标签；第一训练模块，被配置成将目标特征集合作为输入，将量化标签作为输出，对初始量化决策模型进行训练，得到量化决策模型。
[0008]第四方面，本公开实施例提出了一种视频编码装置，包括：第一获取模块，被配置成获取视频序列；第二获取模块，被配置成获取对视频序列进行编码中的当前变换单元的目标特征集合；第一决策模块，被配置成将目标特征集合输入到量化决策模型中，得到当前变换单元的量化决策结果，其中，量化决策模型是采用第三方面所述的装置训练得到的；第一量化模块，被配置成基于量化决策结果对当前变换单元进行量化。
[0009]第五方面，本公开实施例提出了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一方面或第二方面中任一实
现方式描述的方法。
[0010]第六方面，本公开实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，计算机指令用于使计算机执行如第一方面或第二方面中任一实现方式描述的方法。
[0011]第七方面，本公开实施例提出了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现如第一方面或第二方面中任一实现方式描述的方法。
[0012]本公开实施例提供的量化决策模型训练方法，通过训练量化决策模型，能够实现基于机器学习模型来提前进行量化决策，不仅节省了大量的时间，还提升了量化的准确程度。
[0013]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0014]通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本公开的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0015]图1是根据本公开的量化决策模型训练方法的一个实施例的流程图；
[0016]图2是根据本公开的量化决策模型训练方法的又一个实施例的流程图；
[0017]图3是标签获取的一个示例性流程图。
[0018]图4是根据本公开的量化决策模型训练方法的另一个实施例的流程图；
[0019]图5是根据本公开的视频编码方法的一个实施例的流程图；
[0020]图6是根据本公开的视频编码方法的又一个实施例的流程图；
[0021]图7是量化决策的一个示例性流程图；
[0022]图8是量化决策的又一个示例性流程图；
[0023]图9是视频编码的一个示例性流程图；
[0024]图10是根据本公开的量化决策模型训练装置的一个实施例的结构示意图；
[0025]图11是根据本公开的视频编码装置的一个实施例的结构示意图；
[0026]图12是用来实现本公开实施例的量化决策模型训练方法或视频编码方法的电子设备的框图。
具体实施方式
[0027]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0028]需要说明的是，在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本公开。
[0029]图1示出了根据本公开的量化决策模型训练方法的一个实施例的流程100。该量化决策模型训练方法包括以下步骤：
[0030]步骤101，获取样本视频序列集合。
[0031]在本实施例中，量化决策模型训练方法的执行主体可以获取样本视频序列集合。其中，样本视频序列集合可以由大量样本视频序列组成。
[0032]通常，样本视频序列集合可以包括时域复杂度和/或空域复杂度不同的多个样本视频序列。为了确保量化决策模型能够覆盖尽可能多的视频的量化决策，可以根据视频序列的时域复杂度和/或空域复杂度的不同选取多个视频序列，生成样本视频序列集合。
[0033]步骤102，获取对样本视频序列进行编码中的当前变换单元的目标特征集合和量化标签。
[0034]在本实施例中，上述执行主体可以获取对样本视频序列进行编码中的当前变换单元的目标特征集合和量化标签。
[0035]在对样本视频序列进行编码中，可以将样本视频序列中的图像划分为CTU(Coding Tree Units，树编码单元)。CTU可向下分成CU(Coding Unit，编码单元)、PU(Prediction Unit，预测单元)及TU(Transform Unit，转换单元)。对于当前变换单元，可以采集其目标特征集合。其中，目标特征集合中可以包括但不限于以下至少一项目标特征：当前变换单元的尺寸、亮度均值本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种量化决策模型训练方法，包括：获取样本视频序列集合，其中，所述样本视频序列集合包括样本视频序列；获取对所述样本视频序列进行编码中的当前变换单元的目标特征集合和量化标签；将所述目标特征集合作为输入，将所述量化标签作为输出，对初始量化决策模型进行训练，得到量化决策模型。2.根据权利要求1所述的方法，其中，所述样本视频序列集合包括时域复杂度和/或空域复杂度不同的多个样本视频序列。3.根据权利要求1所述的方法，其中，所述获取当前变换单元的目标特征集合，包括：获取所述当前变换单元的参考特征集合；将所述参考特征集合作为输入，将所述量化标签作为输出，对初始量化决策模型进行训练，以及获取模型训练过程中所述参考特征集合中的参考特征的重要度；基于重要度在所述参考特征集合中选取参考特征，生成所述目标特征集合。4.根据权利要求3所述的方法，其中，所述目标特征集合包括以下至少一项目标特征：所述当前变换单元的尺寸、亮度均值和亮度方差，所述当前变换单元的变换矩阵的绝对值和、均值和方差，以及对所述变换矩阵进行卷积后的绝对值和、均值和方差。5.根据权利要求1所述的方法，其中，所述获取当前变换单元的量化标签，包括：对所述当前变换单元的残差矩阵进行变换操作，生成所述当前变换单元的变换矩阵；对所述变换矩阵分别进行第一量化和第二量化，得到第一量化矩阵和第二量化矩阵；比对所述第一量化矩阵与所述第二量化矩阵的差异，得到所述量化标签。6.根据权利要求5所述的方法，其中，所述比对所述第一量化矩阵与所述第二量化矩阵的差异，得到所述量化标签，包括：将所述第一量化矩阵与所述第二量化矩阵的系数对应相减，得到差矩阵；利用与所述当前变换单元的大小对应的核对所述差矩阵进行卷积，得到卷积结果；比对所述卷积结果与预设阈值的差异，得到所述量化标签。7.根据权利要求6所述的方法，其中，所述比对所述卷积结果与预设阈值的差异，得到所述量化标签，包括：对所述卷积结果进行归一化处理，得到归一化处理结果；若所述归一化处理结果小于所述预设阈值，将所述量化标签的值设置为表征使用所述第二量化；若所述归一化处理结果不小于所述预设阈值，将所述量化标签的值设置为表征使用所述第一量化。8.根据权利要求1
‑
7中任一项所述的方法，其中，所述方法还包括：从所述目标特征集合中选取至少一个目标特征子集；将所述至少一个目标特征子集分别作为输入，将所述量化标签作为输出，训练得到至少一个辅助量化决策模型。9.一种视频编码方法，包括：获取视频序列；获取对所述视频序列进行编码中的当前变换单元的目标特征集合；将所述目标特征集合输入到量化决策模型中，得到所述当前变换单元的量化决策结
果，其中，所述量化决策模型是采用权利要求1
‑
8中任一项所述的方法训练得到的；基于所述量化决策结果对所述当前变换单元进行量化。10.根据权利要求9所述的方法，其中，所述方法还包括：从所述目标特征集合中选取至少一个目标特征子集；将所述至少一个目标特征子集对应输入到至少一个辅助量化决策模型中，得到所述当前变换单元的至少一个辅助量化决策结果，其中，所述至少一个辅助量化决策模型是采用权利要求8所述的方法训练得到的；以及所述基于所述量化决策结果对...

【专利技术属性】
技术研发人员：张旭，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：