参数预测模型的训练方法及装置和参数预测方法及装置制造方法及图纸

本公开关于一种参数预测模型的训练方法及装置和参数预测方法及装置，所述训练方法包括：获取训练样本集，其中，所述训练样本集包括多个视频样本以及每个视频样本的视频编码相关参数的真实值，其中，每个视频样本的视频编码相关参数的真实值是基于在所述视频编码相关参数的不同值下对该视频训练样本进行编码而获得的质量评价数据和码率计算得到；将视频样本的视频特征输入到所述参数预测模型，得到所述视频编码相关参数的预测值；基于所述视频样本的所述视频编码相关参数的预测值和真实值，计算损失函数；根据计算的损失函数调整所述参数预测模型的参数，以对所述参数预测模型进行训练。

【技术实现步骤摘要】
参数预测模型的训练方法及装置和参数预测方法及装置
本公开涉及视频
，更具体地说，涉及一种参数预测模型的训练方法及装置和参数预测方法及装置。
技术介绍
为了在有限带宽和较低成本开销下提供更好的视觉体验，在实际应用中视频分发平台一般采用自适应比特率(AdaptiveBitrate,ABR)技术进行编码传输。在传统ABR技术框架中，每个源视频产生多个分辨率版本，每种分辨率的视频以一种固定的码率编码，这些分辨率和码率的对应关系被称为编码阶梯(或码表)。用户在观看视频流时，客户端根据实际网络带宽以及设备情况选择最佳的分辨率和码率以期达到较好的观看体验。然而，目前这种ABR技术最常见的问题是这些分辨率和码率组合太过死板，没有考虑任何视频内容特性。此外，为了解决传统ABR技术存在的上述问题，提出一种内容感知编码(ContentAwareEncoding,CAE)技术，即在视频编码过程中，根据视频的内容设置合适编码参数，希望达到主观质量和编码效率的平衡。然而，目前CAE方案的复杂度过高，且没有真正考虑主观质量。
技术实现思路
本公开提供一种参数预测模型的训练方法及装置和参数预测方法及装置，以至少解决上述相关技术中的问题，也可不解决任何上述问题。根据本公开实施例的第一方面，提供一种参数预测模型的训练方法，包括：获取训练样本集，其中，所述训练样本集包括多个视频样本以及每个视频样本的视频编码相关参数的真实值，其中，每个视频样本的视频编码相关参数的真实值是基于在所述视频编码相关参数的不同值下对该视频训练样本进行编码而获得的质量评价数据和码率计算得到；将视频样本的视频特征输入到所述参数预测模型，得到所述视频编码相关参数的预测值；基于所述视频样本的所述视频编码相关参数的预测值和真实值，计算损失函数；根据计算的损失函数调整所述参数预测模型的参数，以对所述参数预测模型进行训练。可选地，每个视频样本的所述视频编码相关参数的真实值可通过以下方式得到：获取所述视频编码相关参数的第一参数值；按照预定步长对第一参数值进行多次调整，获得所述视频编码相关参数的第二参数值至第(N+1)参数值，其中，N为调整次数；分别使用所述视频编码相关参数的第一参数值至第(N+1)参数值对该视频样本进行编码，得到相应的质量评价数据和码率；按照第(N+1)参数值至第一参数值的顺序，针对每个参数值执行以下操作，直到确定所述视频编码相关参数的真实值为止：计算当前参数值与下一参数值之间的质量评价数据的差分值和码率的差分值，计算质量评价数据的差分值与码率的差分值的比值，在所述比值大于预设阈值的情况下，将所述视频编码相关参数的真实值确定为当前参数值。可选地，所述视频编码相关参数可包括编码参数和/或前处理参数中的至少一个。可选地，在所述视频编码相关参数为编码参数的情况下，每个视频样本的编码参数的真实值可通过以下方式得到：获取所述编码参数的第一参数值；按照第一预定步长对所述编码参数的第一参数值进行多次调整，获得所述编码参数的第二参数值至第(N+1)参数值，其中，N为调整次数；在将前处理参数设置为前处理参数的第一参数值的情况下，分别使用所述编码参数的第一参数值至第(N+1)参数值对该视频样本进行编码，得到相应的质量评价数据和码率；按照所述编码参数的第(N+1)参数值至第一参数值的顺序，针对每个参数值执行以下操作，直到确定所述编码参数的真实值为止：计算当前参数值与下一参数值之间的质量评价数据的差分值和码率的差分值，计算质量评价数据的差分值与码率的差分值的比值，在所述比值大于第一预设阈值的情况下，则将所述编码参数的真实值确定为当前参数值。可选地，在所述视频编码相关参数为前处理参数的情况下，每个视频样本的前处理参数的真实值可通过以下方式得到：获取所述前处理参数的第一参数值；按照第二预定步长对所述前处理参数的第一参数值进行多次调整，获得所述前处理参数的第二参数值至第(N+1)参数值，其中，N为调整次数；在将编码参数设置为编码参数的第一参数值的情况下，分别使用所述前处理参数的第一参数值至第(N+1)参数值对该视频样本进行编码，得到相应的质量评价数据和码率；按照所述前处理参数的第(N+1)参数值至第一参数值的顺序，针对每个参数值执行以下操作，直到确定所述前处理参数的真实值为止：计算当前参数值与下一参数值之间的质量评价数据的差分值和码率的差分值，计算质量评价数据的差分值与码率的差分值的比值，在所述比值大于第二预设阈值的情况下，则将所述前处理参数的真实值确定为当前参数值。可选地，所述编码参数的第一参数值可根据编码视频素材集合中画质保持达预定质量的编码视频素材的编码参数的值来确定，所述前处理参数的第一参数值可根据编码视频素材集合中画质保持达预定质量的编码视频素材的前处理参数的值来确定。可选地，所述视频样本的视频特征可通过以下操作得到：对所述视频样本进行抽帧；分别获取每个抽取的帧的视频特征，计算每个抽取的帧的视频特征的平均值，作为所述视频样本的视频特征。可选地，所述基于所述视频样本的所述视频编码相关参数的预测值和真实值，计算损失函数，可包括：计算所述视频样本的所述视频编码相关参数的预测值和真实值的均方误差，作为所述损失函数。可选地，所述质量评价数据可为视频多方法评价融合(VMAF)数据。根据本公开实施例的第二方面，提供一种参数预测方法，包括：获取待编码的视频内容；将所述待编码的视频内容的视频特征输入根据本公开的参数预测模型的训练方法训练得到的参数预测模型，得到所述待编码的视频内容的视频编码相关参数的预测值。可选地，所述视频编码相关参数可包括编码参数和/或前处理参数中的至少一个。可选地，所述待编码的视频内容的视频特征可通过以下操作得到：对所述待编码的视频内容进行抽帧；分别获取每个抽取的帧的视频特征，计算每个抽取的帧的视频特征的平均值，作为所述待编码的视频内容的视频特征。根据本公开实施例的第三方面，提供一种参数预测模型的训练装置，包括：样本获取单元，被配置为：获取训练样本集，其中，所述训练样本集包括多个视频样本以及每个视频样本的视频编码相关参数的真实值，其中，每个视频样本的视频编码相关参数的真实值是基于在所述视频编码相关参数的不同值下对该视频训练样本进行编码而获得的质量评价数据和码率计算得到；参数预测单元，被配置为：将视频样本的视频特征输入到所述参数预测模型，得到所述视频编码相关参数的预测值；损失函数计算单元，被配置为：基于所述视频样本的所述视频编码相关参数的预测值和真实值，计算损失函数；模型训练单元，被配置为：根据计算的损失函数调整所述参数预测模型的参数，以对所述参数预测模型进行训练。可选地，每个视频样本的所述视频编码相关参数的真实值可通过以下方式得到：获取所述视频编码相关参数的第一参数值；按照预定步长对第一参数值进行多次调整，获得所述视频编码相关参数的第二参数值至第(N+1)参数值，其中，N为调整次数；分别使用所述视频编码相关参数的第一参数值至第(N+1)参数值对该视频样本进行编码，得到相应的质量评价数据和码率；本文档来自技高网...

【技术保护点】
1.一种参数预测模型的训练方法，其特征在于，包括：/n获取训练样本集，其中，所述训练样本集包括多个视频样本以及每个视频样本的视频编码相关参数的真实值，其中，每个视频样本的视频编码相关参数的真实值是基于在所述视频编码相关参数的不同值下对该视频训练样本进行编码而获得的质量评价数据和码率计算得到；/n将视频样本的视频特征输入到所述参数预测模型，得到所述视频编码相关参数的预测值；/n基于所述视频样本的所述视频编码相关参数的预测值和真实值，计算损失函数；/n根据计算的损失函数调整所述参数预测模型的参数，以对所述参数预测模型进行训练。/n

【技术特征摘要】
1.一种参数预测模型的训练方法，其特征在于，包括：
获取训练样本集，其中，所述训练样本集包括多个视频样本以及每个视频样本的视频编码相关参数的真实值，其中，每个视频样本的视频编码相关参数的真实值是基于在所述视频编码相关参数的不同值下对该视频训练样本进行编码而获得的质量评价数据和码率计算得到；
将视频样本的视频特征输入到所述参数预测模型，得到所述视频编码相关参数的预测值；
基于所述视频样本的所述视频编码相关参数的预测值和真实值，计算损失函数；
根据计算的损失函数调整所述参数预测模型的参数，以对所述参数预测模型进行训练。


2.如权利要求1所述的训练方法，其特征在于，每个视频样本的所述视频编码相关参数的真实值是通过以下方式得到：
获取所述视频编码相关参数的第一参数值；
按照预定步长对第一参数值进行多次调整，获得所述视频编码相关参数的第二参数值至第N+1参数值，其中，N为调整次数；
分别使用所述视频编码相关参数的第一参数值至第N+1参数值对该视频样本进行编码，得到相应的质量评价数据和码率；
按照第N+1参数值至第一参数值的顺序，针对每个参数值执行以下操作，直到确定所述视频编码相关参数的真实值为止：计算当前参数值与下一参数值之间的质量评价数据的差分值和码率的差分值，计算质量评价数据的差分值与码率的差分值的比值，在所述比值大于预设阈值的情况下，将所述视频编码相关参数的真实值确定为当前参数值。


3.如权利要求1或2所述的训练方法，其特征在于，所述视频编码相关参数包括编码参数和/或前处理参数中的至少一个。


4.如权利要求3所述的训练方法，其特征在于，在所述视频编码相关参数为编码参数的情况下，每个视频样本的编码参数的真实值是通过以下方式得到：
获取所述编码参数的第一参数值；
按照第一预定步长对所述编码参数的第一参数值进行多次调整，获得所述编码参数的第二参数值至第N+1参数值，其中，N为调整次数；
在将前处理参数设置为前处理参数的第一参数值的情况下，分别使用所述编码参数的第一参数值至第N+1参数值对该视频样本进行编码，得到相应的质量评价数据和码率；
按照所述编码参数的第N+1参数值至第一参数值的顺序，针对每个参数值执行以下操作，直到确定所述编码参数的真实值为止：计算当前参数值与下一参数值之间的质量评价数据的差分值和码率的差分值，计算质量评价数据的差分值与码率的...

【专利技术属性】
技术研发人员：赵明菲，于冰，闻兴，王晓楠，白瑞，黄跃，黄博，陈宇聪，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11