视频质量评测模型训练、视频质量评测的方法和相关装置制造方法及图纸

本申请公开了一种视频质量评测模型训练、视频质量评测的方法和相关装置。视频质量评测模型训练方法包括：针对第一训练视频集合中未标注质量分数的第一训练视频，利用编码器集合中不同编码器和编码器的各个编码参数的不同数值进行编码，获得多个编码失真视频对、每个编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级；基于上述数据对孪生网络进行模型训练，将训练好的孪生网络中任意一个分支网络作为预训练模型；利用第二训练视频集合中标注质量分数的第二训练视频，对预训练模型进行微调训练，将训练好的预训练模型作为视频质量评测模型。视频质量评测方法包括：获得待评测编码失真视频输入视频质量评测模型获得第一质量评测分数。

【技术实现步骤摘要】
视频质量评测模型训练、视频质量评测的方法和相关装置
本申请涉及视频处理
，尤其涉及一种视频质量评测模型训练、视频质量评测的方法和相关装置。
技术介绍
随着多媒体技术的快速发展，多媒体数据呈现爆炸式增长。视频作为信息传播的主要载体，从视频采集到播放通常面临着很多信息失真，尤其是编码失真。不同强度的编码失真影响视频的质量，在实际应用中，编码失真视频质量评测尤为重要。目前，视频的质量评测一般采用无参考视频质量评测方法，而无参考视频质量评测方法主要分为传统方法和深度学习方法这两类方法。其中，深度学习方法相较于传统方法的更为便捷、质量评测效果更好，其是指对标注训练集进行深度学习获得视频质量评测模型，利用该视频质量评测模型实现编码失真视频质量评测。但是，上述深度学习方法通常需要构建一个大规模的标注训练集，该标注训练集包括大量标注质量分数的训练视频，标注质量分数需要耗费很多人力精力等等。即，当标注训练集的规模较小时，采用上述深度学习方法，导致视频质量评测模型的训练效果不佳，从而导致编码失真视频质量评测效果不佳。
技术实现思路
有鉴于此，本申请实施例提供一种视频质量评测模型训练、视频质量评测的方法和相关装置，即使标注训练集的规模较小，采用该方法使得视频质量评测模型的训练效果更好。第一方面，本申请实施例提供了一种视频质量评测模型训练的方法，所述方法包括：利用编码器集合中不同编码器和所述编码器的各个编码参数的不同数值，对第一训练视频集合中未标注质量分数的第一训练视频进行编码，获得多个编码失真视频对、每个所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级；基于每个所述编码失真视频对、该编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级，对孪生网络进行模型训练，将训练好的孪生网络中任意一个分支网络作为预训练模型；利用第二训练视频集合中标注质量分数的第二训练视频，对所述预训练模型进行微调训练，将训练好的预训练模型作为视频质量评测模型；所述第二训练视频集合中所述第二训练视频的数量小于预设数量。可选的，所述利用编码器集合中不同编码器和所述编码器的各个编码参数的不同数值，对第一训练视频集合中未标注质量分数的第一训练视频进行编码，获得多个编码失真视频对、每个所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级，包括：基于所述编码器集合、各个所述编码参数和所述第一训练视频集合、确定目标编码器、目标编码参数和目标训练视频；以保持所述目标编码器的其他编码参数的数值不变，单调变化所述目标编码器的所述目标编码参数的数值，对所述目标训练视频进行多次编码；所述其他编码参数是各个所述编码参数中除所述目标编码参数之外的编码参数；遍历所述编码器集合中每个所述编码器、各个所述编码参数中每个所述编码参数和所述第一训练视频集合中每个所述第一训练视频，重复上述步骤获得多个所述编码失真视频对、每个所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级。可选的，所述编码器集合包括H264、H265和AV1中多个编码器；各个所述编码参数包括编码速度、固定速率系数和编码码率中多个编码参数。可选的，所述基于每个所述编码失真视频对、该编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级，对孪生网络进行模型训练，包括：针对每个所述编码失真视频对，将所述编码失真视频对输入所述孪生网络，获得所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数；基于所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级，以及所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数，利用孪生网络损失函数对所述孪生网络进行模型训练。可选的，所述孪生网络损失函数是基于所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级的大小关系、以及所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数构建的。可选的，所述孪生网络损失函数是基于所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级的大小关系、所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数、以及惩罚权重构建的；当所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级的大小关系，与所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数的大小关系不同时，所述惩罚权重与所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级的差值绝对值正相关。第二方面，本申请实施例提供了一种视频质量评测的方法，利用上述第一方面任意一项所述的视频质量评测模型，所述方法包括：获得待评测编码失真视频；将所述待评测编码失真视频输入所述视频质量评测模型，获得所述待评测编码失真视频的第一质量评测分数。可选的，在所述获得所述待评测编码失真视频的第一质量评测分数之后，所述方法还包括：当预设质量评测分数范围与训练质量分数范围不同时，基于所述训练质量分数范围和所述预设质量评测分数范围，将所述第一质量评测分数映射为第二质量评测分数；所述第二质量评测分数属于所述预设质量评测分数范围；其中，所述预设质量评测分数范围是基于质量评测需求预先设定的；所述训练质量分数范围是所述第二训练视频集合中所述第二训练视频对应的质量分数范围。第三方面，本申请实施例提供了一种视频质量评测模型训练的装置，所述装置包括：第一获得单元，用于利用编码器集合中不同编码器和所述编码器的各个编码参数的不同数值，对第一训练视频集合中未标注质量分数的第一训练视频进行编码，获得多个编码失真视频对、每个所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级；第一训练单元，用于基于每个所述编码失真视频对、该编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级，对孪生网络进行模型训练，将训练好的孪生网络中任意一个分支网络作为预训练模型；第二训练单元，用于利用第二训练视频集合中标注质量分数的第二训练视频，对所述预训练模型进行微调训练，将训练好的预训练模型作为视频质量评测模型；所述第二训练视频集合中所述第二训练视频的数量小于预设数量。可选的，所述第一获得单元包括：确定子单元，用于基于所述编码器集合、各个所述编码参数和所述第一训练视频集合、确定目标编码器、目标编码参数和目标训练视频；编码子单元，用于以保持所述目标编码器的其他编码参数的数值不变，单调变化所述目标编码器的所述目标编码参数的数值，对所述目标训练视频进行多次编码；所述其他编码参数是各个所述编码参数中除所述目标编码参数之外的编码参数；第一获得子单元，用于遍历所述编码器集合中每个所述编码器、各个所述编码参数中每个所述编码参数和所述第一训练视频集合中每个所述第一训练视频，重复上述确定子单元和编码子单元，获得多个所述编码失真视频对、每个所述编码失真视频对中第一编码失真视频和第二编码失真本文档来自技高网...

【技术保护点】
1.一种视频质量评测模型训练的方法，其特征在于，包括：/n利用编码器集合中不同编码器和所述编码器的各个编码参数的不同数值，对第一训练视频集合中未标注质量分数的第一训练视频进行编码，获得多个编码失真视频对、每个所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级；/n基于每个所述编码失真视频对、该编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级，对孪生网络进行模型训练，将训练好的孪生网络中任意一个分支网络作为预训练模型；/n利用第二训练视频集合中标注质量分数的第二训练视频，对所述预训练模型进行微调训练，将训练好的预训练模型作为视频质量评测模型；所述第二训练视频集合中所述第二训练视频的数量小于预设数量。/n

【技术特征摘要】
1.一种视频质量评测模型训练的方法，其特征在于，包括：
利用编码器集合中不同编码器和所述编码器的各个编码参数的不同数值，对第一训练视频集合中未标注质量分数的第一训练视频进行编码，获得多个编码失真视频对、每个所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级；
基于每个所述编码失真视频对、该编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级，对孪生网络进行模型训练，将训练好的孪生网络中任意一个分支网络作为预训练模型；
利用第二训练视频集合中标注质量分数的第二训练视频，对所述预训练模型进行微调训练，将训练好的预训练模型作为视频质量评测模型；所述第二训练视频集合中所述第二训练视频的数量小于预设数量。


2.根据权利要求1所述的方法，其特征在于，所述利用编码器集合中不同编码器和所述编码器的各个编码参数的不同数值，对第一训练视频集合中未标注质量分数的第一训练视频进行编码，获得多个编码失真视频对、每个所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级，包括：
基于所述编码器集合、各个所述编码参数和所述第一训练视频集合、确定目标编码器、目标编码参数和目标训练视频；
以保持所述目标编码器的其他编码参数的数值不变，单调变化所述目标编码器的所述目标编码参数的数值，对所述目标训练视频进行多次编码；所述其他编码参数是各个所述编码参数中除所述目标编码参数之外的编码参数；
遍历所述编码器集合中每个所述编码器、各个所述编码参数中每个所述编码参数和所述第一训练视频集合中每个所述第一训练视频，重复上述步骤获得多个所述编码失真视频对、每个所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级。


3.根据权利要求1所述的方法，其特征在于，所述编码器集合包括H264、H265和AV1中多个编码器；各个所述编码参数包括编码速度、固定速率系数和编码码率中多个编码参数。


4.根据权利要求1所述的方法，其特征在于，所述基于每个所述编码失真视频对、该编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级，对孪生网络进行模型训练，包括：
针对每个所述编码失真视频对，将所述编码失真视频对输入所述孪生网络，获得所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数；
基于所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级，以及所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数，利用孪生网络损失函数对所述孪生网络进行模型训练。


5.根据权利要求4所述的方法，其特征在于，所述孪生网络损失函数是基于所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级的大小关系、以及所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预测分数构建的。


6.根据权利要求5所述的方法，其特征在于，所述孪生网络损失函数是基于所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量等级的大小关系、所述编码失真视频对中第一编码失真视频和第二编码失真视频的质量预...

【专利技术属性】
技术研发人员：鲁方波，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：北京;11