System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 视频质量评价方法、装置、电子设备及存储介质制造方法及图纸_技高网

视频质量评价方法、装置、电子设备及存储介质制造方法及图纸

技术编号:40711834 阅读:3 留言:0更新日期:2024-03-22 11:13
本申请实施例提供一种数据集生成方法和装置、视频质量评价模型的训练方法和装置、视频质量评价方法和装置、以及电子设备及存储介质,所述数据集生成方法包括:根据视频质量指标,从视频库中筛选出第一视频集,第一视频集中的视频在视频质量指标下的指标值覆盖视频质量指标的取值范围;根据视频属性,从第一视频集中筛选出第二视频集,第二视频集中的视频在视频属性下的属性值覆盖视频属性的取值范围;根据视频特征,从第二视频集中筛选出第三视频集,第三视频集中的视频在视频特征下的特征值覆盖视频特征的取值范围;根据第三视频集生成数据集,数据集用于训练视频质量评价模型。采用本申请实施例,可以提高模型泛化性能。

【技术实现步骤摘要】

本申请涉及视频质量评价领域,尤其涉及一种数据集生成方法和装置、视频质量评价模型的训练方法和装置、视频质量评价方法和装置、以及电子设备及存储介质。


技术介绍

1、在视频搜索或推荐场景下,为了给用户提供更优质的视频,需要对线上的视频进行质量评价。随着深度学习在视频质量评价领域的发展,视频质量评价模型(例如无参考评分模型)成为用于评价视频质量的一种重要方式。

2、然而,目前的视频质量评价模型,由于其训练用的视频量以及视频多样性具有较大的局限性,导致模型泛化性能较差,无法有效地应用于一些视频场景,例如在用户生成内容(user generated content,ugc)视频场景下的质量评价结果不够准确,影响用户的视频消费体验。


技术实现思路

1、本申请提供一种数据集生成方法和装置、视频质量评价模型的训练方法和装置、视频质量评价方法和装置、以及电子设备及存储介质,可以提高模型泛化性能。

2、第一方面,本申请实施例提供了一种数据集生成方法,所述方法包括:

3、根据视频质量指标,从视频库中筛选出第一视频集,所述第一视频集中的视频在所述视频质量指标下的指标值覆盖所述视频质量指标的取值范围;

4、根据视频属性,从所述第一视频集中筛选出第二视频集,所述第二视频集中的视频在所述视频属性下的属性值覆盖所述视频属性的取值范围;

5、根据视频特征,从所述第二视频集中筛选出第三视频集,所述第三视频集中的视频在所述视频特征下的特征值覆盖所述视频特征的取值范围;

6、根据所述第三视频集生成数据集,所述数据集用于训练视频质量评价模型。

7、通过上述实施例,综合视频质量指标、视频属性、视频特征等多个维度对视频进行由粗到细的筛选,最终筛选出的数据集涵盖了各种质量类型、各种属性特点以及各种细节特点的视频,丰富了视频的多样性,利用该数据集训练视频质量评价模型,能够增强模型对于各种视频的学习能力,从而提高模型泛化性能,使得模型能够有效地应用于多种视频场景,获得更准确的视频质量评价结果,有助于提升用户的视频消费体验。

8、在一些可能的实施方式中,所述视频质量指标包括:视频质量多方法评价融合指标、峰值信噪比和码率;

9、所述根据视频质量指标,从视频库中筛选出第一视频集,包括:

10、将所述视频质量指标的取值范围划分为多个取值区间;

11、对于所述视频质量指标的每个取值区间,从所述视频库中选取相应数量的满足所述取值区间的视频,获得所述第一视频集。

12、通过上述实施方式,将视频质量指标的取值范围划分为多个取值区间,对于每一取值区间,从视频库中选取相应数量的满足该取值区间的视频,据此筛选出的视频集涵盖了各种质量类型的视频,有助于保证视频集在质量维度的多样性。

13、在一些可能的实施方式中,所述视频属性包括:类别、码率、分辨率和横竖屏;

14、所述根据视频属性,从所述第一视频集中筛选出第二视频集,包括:

15、将所述视频属性的取值范围划分为多个取值区间;

16、对于所述视频属性的每个取值区间,从所述第一视频集中选取相应数量的满足所述取值区间的视频,获得所述第二视频集。

17、通过上述实施方式,将视频属性的取值范围划分为多个取值区间,对于每一取值区间,从第一视频集中选取相应数量的满足该取值区间的视频,据此筛选出的视频集涵盖了各种属性特点的视频,有助于保证视频集在属性维度的多样性。

18、在一些可能的实施方式中,所述视频特征包括:场景和目标特征,其中,所述目标特征包括:块效应、能量、模糊度、曝光度、对比度、边缘和色彩;

19、所述根据视频特征,从所述第二视频集中筛选出第三视频集,包括:

20、将每个目标特征的取值范围划分为多个取值区间,基于每个目标特征的取值区间,从所述第二视频集中确定一个对应的视频子集;

21、从未被选取的视频子集中选取当前视频子集;

22、从所述当前视频子集中未被选取的视频中选取当前视频;

23、在添加到待填充视频集中的视频数量未达到预设数量的情况下,执行以下处理过程,直至添加到所述待填充视频集中的视频数量达到所述预设数量,将所述待填充视频集确定为所述第三视频集;所述处理过程包括:

24、若所述当前视频满足条件,则将所述当前视频添加到所述待填充视频集中,并在所述当前视频子集中存在未被选取的视频的情况下,返回所述从所述当前视频子集中未被选取的视频中选取当前视频的步骤,或者在所述当前视频子集中不存在未被选取的视频的情况下,返回所述从未被选取的视频子集中选取当前视频子集的步骤;

25、若所述当前视频不满足所述条件,则在所述当前视频子集中存在未被选取的视频的情况下,返回所述从所述当前视频子集中未被选取的视频中选取当前视频的步骤,或者在所述当前视频子集中不存在未被选取的视频的情况下,返回所述从未被选取的视频子集中选取当前视频子集的步骤;

26、其中,所述条件包括:所述当前视频不在所述待填充视频集中,所述当前视频的场景在所述待填充视频集中所对应的视频数量与所述预设数量的比值不超过预设比例,以及所述当前视频的目标特征与已添加到所述待填充视频集中的每个视频的目标特征之间的欧式距离均大于预设阈值。

27、通过上述实施方式,从第二视频集中筛选出满足条件的视频,该条件考虑到了视频在场景特征和各目标特征下的差异,据此筛选出的视频集涵盖了各种细节特点的视频,有助于保证视频集在特征维度的多样性。

28、在一些可能的实施方式中,根据所述第三视频集生成数据集,包括:

29、从所述第三视频集中筛选出待降质视频,对所述待降质视频进行降质处理获得第四视频集;

30、根据所述第三视频集和所述第四视频集生成数据集。

31、通过上述实施方式,在用于训练视频质量评价模型的数据集中添加降质后视频,有助于增强模型对于因视频技术缺陷导致的低质视频的学习能力,从而进一步提高模型泛化性能。

32、在一些可能的实施方式中,所述对所述待降质视频进行降质处理获得第四视频集,包括:

33、从所述待降质视频中抽取至少一帧图像,对每帧图像进行图像维度的降质处理,获得第一降质后视频,其中,所述图像维度的降质处理包括:图像编码、降采样、高斯模糊和高斯加噪;

34、对所述待降质视频进行视频维度的降质处理,获得第二降质后视频,其中,所述视频维度的降质处理包括:视频编码、降采样、高斯模糊和高斯加噪;

35、根据所述第一降质后视频和所述第二降质后视频获得第四视频集。

36、通过上述实施方式,结合图像降质和视频降质,可以生成丰富的因视频技术缺陷导致的低质视频,有利于覆盖到更多的低质场景,增强模型对低质视频的泛化能力。

37、第二方面,本申请实施例提供了一种视频质量评价模型的训练方法,所述方法包本文档来自技高网...

【技术保护点】

1.一种数据集生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述视频质量指标包括:视频质量多方法评价融合指标、峰值信噪比和码率;

3.根据权利要求1所述的方法,其特征在于,所述视频属性包括:类别、码率、分辨率和横竖屏;

4.根据权利要求1所述的方法,其特征在于,所述视频特征包括:场景和目标特征,其中,所述目标特征包括:块效应、能量、模糊度、曝光度、对比度、边缘和色彩;

5.根据权利要求1至4中任意一项所述的方法,其特征在于,根据所述第三视频集生成数据集,包括:

6.根据权利要求5所述的方法,其特征在于,所述对所述待降质视频进行降质处理获得第四视频集,包括:

7.一种视频质量评价模型的训练方法,其特征在于,所述方法包括:

8.一种视频质量评价方法,其特征在于,所述方法包括:

9.一种数据集生成装置,其特征在于,所述装置包括:

10.一种视频质量评价模型的训练装置,其特征在于,所述装置包括:

11.一种视频质量评价装置,其特征在于,所述装置包括:

12.一种电子设备,其特征在于,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1至8中任意一项所述的方法。

13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1至8中任意一项所述的方法。

...

【技术特征摘要】

1.一种数据集生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述视频质量指标包括:视频质量多方法评价融合指标、峰值信噪比和码率;

3.根据权利要求1所述的方法,其特征在于,所述视频属性包括:类别、码率、分辨率和横竖屏;

4.根据权利要求1所述的方法,其特征在于,所述视频特征包括:场景和目标特征,其中,所述目标特征包括:块效应、能量、模糊度、曝光度、对比度、边缘和色彩;

5.根据权利要求1至4中任意一项所述的方法,其特征在于,根据所述第三视频集生成数据集,包括:

6.根据权利要求5所述的方法,其特征在于,所述对所述待降质视频进行降质处理获得第四视频集,包括:

...

【专利技术属性】
技术研发人员:刘立洲黄一雯陈秋伯
申请(专利权)人:书行科技北京有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1