一种质量评价方法和装置制造方法及图纸

技术编号:29792200 阅读:19 留言:0更新日期:2021-08-24 18:11
公开了一种质量评价方法和装置。基于针对多个激励的配对比较综合结果,获得多个激励各自的质量分布数据。质量分布数据包括质量分数分布的方差和方差的估计误差。基于质量分布数据,分别计算多个激励对的期望信息增益,其中每个激励对包括多个激励中两个不同的激励。基于期望信息增益,从多个激励对中选择用于进行本轮次配对比较的激励对。由此,能够获得更为准确的期望信息增益,便于选择能够提供更多信息的激励对来进行接下来的配对比较实验。

【技术实现步骤摘要】
一种质量评价方法和装置
本公开涉及一种质量评价方法和装置,特别涉及一种数据对象的质量评价方法和装置。
技术介绍
目前,在诸如多媒体视觉感知等方面的各种质量评价实验中,最常用的方法为绝对分类评分(ACR,AbsoluteCategoricalRating)方案,让实验人员(或称为“观测者”)使用李克特量表(Likertscale),选择1-5分来对评价对象进行打分评价。1代表非常差,2代表差,3代表中,4代表好,5代表非常好。然而,在某些情况下(例如VR视频的视觉疲劳,AR视频的自然度,HDR视频的质量),视觉感知的评价很难用李克特量表(Likert-scale),即,1-5分来打分评价。这是因为观测者对于打分概念可能会非常模糊。这样,ACR方案对于观测者而言较为困难,相应地,评价结果也较不精确。在这种情况下,可以使用配对比较法(paircomparison)来实现这种困难的实验。每次实验中,观测者对评价对象进行两两比较,从一对评价对象中选出符合要求的评价对象。例如,在视频质量评价实验中,要求观测者每次观看两个视频,从中选出质量好的那一个。对于观测者而言,与在没有比较对象的情况下对单独某个评价对象进行ACR评分相比,在两个类似评价对象之间选择更好的一个要更加容易一些,甚至可以说是容易得多。这样,使用配对比较法可以显著降低实验难度,获得更准确的结果。然而,在实际应用中,配对比较法最大的问题在于其时间复杂度为N2,即,需要对所有评价对象能够两两组成的每一个评价对象对都进行对比评价。如果需要评价的视频数量巨大,例如1000个,则每个实验人员需要对1000×999/2=499500个视频对进行比较。因此,期望能够降低配对比较过程的时间复杂度而保持较高的实验精度。
技术实现思路
本公开要解决的一个技术问题是提供一种质量评价方案,其能够降低配对比较过程的时间复杂度而保持较高的实验精度。根据本公开的第一个方面,提供了一种质量评价方法,包括:基于针对多个激励的配对比较综合结果,获得多个激励各自的质量分布数据,质量分布数据包括质量分数分布的方差和方差的估计误差;基于质量分布数据,分别确定至少一个激励对的期望信息增益,其中激励对包括多个激励中两个不同的激励;以及基于期望信息增益,从至少一个激励对中选择用于进行本轮次配对比较的激励对。可选地,质量分布数据还包括质量分数分布的均值和均值的估计误差,分别确定多个激励对的期望信息增益的步骤包括:基于均值和均值的估计误差,计算激励对的第一期望信息增益;基于方差和方差的估计误差,确定激励对的第二期望信息增益;以及基于第一期望信息增益和第二期望信息增益,确定激励对的期望信息增益。可选地,以多个激励各自的质量分布的均值或方差为统计值,基于多个激励各自的统计值确定激励对的第一或第二期望信息增益的步骤包括:基于统计值和统计值的方差,确定激励对中两个激励的统计值之差的先验分布数据,即统计值之差的差均值和差均值的协方差矩阵;以及基于差均值和差均值的协方差矩阵,确定激励对的第一或第二期望信息增益。可选地,基于差均值和差均值的估计误差确定激励对的第一或第二期望信息增益的步骤包括:确定激励对中两个激励的统计值之差的先验分布数据和后验分布数据之间的库尔贝克·莱布勒散度(KLD),作为激励对的第一或第二期望信息增益。可选地,该方法还可以包括:获取本轮次针对所选激励对进行配对比较而得到的本轮次配对比较结果;对配对比较综合结果和本轮次配对比较结果进行融合,得到更新后的配对比较综合结果,以用于下一轮次的配对比较过程中期望信息增益的确定。可选地,该方法还可以包括:重复获得多个激励各自的质量分布数据的步骤、分别确定多个激励对的期望信息增益的步骤、选择用于进行本轮次配对比较的激励对的步骤、获取本轮次配对比较结果的步骤、融合配对比较综合结果和本轮次配对比较结果的步骤,直到满足配对比较结束条件。可选地,该方法还可以包括:在满足配对比较结束条件,结束配对比较之后,使用配对比较模型对融合获得的最终配对比较结果进行数据分析,转换得到多个激励各自的质量分数。可选地,获得多个激励各自的质量分布数据的步骤包括:将配对比较综合结果输入到瑟斯顿模型III中,获得多个激励各自的质量分布数据。可选地,该方法还可以包括:基于多个激励中至少两个激励的已有评价数据,进行数据转换得到针对多个激励的初始的配对比较综合结果;以及/或者融合先前由多个观测者和/或多种评价模型和/或通过多种方式分别获得的针对多个激励的配对比较结果,得到配对比较综合结果。可选地,该方法还可以包括:输出至少一个激励对的期望信息增益,接收第一指令并响应于第一指令对期望信息增益进行确认和/或调整;以及/或者输出所选择的激励对的信息,接收第二指令并响应于第二指令对所选择的激励对进行确认和/或调整。根据本公开的第二个方面,提供了一种数据对象质量评价方法,包括:基于针对多个激励的配对比较综合结果,获得多个激励各自的质量分布数据,质量分布数据包括质量分数分布的方差和方差的估计误差;基于质量分布数据,确定激励对的期望信息增益,其中激励对包括多个激励中两个不同的激励;以及基于期望信息增益,从多个激励对中选择用于进行本轮次配对比较的激励对。根据本公开的第三个方面,提供了一种人员评价方法,包括:基于针对多个人员的配对比较综合结果,获得多个人员各自的质量分布数据,质量分布数据包括质量分数分布的方差和方差的估计误差;基于质量分布数据,分别确定至少一个人员对的期望信息增益,其中人员对包括多个人员中两个不同的人员;以及基于期望信息增益,从至少一个人员对中选择用于进行本轮次配对比较的人员对。根据本公开的第四个方面,提供了一种评分方法,用于对人员作出的多个评分对象进行评分,包括:基于针对多个评分对象的配对比较综合结果,获得多个评分对象各自的质量分布数据,质量分布数据包括质量分数分布的方差和方差的估计误差;基于质量分布数据,分别确定至少一个评分对象对的期望信息增益,其中评分对象对包括多个评分对象中两个不同的评分对象;以及基于期望信息增益,从至少一个评分对象对中选择用于进行本轮次配对比较的评分对象对。根据本公开的第五个方面,提供了一种商品评价方法,包括:基于针对多个商品的配对比较综合结果,获得多个商品各自的质量分布数据,质量分布数据包括质量分数分布的方差和方差的估计误差;基于质量分布数据,分别确定至少一个商品对的期望信息增益,其中商品对包括多个商品中两个不同的商品;以及基于期望信息增益,从至少一个商品对中选择用于进行本轮次配对比较的商品对。根据本公开的第六个方面,提供了一种质量评价装置,包括:质量分布数据确定装置,基于针对多个激励的配对比较综合结果,获得多个激励各自的质量分布数据,质量分布数据包括质量分数分布的方差和方差的估计误差;期望信息增益确定装置,基于质量分布数据,分别确定至少一个激励对的期望信息增益,其中激励对包括多个激励中两个不同的激励;以及激励对选择装置,基于期望信息增益,本文档来自技高网
...

【技术保护点】
1.一种质量评价方法,包括:/n基于针对多个激励的配对比较综合结果,获得所述多个激励各自的质量分布数据,所述质量分布数据包括质量分数分布的方差和所述方差的估计误差;/n基于所述质量分布数据,分别确定至少一个激励对的期望信息增益,其中所述激励对包括所述多个激励中两个不同的激励;以及/n基于期望信息增益,从所述至少一个激励对中选择用于进行本轮次配对比较的激励对。/n

【技术特征摘要】
1.一种质量评价方法,包括:
基于针对多个激励的配对比较综合结果,获得所述多个激励各自的质量分布数据,所述质量分布数据包括质量分数分布的方差和所述方差的估计误差;
基于所述质量分布数据,分别确定至少一个激励对的期望信息增益,其中所述激励对包括所述多个激励中两个不同的激励;以及
基于期望信息增益,从所述至少一个激励对中选择用于进行本轮次配对比较的激励对。


2.根据权利要求1所述的方法,其中,所述质量分布数据还包括质量分数分布的均值和所述均值的估计误差,
所述分别确定多个激励对的期望信息增益的步骤包括:
基于所述均值和所述均值的估计误差,确定激励对的第一期望信息增益;
基于所述方差和所述方差的估计误差,确定激励对的第二期望信息增益;以及
基于所述第一期望信息增益和所述第二期望信息增益,确定激励对的所述期望信息增益。


3.根据权利要求2所述的方法,其中,以所述多个激励各自的质量分布的均值或方差为统计值,基于所述多个激励各自的统计值确定激励对的第一或第二期望信息增益的步骤包括:
基于所述统计值和所述统计值的方差,确定激励对中两个激励的所述统计值之差的先验分布数据,即所述统计值之差的差均值和差均值的协方差矩阵;以及
基于所述差均值和所述差均值的协方差矩阵,确定激励对的第一或第二期望信息增益。


4.根据权利要求3所述的方法,其中,基于所述差均值和所述差均值的估计误差确定激励对的第一或第二期望信息增益的步骤包括:
确定激励对中两个激励的所述统计值之差的先验分布数据和后验分布数据之间的库尔贝克·莱布勒散度(KLD),作为所述激励对的第一或第二期望信息增益。


5.根据权利要求1所述的方法,还包括:
获取本轮次针对所选激励对进行配对比较而得到的本轮次配对比较结果;
对所述配对比较综合结果和本轮次配对比较结果进行融合,得到更新后的配对比较综合结果,以用于下一轮次的配对比较过程中期望信息增益的确定。


6.根据权利要求5所述的方法,还包括:
重复所述获得多个激励各自的质量分布数据的步骤、分别确定多个激励对的期望信息增益的步骤、选择用于进行本轮次配对比较的激励对的步骤、获取本轮次配对比较结果的步骤、融合所述配对比较综合结果和本轮次配对比较结果的步骤,直到满足配对比较结束条件。


7.根据权利要求6所述的方法,还包括:
在满足配对比较结束条件,结束配对比较之后,使用配对比较模型对融合获得的最终配对比较结果进行数据分析,转换得到所述多个激励各自的质量分数。


8.根据权利要求1至7中任何一项所述的方法,其中,所述获得所述多个激励各自的质量分布数据的步骤包括:
将所述配对比较综合结果输入到瑟斯顿模型III中,获得所述多个激励各自的质量分布数据。


9.根据权利要求1至7中任何一项所述的方法,还包括:
基于所述多个激励中至少两个激励的已有评价数据,进行数据转换得到针对所述多个激励的初始的配对比较综合结果;以及/或者
融合先前由多个观测者和/或多种评价模型和/或通过多种方式分别获得的针对所述多个激励的配对比较结果,得到所述配对比较综合结果。


10.根据权利要求1至7中任何一项所述的方法,还包括:
输出所述至少一个激励对的期望信息增益,接收第一指令并响应于所述第一指令对所述期望信息增益进行确认和/或调整;以及/或者
输出所选择的激励对的信息,接收第二指令并响应于第二指令对所选择的激励对进行确认和/或调整。


11.一种...

【专利技术属性】
技术研发人员:李静
申请(专利权)人:阿里巴巴集团控股有限公司
类型:发明
国别省市:开曼群岛;KY

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1