一种质量评价方法和装置制造方法及图纸

公开了一种质量评价方法和装置。基于多个激励中至少两个激励的已有评价数据，得到针对所述多个激励的配对比较综合结果。基于配对比较综合结果，分别确定至少一个激励对的期望信息增益，其中激励对包括多个激励中两个不同的激励。基于期望信息增益，从至少一个激励对中选择用于进行本轮次配对比较的激励对。另外，还可以对配对比较综合结果和本轮次配对比较结果进行融合，得到更新后的配对比较综合结果，以用于下一轮次的配对比较过程中期望信息增益的计算。由此，可以基于ACR实验结果或质量评价模型打分结果，加速配对比较实验进程，实现实验成本和实验精度之间更好的折中，使得实验成本最小化，实验精度最大化。

【技术实现步骤摘要】
一种质量评价方法和装置
本公开涉及一种质量评价方法和装置，特别涉及一种数据对象的质量评价方法和装置。
技术介绍
目前，在诸如多媒体视觉感知等方面的各种质量评价实验中，最常用的方法为绝对分类评分(ACR，AbsoluteCategoricalRating)方案，让实验人员(或称为“观测者”)使用李克特量表(Likertscale)，选择1-5分来对评价对象进行打分评价。1代表非常差，2代表差，3代表中，4代表好，5代表非常好。ACR方案的好处是时间复杂度较低，仅为N，即对于N个评价对象，观测者仅需要执行N次打分评价。因此，ACR方案被广泛使用。然而，在某些情况下(例如VR视频的视觉疲劳，AR视频的自然度，HDR视频的质量)，视觉感知的评价很难用李克特量表(Likert-scale)，即，1-5分来打分评价。这是因为观测者对于打分概念可能会非常模糊。这样，ACR方案对于观测者而言较为困难，相应地，评价结果也较不精确。在这种情况下，可以使用配对比较法(paircomparison)来实现这种困难的实验。每次实验中，观测者对评价对象进行两两比较，从一对评价对象中选出符合要求的评价对象。例如，在视频质量评价实验中，要求观测者每次观看两个视频，从中选出质量好的那一个。对于观测者而言，与在没有比较对象的情况下对单独某个评价对象进行ACR评分相比，在两个类似评价对象之间选择更好的一个要更加容易一些，甚至可以说是容易得多。这样，使用配对比较法可以显著降低实验难度，获得更准确的结果。然而，在实际应用中，配对比较法最大的问题在于其时间复杂度为N2，即，需要对所有评价对象能够两两组成的每一个评价对象对都进行对比评价。如果需要评价的视频数量巨大，例如1000个，则每个实验人员需要对1000×999/2＝499500个视频对进行比较。因此，期望有一种评价方案，其以低于上述配对比较法的时间复杂度实现高于ACR方案甚至与配对比较法相当的实验精度。
技术实现思路
本公开要解决的一个技术问题是提供一种质量评价方案，其能够以低于上述配对比较法的时间复杂度实现高于上述ACR方案的实验精度。根据本公开的第一个方面，提供了一种质量评价方法，包括：基于多个激励中至少两个激励的已有评价数据，得到针对所述多个激励的初始的配对比较综合结果；基于配对比较综合结果，分别确定至少一个激励对的期望信息增益，其中激励对包括多个激励中两个不同的激励；基于期望信息增益，从多个激励对中选择用于进行本轮次配对比较的激励对。可选地，基于多个激励中至少两个激励的已有评价数据得到针对多个激励初始的的配对比较综合结果的步骤包括：比较激励对中两个激励的已有评价数据的大小；基于所述比较结果，设定对应于激励对的配对比较综合结果，以表示在两个激励中选择具有较大评价数据的激励。可选地，基于多个激励中至少两个激励的已有评价数据得到针对多个激励的配对比较结果的步骤可以包括：基于先前由多个观测者和/或多种评价模型和/或通过多种方式分别获得的多个激励的多组已有评价数据，进行数据转换得到针对多个激励的多个配对比较结果；以及融合多个配对比较结果，得到配对比较综合结果。可选地，该方法还可以包括：采用本轮次配对比较结果对配对比较综合结果进行更新，更新后的配对比较综合结果用于下一轮次的配对比较过程中期望信息增益的确定。可选地，采用本轮次配对比较结果对配对比较综合结果进行更新的步骤包括：对配对比较综合结果和本轮次配对比较结果进行加权融合，以得到更新后的配对比较综合结果。可选地，对配对比较综合结果和本轮次配对比较结果进行加权融合的步骤包括：为对应于更高期望信息增益的轮次的配对比较结果设置更高的权重；以及/或者为配对比较综合结果设置相对较低的权重。可选地，对配对比较综合结果和本轮次配对比较结果进行加权融合的步骤包括：基于配对比较轮次总数和/或各轮次的期望信息增益，为各轮次的配对比较结果设置权重。可选地，为配对比较综合结果设置的权重为1；为各轮次的配对比较结果设置的权重为包括本轮次在内的剩余计划轮次总数，或者为计划轮次总数和与本轮次对应的期望信息增益正相关的函数的乘积。可选地，基于针对多个激励的配对比较综合结果分别确定多个激励对的期望信息增益的步骤包括：基于针对多个激励的配对比较综合结果，获得多个激励各自的质量分布数据；以及基于质量分布数据，分别确定多个激励对的期望信息增益。可选地，质量分布数据包括：质量分数分布的均值和均值的估计误差；以及质量分数分布的方差和方差的估计误差，分别确定多个激励对的期望信息增益的步骤包括：基于均值和均值的估计误差，确定激励对的第一期望信息增益；基于方差和方差的估计误差，确定激励对的第二期望信息增益；以及基于第一期望信息增益和第二期望信息增益，确定激励对的期望信息增益。可选地，该方法还可以包括：输出至少一个激励对的期望信息增益，接收第一指令并响应于第一指令对期望信息增益进行确认和/或调整；以及/或者输出所选择的激励对的信息，接收第二指令并响应于第二指令对所选择的激励对进行确认和/或调整。根据本公开的第二个方面，提供了一种数据对象质量评价方法，包括：基于多个数据对象中至少两个数据对象的已有评价数据，得到针对所述多个数据对象的配对比较综合结果；基于配对比较综合结果，分别确定至少一个数据对象对的期望信息增益，其中数据对象对包括多个数据对象中两个不同的数据对象；以及基于期望信息增益，从至少一个数据对象对中选择用于进行本轮次配对比较的数据对象对。根据本公开的第三个方面，提供了一种人员评价方法，包括：基于多个人员中至少两个人员的已有评价数据，得到针对多个人员的初始的配对比较综合结果；基于配对比较综合结果，分别确定至少一个人员对的期望信息增益，其中人员对包括多个人员中两个不同的人员；以及基于期望信息增益，从至少一个人员对中选择用于进行本轮次配对比较的人员对。根据本公开的第四个方面，提供了一种评分方法，用于对人员作出的多个评分对象进行评分，包括：基于多个评分对象中至少两个评分对象的已有评价数据，得到针对多个评分对象的初始的配对比较综合结果；基于配对比较综合结果，分别确定至少一个评分对象对的期望信息增益，其中评分对象对包括多个评分对象中两个不同的评分对象；以及基于期望信息增益，从至少一个评分对象对中选择用于进行本轮次配对比较的评分对象对。根据本公开的第五个方面，提供了一种商品评价方法，包括：基于多个商品中至少两个商品的已有评价数据，得到针对多个商品的初始的配对比较综合结果；基于配对比较综合结果，分别确定至少一个商品对的期望信息增益，其中商品对包括多个商品中两个不同的商品；以及基于期望信息增益，从至少一个商品对中选择用于进行本轮次配对比较的商品对。根据本公开的第六个方面，提供了一种质量评价装置，包括：初始结果准备装置，基于多个激励中至少两个激励的已有评价数据，得到针对所述多个激励的配对比较综合结果；期望信息增益获取装置，基于配对比较综合结果，分别确定至少一个激本文档来自技高网...

【技术保护点】
1.一种质量评价方法，包括：/n基于多个激励中至少两个激励的已有评价数据，得到针对所述多个激励的初始的配对比较综合结果；/n基于所述配对比较综合结果，分别确定至少一个激励对的期望信息增益，其中所述激励对包括所述多个激励中两个不同的激励；以及/n基于期望信息增益，从所述至少一个激励对中选择用于进行本轮次配对比较的激励对。/n

【技术特征摘要】
1.一种质量评价方法，包括：
基于多个激励中至少两个激励的已有评价数据，得到针对所述多个激励的初始的配对比较综合结果；
基于所述配对比较综合结果，分别确定至少一个激励对的期望信息增益，其中所述激励对包括所述多个激励中两个不同的激励；以及
基于期望信息增益，从所述至少一个激励对中选择用于进行本轮次配对比较的激励对。


2.根据权利要求1所述的方法，其中，基于所述多个激励中至少两个激励的已有评价数据得到针对所述多个激励的初始的配对比较结果的步骤包括：
比较激励对中两个激励的已有评分的大小；
基于所述比较结果，设定对应于所述激励对的配对比较结果，以表示在所述两个激励中选择具有较大评分的激励。


3.根据权利要求1所述的方法，其中，基于所述多个激励中至少两个激励的已有评价数据得到针对所述多个激励的初始的配对比较综合结果的步骤包括：
基于先前由多个观测者和/或多种评价模型和/或通过多种方式分别获得的所述多个激励的多组已有评价数据，进行数据转换得到针对所述多个激励的多个配对比较结果；以及
融合所述多个配对比较结果，得到所述配对比较综合结果。


4.根据权利要求1所述的方法，还包括：
采用本轮次配对比较结果对所述配对比较综合结果进行更新，更新后的配对比较综合结果用于下一轮次的配对比较过程中期望信息增益的确定。


5.根据权利要求4所述的方法，其中，采用本轮次配对比较结果对所述配对比较综合结果进行更新的步骤包括：
对所述配对比较综合结果和本轮次配对比较结果进行加权融合，以得到更新后的配对比较综合结果。


6.根据权利要求5所述的方法，其中，对所述配对比较综合结果和本轮次配对比较结果进行加权融合的步骤包括：
为对应于更高期望信息增益的轮次的配对比较结果设置更高的权重；以及/或者
为配对比较综合结果设置相对较低的权重。


7.根据权利要求6所述的方法，其中，对所述配对比较综合结果和本轮次配对比较结果进行加权融合的步骤包括：
基于配对比较轮次总数和/或各轮次的期望信息增益，为各轮次的配对比较结果设置权重。


8.根据权利要求7所述的方法，其中，
为初始的配对比较综合结果设置的权重为1；
为各轮次的配对比较结果设置的权重为包括本轮次在内的剩余计划轮次总数，或者为计划轮次总数和与本轮次对应的期望信息增益正相关的函数的乘积。


9.根据权利要求1至8中任何一项所述的方法，其中，所述基于针对多个激励的配对比较综合结果分别确定多个激励对的期望信息增益的步骤包括：
基于针对多个激励的配对比较综合结果，获得所述多个激励各自的质量分布数据；以及
基于所述质量分布数据，分别确定多个激励对的期望信息增益。


10.根据权利要求9所述的方法，其中，所述质量分布数据包括：
质量分数分布的均值和所述均值的估计误差；以及
质量分数分布的方差和所述方差的估计误差，
所述分别确定多个激励对的期望信息增益的步骤包括：
基于所述均值和所述均值的估计误差，确定激励对的第一期望信息增益；
基于所述方差和所述方差的估计误差，确定激励对的第二期望信息增益；以及
基于所述第一期望信息增益和所述第二期望信息增益，确定激励对的所述期望信息增益。


11.根据权利要求1至8中任何一项所述的方法，还包括：
输出所述至少一个激励对的期望信息增益，接收第一指令并响应于所述第一指令对所述期望信息增益进行确认和/或调整；以及/或者
输出所选择的激励对的信息，接收第二指令并响应于第二指令对所选择的激励对进行确...

【专利技术属性】
技术研发人员：李静，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY