一种评价信息的处理方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术实施例提供了评价信息的处理方法、装置、电子设备及存储介质，所述方法包括：在开始测评后依次显示评测样本；获取测评人员提供的针对每个测评样本的评价信息；在获取的评价信息的数量达到目标数量后，计算所述评价信息中相同的信息占所述评价信息总数量的比例；基于所述比例及预设比例阈值，确定所述评价信息的质量结果是否合格并显示所述质量结果。通过在测评过程中对评价信息中相同的信息占评价信息总数量的比例的计算，可以基于比例及预设比例阈值确定该测评人员的评价信息是否合格，无需在全部测评人员对全部评测样本评测完成后再评估测评质量，可以提高测评的效率，大大减少人力物力的浪费。减少人力物力的浪费。减少人力物力的浪费。

【技术实现步骤摘要】
一种评价信息的处理方法、装置、电子设备及存储介质


[0001]本专利技术涉及样本测评
，特别是涉及一种评价信息的处理方法、装置、电子设备及存储介质。

技术介绍

[0002]在进行样本评测时，由于样本数量一般较大，所以需要多个评测人员同时进行评测工作。例如，在对大量图片样本或视频样本的画质进行评测时，首先创建一个包含大量评测样本的评测任务，然后分配给多个评测人员进行评测。在全部评测样本被评测完毕后，将各个评测人员对于评测样本的评价信息统一汇总得到评测结果，该评测结果可以用于模型训练、数据分析等。
[0003]对于评测样本的评价信息没有客观的正确和错误，需要评测人员根据主观感受进行评测，所以无法根据是否正确判断评测结果的质量，不能区分评测结果中的合格评价信息和不合格评价信息，只能通过一些方差或均值验证算法来验证评测结果的整体评测质量，如果评测质量不合格即没有达到某个预设阈值，需要对全部测评样本重新评测。
[0004]在上述评测样本的测评方式中，由于需要在全部测评人员对全部评测样本评测完成后才能评估评测质量，如果评测质量不合格需本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种评价信息的处理方法，其特征在于，所述方法包括：在开始测评后依次显示评测样本；获取测评人员提供的针对每个所述测评样本的评价信息；在获取的评价信息的数量达到目标数量后，计算所述评价信息中相同的信息占所述评价信息总数量的比例；基于所述比例及预设比例阈值，确定所述评价信息的质量结果是否合格，并显示所述质量结果。2.根据权利要求1所述方法，其特征在于，所述方法还包括：在依次显示评测样本的过程中显示验证问题，其中，所述验证问题为预先加入所述测评样本中的；获取所述测评人员提供的针对所述验证问题的答案；基于所述答案确定所述评价信息的质量结果是否合格，并显示所述质量结果。3.根据权利要求2所述方法，其特征在于，所述基于所述答案确定所述评价信息的质量结果是否合格的步骤，包括：统计所述答案的准确率，如果所述准确率低于预设准确率阈值，确定所述评价信息的质量结果为不合格；或，统计所述答案连续错误的次数，当所述次数达到预设次数阈值时，确定所述评价信息的质量结果为不合格。4.根据权利要求2所述方法，其特征在于，在所述获取所述测评人员提供的针对所述验证问题的答案的步骤之后，所述方法还包括：当所述答案错误时显示警告信息，其中，所述警告信息用于提示所述测评人员出现答案错误的情况。5.根据权利要求1-4任一项所述方法，其特征在于，所述每个测评样本具有多个维度的评价信息；所述计算所述评价信息中相同的信息占所述评价信息总数量的比例的步骤，包括：计算每个维度的评价信息中相同的信息占该维度的评价信息总数量的比例；所述基于所述比例及预设比例阈值，确定所述评价信息的质量结果是否合格的步骤，包括：当所述多个维度对应的比例中存在至少一个比例达到预设比例阈值时，确定所述评价信息的质...

【专利技术属性】
技术研发人员：张明慧，
申请(专利权)人：北京金山云网络技术有限公司，
类型：发明
国别省市：