众包任务库的更新方法、系统及电子设备技术方案

本发明专利技术提供了一种众包任务库的更新方法、系统及电子设备，根据任务库中的已标注任务，从多个参与终端中确定多个第一终端；向多个第一终端提供各自对应的第一任务集合；接收多个第一终端提交的任务标注结果；根据同一第一任务的多个标注信息，判断是否收敛出真值；应用收敛出真值的目标第一任务及其真值更新任务库。该方式可以根据任务库中的已标注任务，从多个参与终端中确定出多个第一终端；在从多个第一终端提交的任务标注结果中，确认收敛出真值的目标第一任务后，可以将该目标第一任务及其真值保存到任务库中，以不断更新任务库中的已标注任务，由于不需要任务发布者手动配置，从而可以减少任务发布者的工作量，提高任务发布效率。布效率。布效率。

【技术实现步骤摘要】
众包任务库的更新方法、系统及电子设备


[0001]本专利技术涉及众包标注
，尤其是涉及一种众包任务库的更新方法、系统及电子设备。

技术介绍

[0002]众包平台可以为任务发布者提供任务标注服务，为标注员提供数据标注平台，任务发布者通过该平台发布任务，标注员通过该平台自愿主动领取标注任务，并在完成标注任务后获得报酬，标注员在领取标注任务前，通常需要先对该标注员的能力进行筛选，相关技术中，任务发布者每次发布任务时都需要设置考试题目，并为每个考试题目手动配置考试题目答案，该方式增加了任务发布者的工作量，降低了任务发布效率。

技术实现思路

[0003]本专利技术的目的在于提供一种众包任务库的更新方法、系统及电子设备，以减少任务发布者的工作量，提高任务发布效率。
[0004]本专利技术提供的一种众包任务库的更新方法，通过众包服务器提供任务库，其中，任务库中至少存在一部分待标注任务，方法包括：根据任务库中的已标注任务，从多个参与终端中确定出多个第一终端；向多个第一终端提供任务库中的各自对应的第一任务集合；其中，每个第一任务集合本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种众包任务库的更新方法，其特征在于，通过众包服务器提供任务库，其中，所述任务库中至少存在一部分待标注任务，所述方法包括：根据所述任务库中的已标注任务，从多个参与终端中确定出多个第一终端；向多个所述第一终端提供所述任务库中的各自对应的第一任务集合；其中，每个所述第一任务集合中的第一任务均为待标注任务；多个所述第一任务集合中存在至少一部分相同的第一任务；接收多个所述第一终端针对各自对应的所述第一任务集合提交的任务标注结果；其中，所述任务标注结果包括每个所述第一任务对应的标注信息；根据同一所述第一任务对应的多个标注信息，判断该第一任务的标注信息是否收敛出真值；应用收敛出真值的目标第一任务及其真值更新所述任务库。2.根据权利要求1所述的方法，其特征在于，根据所述任务库中的已标注任务，从多个参与终端中确定出多个第一终端的步骤包括：从所述任务库中选取预设数量的任务，得到第二任务集合；其中，所述第二任务集合中的第二任务在所述任务库中均对应有标注信息；根据所述第二任务集合和所述第二任务集合中的第二任务的标注信息，从多个参与终端中确定出多个第一终端。3.根据权利要求2所述的方法，其特征在于，根据所述第二任务集合和所述第二任务集合中的第二任务的标注信息，从多个参与终端中确定出多个第一终端包括：接收多个参与终端针对所述第二任务集合提交的任务试标结果；其中，所述任务试标结果包括每个所述第二任务对应的试标信息；针对每个参与终端，将该参与终端提交的每个所述第二任务对应的试标信息与该第二任务集合中的第二任务的标注信息进行比对，如果结果相同的第二任务的数量达到预设数量，将该参与终端确定为第一终端。4.根据权利要求2所述的方法，其特征在于，所述方法还包括：接收所述任务库的初始创建操作，根据所述初始创建操作设置第一数量的待标注任务，设置第二数量的带有标注信息的已标注任务；其中，第一数量大于第二数量，且所述第二数量与所述第二任务集合中的第二任务的预设数量相等；将所述第一数量的待标注任务和所述第二数量的已标注任务组成任务库。5.根据权利要求1所述的方法，其特征在于，根据同一所述第一任务对应的多个标注信息，判断该第一任务的标注信息是否收敛出真值包括：对同一所述第一任务对应的多个标注信息进行计算，得到该第一任务的收敛结果；其中，所述收敛结果用于指示该第一任...

【专利技术属性】
技术研发人员：陈佳锋，林叶新，张倩，葛明曦，孔祥瑞，胡志伟，许璐，陶凯伦，向艳霞，刘思彦，刘柏，范长杰，
申请(专利权)人：网易杭州网络有限公司，
类型：发明
国别省市：