一种面向众包市场的基于适应度的任务分配方法组成比例

本发明专利技术公开了一种面向众包市场的基于适应度的任务分配方法，包括：问题背景定义：给出众包知识获取领域下对图片分类任务进行分配的问题背景和定义；众包任务难度确定：利用WordNet计算候选标签的深度信息，并分别借助多项式函数和sigmoid函数计算各个部分的影响；工人能力评估：通过对各个等级下工人的准确率进行Max

【技术实现步骤摘要】
一种面向众包市场的基于适应度的任务分配方法


[0001]本专利技术涉及一种面向众包市场的基于适应度的任务分配方法，尤其是一种针对图片分类任务基于适应度的任务分配方法，涉及一种任务分配方案的最优选择问题，属于群智背景下的资源优化统筹领域。

技术介绍

[0002]随着众包的火热发展，国内外纷纷涌现不少众包平台，比如有道众包、Amazon Mechanical Turk(MTurk)、Microworkers等。通过众包平台，用户可以轻松地发布和接受各种任务，包括输入、修改、对给定信息的进行验证等工作。因此，在在线平台的支持下，众包模式在图像标注、音频识别、段落翻译等领域得到了极其广泛的应用，而众包知识获取领域下的图片分类任务是其中的一个比较重要的应用。对于给定的图片，任务参与者需要排除若干候选标签的干扰，并从中挑选出最能准确描述图片内容的选项。
[0003]然而在不同的知识领域下，人们所具备的专业知识深度也不相同。一般情况下，对于入门级的通识性的概念，大多数人可以很容易的基于常识迅速做出判断，相反，对于那些远超出自己认知范围的具体的选项就很难给出正确的答案。因此很明显，直接对上述的图片分类任务进行随机分配不是有效的策略，这会导致那些具有特定具体候选项的困难任务被分配给不具备相关知识背景的一般用户执行，从而严重降低任务完成的效果并且浪费有限的人力资源。直观来看，将具有不同难度的众包任务分配给具有相匹配能力的员工是一个合理的方案，然而如何衡量任务的难度和员工的能力是问题的关键。考虑到人类行为具有极大的不确定性，对工人的能力进行评估是一项极具挑战的工作。对此，我们提出了一种面向众包市场的基于适应度的任务分配方法，尝试从任务分配阶段出发基于任务和工人之间的适应度将任务分配给具有相匹配能力的最适宜的工人以提高任务完成的效果。

技术实现思路

[0004]本专利技术的目的是：实现将不同难度的图片分类任务交付给能力相匹配的工人进行执行。
[0005]为了达到上述目的，本专利技术的技术方案是提供了一种面向众包市场的基于适应度的任务分配方法，其特征在于，包括以下步骤：
[0006]步骤1、问题背景定义，具体包括：
[0007]步骤1.1、定义众包任务集合T和众包工人集合W，并将其作为后续匹配过程中的顶点集合；众包任务集合T＝{t
i
|i∈I
T
}，其中每一个任务t
i
由任务id、任务描述d
i
、候选标签集合L
i
构成；表示任务t
i
的候选标签集合，2≤len(L
i
)≤10；
[0008]众包工人集合W＝{w
j
|j∈I
w
}，每位工人w
j
都关联一组属性<id
j
，h
j
，p
j
，>，id
j
是工人的唯一标识符，起到区分和标记工人的作用，h
j
是历史任务集合，其保存了工人的历史回答情况以便于后续工人能力的计算，p
j
记录了工人的行为偏好或专业领域；
[0009]步骤1.2、定义众包知识获取问题背景下的命中率指标；
[0010]步骤1.3、定义任务和工人之间进行二分图匹配的问题模型：将任务集合T与工人集合W抽象成二分图匹配问题中的两个不相交的集合，任务和工人之间的分配关系等价于二分图匹配问题中的有效边，每位工人只能处理同一批次下的一个任务；
[0011]步骤2、众包任务难度确定：借助WordNet获取候选标签的深度信息以及实时统计候选标签的数量，利用多项式函数和sigmoid函数分别计算各部分对任务难度的影响；
[0012]步骤3、工人能力评估：借鉴于电子竞技中的排位/晋级赛机制，通过临时提升、实时动态评估、快速回落机制和策略，获悉工人真实等级，再结合工人在各个等级下利用Max
‑
Min归一化处理后的准确率表现对工人能力进行进一步的细化；
[0013]步骤3、最优分配方案生成：进一步完善工人和任务之间的二分图匹配模型，使用一种基于带惩罚因子的加权欧式距离作为权重来度量任务与工人之间的适应度，并在此基础上利用Kuhn
‑
Munkres(KM)算法对模型进行求解，并最终得到任务和工人的分配关系矩阵。
[0014]优选地，所述步骤1.2中，定义众包知识获取问题背景下图片分类任务的命中率指标变量代表工人提交的答案集合，而L代表对应的正确选项集合，用于在给定的标准数据集上测试工人完成任务的表现；
[0015][0016][0017]其中hypernym(l
h
)函数将递归地返回标签l
g
的父级标签集合，通过命中率指标来适当放宽准确率的约束条件并将其作为后续的度量标准。
[0018]优选地，所述步骤2中借助WordNet获取候选标签的深度信息以及实时统计候选标签的数量具体为，
[0019][0020]其中函数p(l
g
)将返回标签l
g
的父节点，因此在遍历标签时可以通过递归调用的方式计算各个标签的深度并实时统计标签数量；
[0021]多项式函数f(x)＝(x
‑
1)
λ
+x，其中λ为影响因子，被用来控制标签深度对任务难度影响的速度；
[0022]sigmoid函数将标签数量的影响效果映射到适当的范围。
[0023]优选地，所述步骤3以N
circle
为周期记录工人完成任务的实际表现，并根据判断准确率表现acc是否达到了晋升门限A
promotion
来决定工人是否晋级；如果acc≥A
promotion
则将工人的等级临时提升，并在接下来的N
test
个特定任务中进行检验，若这些特定任务的准确率达到了A
test
标准，则完成当前工人的晋升步骤，否则将工人的等级回落，并重复上述步骤；
[0024]结合工人在各个等级下利用h(x)归一化处理后的准确率表现进行进一步的细化，
[0025]优选地，所述步骤4使用一种基于带有惩罚因子的加权欧式距离来度量任务与工人之间的适应度并以此作为边的权重关系，适应度值越低，任务t
i
和工人w
i
的关系越近；
[0026][0027][0028]变量p
i，j
称为惩罚因子，通过调节γ参数可以适当放松工人的选择条件，在惩罚因子的作用下，当目标等级的工人数量不足时，可以在γ的区间内选择具有更高等级的工人来执行任务，在此基础上利用Kuhn
‑
Munkres(KM)算法对模型进行求解，并最终得到任务和工人的分配关系矩阵。
[0029]与现有技术相比，本专利技术的有益效果是：
[0030]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向众包市场的基于适应度的任务分配方法，其特征在于，包括以下步骤：步骤1、问题背景定义，具体包括：步骤1.1、定义众包任务集合T和众包工人集合W，并将其作为后续匹配过程中的顶点集合；众包任务集合T＝{t
i
|i∈I
T
}，其中每一个任务t
i
由任务id、任务描述d
i
、候选标签集合L
i
构成；表示任务t
i
的候选标签集合，2≤len(L
i
)≤10；众包工人集合W＝{w
j
|j∈I
w
}，每位工人w
j
都关联一组属性<id
j
，h
j
，p
j
，>，id
j
是工人的唯一标识符，起到区分和标记工人的作用，h
j
是历史任务集合，其保存了工人的历史回答情况以便于后续工人能力的计算，p
j
记录了工人的行为偏好或专业领域；步骤1.2、定义众包知识获取问题背景下的命中率指标；步骤1.3、定义任务和工人之间进行二分图匹配的问题模型：将任务集合T与工人集合W抽象成二分图匹配问题中的两个不相交的集合，任务和工人之间的分配关系等价于二分图匹配问题中的有效边，每位工人只能处理同一批次下的一个任务；步骤2、众包任务难度确定：借助WordNet获取候选标签的深度信息以及实时统计候选标签的数量，利用多项式函数和sigmoid函数分别计算各部分对任务难度的影响；步骤3、工人能力评估：借鉴于电子竞技中的排位/晋级赛机制，通过临时提升、实时动态评估、快速回落机制和策略，获悉工人真实等级，再结合工人在各个等级下利用Max
‑
Min归一化处理后的准确率表现对工人能力进行进一步的细化；步骤3、最优分配方案生成：进一步完善工人和任务之间的二分图匹配模型，使用一种基于带惩罚因子的加权欧式距离作为权重来度量任务与工人之间的适应度，并在此基础上利用Kuhn
‑
Munkres(KM)算法对模型进行求解，并最终得到任务和工人的分配关系矩阵。2.如权利要求1所述的一种面向众包市场的基于适应度的任务分配方法，其特征在于：所述步骤1.2中，定义众包知识获取问题背景下图片分类任务的命...

【专利技术属性】
技术研发人员：王鹏伟，章昭辉，陈真，
申请(专利权)人：东华大学，
类型：发明
国别省市：