评估众包环境中的工作者制造技术

这里描述了一种众包环境，其使用单阶段或多阶段方法来评估工作者关于所识别任务所执行的工作的质量。在多阶段情况下，评估系统在第一阶段确定工作者是否对应于垃圾代理。在第二阶段，针对非垃圾工作者，该评估系统确定该工作者在未来执行期望(例如，准确)工作的倾向性。该评估系统基于包括关注工作者的特征(其描述特定工作者所执行的工作)、关注任务的特征(其描述在该众包环境中执行的任务)和关注系统的特征(其描述该众包环境的配置的多个方面)的特征的集合进行操作。根据一个说明性方面，该评估系统使用至少一个模型执行其分析，该模型使用任意类型的监管机器学习技术所产生。

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
一种计算机实施的众包系统通过将任务实例分发至人类工作者的群体并且随后收集工作者针对该任务的响应而进行操作。在一些情况下，该众包系统可以针对工作者的个别贡献而代表赞助或“拥有”该任务的实体对他或她进行回馈。例如，该众包系统可以针对每个工作者所完成的每项任务而为他或她给予少量金钱。众包系统并不对其工作者所执行的工作提供直接监管。众包系统还可以不对被允许关于任务进行工作的工作者施加限制(或施加最小程度的限制)。作为结果，不同工作者所执行工作的质量可能有所变化。一些工作者是勤奋的并且执行高质量的响应。其他工作者不同程度上提供较低质量的工作。实际上，在质量范围的一端，一些工作者可能对应于为了财政收益和/或为实现其他恶意目的而快速执行大量低质量工作的垃圾代理(spamagent)。例如，在一些情况下，这些垃圾代理可以表示针对任务提交无意义响应的自动软件程序。除了其他缺陷之外，低质量工作的存在可以使得任务拥有者所分配的财政资源快速耗尽，但是却没有为任务拥有者提供任意好处。
技术实现思路
根据一个说明性实施方式，这里描述了一种众包环境，其使用多阶段方法来评估由工作者关于所识别任务所执行的工作的质量。在第一阶段，评估系统确定工作者是否对应于垃圾代理。该评估系统在确定工作者为良性或“诚实”实体而非垃圾代理时调用第二阶段。在第二阶段，该评估系统确定工作者在未来执行期望工作的倾向性。期望性可以以不同方式进行评定；在一种情况下，执行期望工作的工作者对应于针对所识别任务可靠地提供准确响应的某个工作者。在另一个说明性实施方式中，该评估系统可以在单个集成的处理阶段执行垃圾分析和质量分析。根据一个说明性方面，该评估系统可以基于涉及到当前所考虑的工作者关于所识别任务而执行的工作的特征的集合来进行操作。更具体地，该特征可以包括关注工作者的特征、关注任务的特征和关注系统的特征等。每个关注工作者的特征对该众包环境中的至少一个工作者所执行的工作进行表征。例如，一个关注工作者的特征可以对工作者所执行的工作量进行表征。另一个关注工作者的特征可以对工作者在过去所执行工作的准确性进行表征等。每个关注任务的特征对该众包环境中所执行的至少一项任务进行表征。例如，一个关注任务的特征可以对所识别任务针对垃圾相关活动的敏感性进行表征。另一个关注任务的特征可以对所识别任务的评定的难度水平进行表征等。每个关注系统的特征对该众包环境的整体配置的一个方面进行表征。例如，一个关注系统的特征可以对众包环境的激励结构进行描述。另一个关注系统的特征可以识别众包环境为了减少垃圾相关活动和低质量工作的出现所采用的功能(如果存在)。总体上，上文所描述的特征中的至少一些可以对应于元级别特征，元级别特征中的每一个对工作者在其中执行工作的上下文进行描述，而并不对工作者所执行的工作进行具体参考。例如，一种关注任务的特征可以对应于元级别特征，因为其描述了所识别任务本身，而并未对工作者所执行的工作进行参考。另外，至少一些特征可以描述该众包环境的实际方面，例如对应于组件、事件、状况等。其他特征可以对应于关注信念的特征，关注信念的特征中的每一个涉及到工作者对于该众包环境的实际方面的感知。例如，至少一个关注信念的特征描述了工作者对所识别任务对于垃圾相关活动的敏感性和/或该众包环境检测垃圾相关活动的能力的感知。根据另一个说明性方面，至少该质量分析使用一个或多个模型进行操作。训练系统可以使用任意类型的监管机器学习技术产生(多个)模型。在一个实施方式中，该质量分析可以使用多个特定于任务的模型，每一个用于分析关于特定任务或任务类型所执行的工作。在另一个实施方式中，该质量分析可以连同元级别特征一起使用至少一个任务无关的模型用于分析关于多个不同任务和任务类型所执行的工作。上文的方法可以以各种类型的系统、设备、组件、方法、计算机可读存储或媒体、数据结构、图形用户界面呈现形式、制造品等来表明。提供本
技术实现思路
以简化形式对构思的选择进行介绍；这些构思将在下文中在具体实施方式中进一步进行描述。本
技术实现思路
并非意标识所请求保护主题的关键特征或必要特征，也并非意在被用来对所请求保护主题的范围进行限制。附图说明图1示出了使用单阶段或多阶段方法对工作者所执行的工作进行评估的说明性众包环境。图2示出了可以用来实施图1的众包环境的计算机实施的设备。图3示出了作为图1的众包环境的组件的工作者评估系统的一个实施方式。图4示出了图形模型，其表示了表达图1的众包环境中的变量间的关系的一个方式。图5示出了与图1的众包环境相关联的说明性特性，其包括关注工作者的特性、关注任务的特性和关注系统的特性。图6-8示出了作为图3的工作者评估系统的组件的声誉评估模块的三个相应实施方式。图9是示出图3的工作者评估系统的一个说明性操作方式的流程图。图10是示出作为图1的众包环境的组件的特征提取系统的一个操作方式的流程图。图11是示出作为图1的众包环境的另一个组件的训练系统的一个操作方式的流程图。图12示出了可以被用来实施之前附图中所示特征的任意方面的说明性计算功能。相同的数字贯穿本公开和附图被用来指代同样的组件和特征。系列100的数字指代原本出现在图1中的特征，系列200的数字指代原本出现在图2中的特征，系列300的数字指代原本出现在图3中的特征等。具体实施方式本公开如下进行组织。部分A描述了用于对众包环境中工作者所执行工作的质量进行评估的说明性功能，其反映了工作者在未来执行相同质量的工作的倾向性。部分B阐述了对部分A的功能的操作进行解释的说明性方法。部分C阐述了可以被用来描述该众包环境的代表性特征的采样。部分D描述了可以被用来实施部分A-C中所描述特征的任意方面的说明性计算功能。作为初步事项，附图中的一些在一个或多个结构化组件的上下文中对构思进行了描述，结构化组件以各种方式被称为功能、模块、特征、要素等。图中所示出的各种组件可以通过任意物理和有形机制以任意方式来实施，例如通过在计算机设备上运行的软件、硬件(例如，芯片实施的逻辑功能)等和/或它们的任意组合来实施。在一种情况下，所图示的图中的各种组件被划分为不同单元可以反映出实际实施方式中对相对应的不同物理和有形组件的使用。备选地或此外，图中所图示的任意单一组件可以由多个实际的物理组件来实施。备选地或此外，图中对任意两个或更多单独组件的描绘可以反映出单个实际的物理组件所执行的不同功能。进而有待描述的图12提供了有关附图中所示功能的一个说明性物理实施方式的另外的细节。其他附图以流程图的形式对构思进行描述。以这种形式，某些操作被描述为构成以某种顺序执行的不同块。这样的实施方式是说明性而非限制性的。这里所描述的某些块可以被分组在一起并且以单个操作来执行，某些块可以被划分为多个组件块，并且某些块可以以不同于这里所图示的顺序来执行(包括执行块的并行方式)。流程图中所示出的块可以由物理和有形机制以任意方式来实施，例如通过在计算机设备上运行的软件、硬件(例如，芯片实施的逻辑功能)等和/或它们的任意组合来实施。就术语而言，短语“被配置为”涵盖了任意种类的物理和有形功能可以被构建以执行所识别操作的任意方式。功能可以被配置为例如使用在计算机设备上运行的软件、硬件(例如，芯片实施的逻辑功能)等和/或它们的任意组本文档来自技高网...

【技术保护点】
一种由一个或多个计算设备实施的用于对众包环境中的工作进行评估的方法，包括：接收与工作相关联的特征的集合，所述工作已由工作者使用计算设备在所述众包环境中关于识别任务而执行；基于所述特征中的至少一些特征执行垃圾分析，以确定反映所述工作者构成垃圾代理的可能性的垃圾得分；基于所述特征中的至少一些特征执行质量分析，以确定反映所述工作者提供关于所述识别工作而被评定为期望的工作的倾向性的声誉得分；以及基于所述垃圾得分和/或所述声誉得分执行动作，以减少经由所述众包环境收集的响应中的噪声，所述动作对应于以下各项中的一项或多项：基于所述垃圾得分和/或所述声誉得分，至少关于超时时段防止所述工作者接收另外的任务；和/或基于所述垃圾得分和/或所述声誉得分，对所述工作者被允许执行的工作量进行节制；和/或基于所述垃圾得分和/或所述声誉得分，将任务路由至针对所述任务他或她具有最大已证明熟练度的工作者，所述质量分析基于由监管机器学习处理产生的至少一个声誉评估模型的应用。

【技术特征摘要】
【国外来华专利技术】2014.06.09 US 14/300,1151.一种由一个或多个计算设备实施的用于对众包环境中的工作进行评估的方法，包括：接收与工作相关联的特征的集合，所述工作已由工作者使用计算设备在所述众包环境中关于识别任务而执行；基于所述特征中的至少一些特征执行垃圾分析，以确定反映所述工作者构成垃圾代理的可能性的垃圾得分；基于所述特征中的至少一些特征执行质量分析，以确定反映所述工作者提供关于所述识别工作而被评定为期望的工作的倾向性的声誉得分；以及基于所述垃圾得分和/或所述声誉得分执行动作，以减少经由所述众包环境收集的响应中的噪声，所述动作对应于以下各项中的一项或多项：基于所述垃圾得分和/或所述声誉得分，至少关于超时时段防止所述工作者接收另外的任务；和/或基于所述垃圾得分和/或所述声誉得分，对所述工作者被允许执行的工作量进行节制；和/或基于所述垃圾得分和/或所述声誉得分，将任务路由至针对所述任务他或她具有最大已证明熟练度的工作者，所述质量分析基于由监管机器学习处理产生的至少一个声誉评估模型的应用。2.根据权利要求1所述的方法，其中所述垃圾分析在第一阶段执行，并且所述质量分析在第二阶段执行，以及其中所述质量分析在确定所述工作者并非垃圾代理时执行。3.根据权利要求1所述的方法，其中所述特征的至少一个子集对应于关注工作者的特征，所述关注工作者的特征中的每个表征由至少一个工作者在所述众包环境中执行的工作。4.根据权利要求1所述的方法，其中所述特征的至少一个子集对应于关注任务的特征，所述关注任务的特征中的每个表征在所述众包环境中执行的至少一项任务。5.根据权利要求1所述的方法，其中所述特征的至少一个子集对应于关注系统的特征，所述关注系统的特征中的每个表征所述众包环境的配置的方面。6.根据权利要求1所述的方法，其中所述特征的至少一个子集对应于关注信念的特征，所述关注信念的特征中的每个表征涉及到由所述工作者对于所述众包环境的实际方面的感知，其中至少一个关注信念的特征描述由所述工作者对于所述识别任务针对垃圾相关活动的敏感性和/或所述众包环境检测所述垃圾相关活动的能力的感知。7.根据权利要求1所述的方法，其中在所述质量分析中使用的所述至少一个声誉评估模型对应于特定于任务的模型，所述特定于任务的模型应用于所述识别任务并且从特定于任务的模型的集合中进行选择。8.根据权利要求1所述的方法，其中在所述质量分析中使用的所述至少一个声誉评估模型对应于任务无关的模型，所述任务无关的模型应用于多个不同任务。9.根据权利要求1所述的方法，进一步包括以如下方式产生所述至...

【专利技术属性】
技术研发人员：S·E·K·伊甸，R·M·帕特尔，S·J·R·谢尔福德，H·吴，D·A·莫尔纳，E·J·霍维茨，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：美国;US