基于图数据库的任务调度方法、装置及电子设备制造方法及图纸

本申请提供一种基于图数据库的任务调度方法、装置及电子设备，方法包括：在数据库中创建任务实体和资源实体；创建影响任务实体、资源实体调度的关系实体，并建立基于任务实体、资源实体和关系实体的关系模型；设置任务实体、资源实体和关系实体的权重值；根据权重值计算任务实体与资源实体间最短权值路径，以得到调度决策；实施调度决策，并更新数据库。根据申请实施例的基于图数据库的大量任务调度方法，可以在分配标注任务时考虑到任务优先级、标注人员熟练等级、组别标注类型、标注人员特点、任务要求特点、标注结果置信度、标注结果，并为标注人员分配与其最匹配的标注任务，能够显著提高大量标注任务的分配效率和准确率。

Task scheduling method, device and electronic equipment based on graph database

【技术实现步骤摘要】
基于图数据库的任务调度方法、装置及电子设备
本申请涉及大量任务调度领域，尤其涉及一种基于图数据库的任务调度方法、装置、电子设备及计算机可读存储介质。
技术介绍
现有技术中，通常会采用基于关系型数据库的任务调度方法，是通过SQL事务结合读写锁的机制或消息中间件来完成任务调度和资源分配。基于SQL事务结合读写锁的机制调度方法可以一定程度表征关系模型中的调度逻辑，但并发能力和实时性较差，在复杂关系模型下，影响调度逻辑的因子增多，计算量增大，这种方式处理效率会随着关系的复杂度的增加而降低。基于消息中间件的任务调度方法可以处理较大的并发，但很难表征复杂关系模型中的调度逻辑，在复杂关系模型下处理效率低。例如数据标注任务与标注人员(资源)的分配。数据标注作为人工智能产业的基础，是机器感知现实世界的起点，数据标注即是为数据打标签，现在数据标注的工作通常是外包给数据众包公司或者数据标注平台，由数据众包公司或数据标注平台安排标注人员来对接收到的待标注数据打标签。其中，标注人员为待标注数据打的标签的准确率对于机器最终的识别准确率有重要影响，因此需要对标注人员的标注准确率进行严格把控。目前对标注人员的标注准确率的把控通常是在标注人员完成标注任务之后对其标注的标注数据进行准确与否的判断，但是在为标注人员分配标注任务时却通常是将待标注数据平均分配给标注人员，并没有考虑到标注人员身上存在的客观的影响标注结果准确率的因素。
技术实现思路
有鉴于此，本申请提供一种基于图数据库的任务调度方法、装置、电子设备及计算机可读存储介质，能够将大量任务按最佳匹配分配给最适合的资源，提高标注任务分配的客观性，有利于提高标注结果的准确性。为解决上述技术问题，本申请采用以下技术方案：第一方面，本申请实施例提供一种基于数据库的任务调度方法，包括如下步骤：在数据库中创建任务实体和资源实体，其中，任务实体可以包括任务的优先级属性等，资源实体可以包括标注人员的熟练等级属性等。创建影响所述任务实体、所述资源实体调度的关系实体，并建立基于所述任务实体、资源实体和关系实体的关系模型其中，影响所述任务实体、所述资源实体调度的关系实体包括标注组别实体、标签实体、任务描述文件实体和标注结果实体。设置所述任务实体、所述资源实体和所述关系实体的权重属性，以及所述任务实体、所述资源实体和所述关系实体间的关系的权重值，其中，权重属性因素包括到任务优先级、标注人员熟练等级、组别标注类型、标注人员特点、任务要求特点、标注结果置信度和效率。根据所述权重属性和所述权重值计算所述任务实体与所述资源实体间最短权值路径，以得到调度决策。实施所述调度决策，并更新所述数据库。根据本申请实施例的基于图数据库的任务调度方法，可以在对资源分配任务时考虑到影响调度任务的逻辑因子，如任务优先级、标注人员熟练等级、组别标注类型、标注人员特点、任务要求特点、标注结果置信度、标注结果等影响因素，并为资源分配最匹配的任务，例如为标注人员分配与其最匹配的标注任务，能够将大量任务按最佳匹配分配给最适合的资源，显著提高大量任务的分配效率和准确率。作为本申请的第一方面的一个实施例，所述数据库为图数据库，其中，图数据库具有非常高效的查询性能，图形数据库每个对象是一个节点，之间的关系是一条边，可以使用图结构的自然伸展特性来设计图数据结构所具有的独特算法图的遍历，即从一个节点开始，根据其连接的关系，可以快速和方便地找出它的邻近节点。作为本申请的第一方面的一个实施例，所述图数据库中，所述关系实体可以包括：标注组别实体、标签实体、任务描述文件实体和标注结果实体中的一种或多种，其中，所述关系实体与所述任务实体和资源实体相互之间至少有一条边相连接。作为本申请的第一方面的一个实施例，所述关系的权重值根据所述关系实体影响所述任务实体和所述资源实体调度的优先程度进行设置。作为本申请的第一方面的一个实施例，所述权重属性包括：任务优先级、标注人员熟练等级、组别标注类型、标注人员特点、任务要求特点、标注结果置信度、标注结果置效率等中的一种或多种。例如，任务优先级越高，设置权重值越大，在分配任务时，任务优先级作为第一考虑要素，优先分配任务优先级高的任务，标注人员熟练等级越高，设置权重值越高，在分配任务时，优先将标注结果要求高的标注任务分配给熟练等级高的标注人员。作为本申请的第一方面的一个实施例，所述关系模型为DAG关系模型，其中，DAG是有向无环图，由此，从图数据库一个节点到另一个节点，有且只有一条路径，也就是说，计算所述任务实体与所述资源实体间的路径一致。第二方面，本申请实施例提供了一种基于图数据库的任务调度装置，所述装置包括：实体管理模块，用于在数据库中创建任务实体和资源实体；关系管理模块，用于创建影响所述任务实体、所述资源实体调度的关系实体，并建立基于所述任务实体、资源实体和关系实体的关系模型；权重管理模块，用于设置所述任务实体、所述资源实体和所述关系实体的权重属性，以及所述任务实体、所述资源实体和所述关系实体间的关系的权重值；处理模块，用于根据所述权重值和所述权重属性计算所述任务实体与所述资源实体间最短权值路径，以得到调度决策；所述处理模块实施所述调度决策，并更新所述数据库。根据本申请实施例的基于图数据库的大量任务调度方法，可以在分配标注任务时考虑到任务优先级、标注人员熟练等级、组别标注类型、标注人员特点、任务要求特点、标注结果置信度、标注结果等影响因素，并为标注人员分配与其最匹配的标注任务，能够将大量标注任务按最佳匹配分配给最适合的标注人员，显著提高大量标注任务的分配效率和准确率。作为本申请第二方面的一个实施例，所述数据库为图数据库。作为本申请第二方面的一个实施例，所述图数据库中，所述关系实体包括：标注组别实体、标签实体、任务描述文件实体和标注结果实体中的一种或多种。作为本申请第二方面的一个实施例，所述权重管理模块，具体用于：所述关系的权重值根据所述关系实体影响所述任务实体和所述资源实体调度的优先程度进行设置。作为本申请第二方面的一个实施例，所述权重属性包括：任务优先级、标注人员熟练等级、组别标注类型、标注人员特点、任务要求特点、标注结果置信度、标注结果置效率中的一种或多种。作为本申请第二方面的一个实施例，所述关系模型为DAG关系模型。第三方面，本申请实施例提供了一种电子设备，其特征在于，包括：处理器；和存储器，在所述存储器中存储有计算机程序指令，其中，在所述计算机程序指令被所述处理器运行时，使得所述处理器执行上述基于图数据库的大量任务调度方法。第四方面，本申请实施例提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器运行时，使得所述处理器执行上述基于图数据库的大量任务调度方法。本申请的上述技术方案至少具有如下有益效果之一：根据本申请实施例的基于图数据库的大本文档来自技高网...

【技术保护点】
1.一种基于数据库的任务调度方法，其特征在于，包括：/n在数据库中创建任务实体和资源实体；/n创建影响所述任务实体、所述资源实体调度的关系实体，并建立基于所述任务实体、资源实体和关系实体的关系模型；/n设置所述任务实体、所述资源实体和所述关系实体的权重属性，以及所述任务实体、所述资源实体和所述关系实体间的关系的权重值；/n根据所述权重属性和所述权重值计算所述任务实体与所述资源实体间最短权值路径，以得到调度决策；/n实施所述调度决策，并更新所述数据库。/n

【技术特征摘要】
1.一种基于数据库的任务调度方法，其特征在于，包括：
在数据库中创建任务实体和资源实体；
创建影响所述任务实体、所述资源实体调度的关系实体，并建立基于所述任务实体、资源实体和关系实体的关系模型；
设置所述任务实体、所述资源实体和所述关系实体的权重属性，以及所述任务实体、所述资源实体和所述关系实体间的关系的权重值；
根据所述权重属性和所述权重值计算所述任务实体与所述资源实体间最短权值路径，以得到调度决策；
实施所述调度决策，并更新所述数据库。


2.根据权利要求1所述基于数据库的任务调度方法，其特征在于，所述数据库为图数据库。


3.根据权利要求2所述基于数据库的任务调度方法，其特征在于，所述图数据库中，所述关系实体包括：标注组别实体、标签实体、任务描述文件实体和标注结果实体中的一种或多种。


4.根据权利要求3所述基于数据库的任务调度方法，其特征在于，所述关系的权重值根据所述关系实体影响所述任务实体和所述资源实体调度的优先程度进行设置。


5.根据权利要求4所述基于数据库的任务调度方法，其特征在于，所述权重属性包括：任务优先级、标注人员熟练等级、组别标注类型、标注人员特点、任务要求特点、标注结果置信度、标注结果置效率中的一种或多种。


6.一种基于数据库的任务调度装置，其特征在于，...

【专利技术属性】
技术研发人员：王红宾，吕昊，李梦钰，
申请(专利权)人：上海依图网络科技有限公司，
类型：发明
国别省市：上海;31