System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于区块链的数据标注任务分配方法组成比例_技高网

一种基于区块链的数据标注任务分配方法组成比例

技术编号:40903924 阅读:4 留言:0更新日期:2024-04-18 14:35
本发明专利技术涉及一种基于区块链的数据标注任务分配方法、系统、设备及存储介质,通过系统初始化任务发布者和工人的信誉值;任务发布者发布数据标注任务后,计算工人对于任务集合中所有任务偏好序列,工人按照所述任务偏好序列从高到低的顺序依次进行申请任务;任务发布者根据工人所提交的任务成本从小到大的顺序选择工人,当任务成本相同时优先选择信誉值高的工人;工人完成任务之后,采用摩尔投票算法统计标注任务的最终结果。本发明专利技术融合区块链技术和稳定匹配算法,防止了第三方平台泄漏数据隐私的风险,在保障任务成本最小化的情况下实现数据标注任务分配结果的稳定性,从而提高标注结果的质量,保障了数据标注系统的正常运行。

【技术实现步骤摘要】

本专利技术属于区块链和数据标注领域,涉及一种基于区块链的数据标注任务分配方法


技术介绍

1、数据标注指使用自动化工具通过分类、画框、注释等对收集来的数据进行标记进而形成可供计算机识别分析的优质数据的过程。近年来,随着我国互联网产业的高速发展以及人工智能大模型的突破,带来了数据量的迅猛增长。在此背景下,数据标注需求随着数据量增长和人工智能算法训练需求的增加而上升。目前传统的数据标注任务大多发布在第三方的众包平台上,以众包的方式来完成标注任务。然而,第三方众包平台以中心化系统模式运行,面临着一些不可避免的问题。首先,传统中心化系统容易遭受dos攻击、远程劫持和sybil攻击等网络攻击,使得系统服务无法正常进行。其次,用户的敏感信息和任务解决方案被保存在众包平台的数据库中,这种情况下存在一定的隐私泄露和数据丢失的风险。另外,对于数据标注任务合理分配也是一个需要重点解决的难题:目前平台的任务分配方法通常只考虑任务发布者而忽略了工人的稳定性问题,因此容易出现在任务分配完成之后由于任务接收者对任务并不满意从而消极对待该任务,造成许多任务的无效分配或者任务发布者收集到许多低质量数据结果。

2、区块链作为一种去中心化、信任成本低、信息不可篡改的分布式记账系统,其与数据标注领域相结合成为一种研究趋势。在数据标注任务分配方面,区块链可以提供即时、公开透明和不可篡改的任务分配信息,这些信息存储在区块链网络中,配合区块链网络可追踪溯源的特点可以保障数据标注任务分配结果的公平性。

3、因此,针对现有存在的问题,亟需提供一种能够基于区块链的数据标注任务分配方法,在满足数据隐私安全的前提下,实现任务分配结果的稳定性,以提高数据标注结果的质量。


技术实现思路

1、为解决现有技术中存在的上述问题,本专利技术提供了一种基于区块链的数据标注任务分配方法,在保障任务成本最小化的情况下实现数据标注任务分配结果的稳定性,从而提高标注结果的质量。

2、本专利技术的目的可以通过以下技术方案实现:

3、第一方面,本申请提供了一种基于区块链的数据标注任务分配方法,包括以下步骤:

4、s1、系统初始化:对加入系统的任务发布者和工人进行资格审查,在通过资格审查之后,系统初始化任务发布者和工人的信誉值,并将任务发布者和工人的个人身份信息写入区块链中;

5、s2、任务发布者发布任务:任务发布者在系统上发布数据标注招标任务,任务集合用t={t1,t2...tn}表示,每个任务ti所需要招募的工人数用qi表示,系统中的处于空闲状态的工人集合用w={w1,w2...wm}表示;

6、s3、工人进行任务申请:计算出每一个工人对于任务集合中所有任务的偏好序列,工人wj的任务偏好序列用p(wj)={t1,t2…tn}表示,其中任务偏好越高的任务排序越靠前,工人的任务申请顺序按照所述任务偏好序列从高到低依次进行申请;

7、s4、任务发布者进行工人选择:当申请人数大于所需招募人数时,任务发布者根据工人所提交的任务成本从小到大的顺序选择工人,若存在两个任务成本相同的工人则优先选择信誉值高的工人,任务成本集合用表示;

8、s5、任务结果统计:在工人完成任务之后,采用摩尔投票算法统计标注任务的最终结果。

9、进一步地,步骤s3中,所述工人进行任务申请过程,包括以下步骤:

10、s301、遍历未申请到任务的工人集合中的第j个工人;

11、s302、遍历工人wj的任务偏好序列p(wj)={t1,t2…tn}找到排序最靠前的且未拒绝过工人wj的第i个任务ti;

12、s303、若i∈[1,n],即任务ti为第一遍遍历过程任务偏好序列中的任务,则跳至步骤s304,否则跳至步骤s305;

13、s304、任务ti符合本轮工人wj的申请对象,工人向任务ti发出申请;

14、s305、继续遍历未申请到任务的工人集合中的第j+1个工人。

15、进一步地,步骤s4中,所述任务发布者进行工人选择,包括以下步骤:

16、s401、遍历收到工人申请的任务集合中的第i个任务ti;

17、s402、如果申请任务ti的工人数量|μ(ti)|<qi,其中qi为任务ti所需的工人数量,则任务ti接受所有发出申请的工人,否则跳至s403;

18、s403、任务ti接受匹配的数量为qi的工人,选择匹配的工人集合中成本最高的工人w1,与当前申请任务ti的工人集合中成本最低的工人w2进行比较,若即工人w1的成本大于工人w2,则任务ti重新拒绝工人w1而接受工人w2;若则任务ti拒绝工人w2;若即工人w1的成本等于工人w2,则跳至步骤s404;

19、s404、若即工人w1的成本等于工人w2,则比较工人w1的信誉和工人w2的信誉值,选择接受信誉值较高而拒绝信誉值较低的工人;

20、进一步地,所述步骤s3、s4还包括:

21、当所有工人都申请到任务或者所有任务发布者不再产生拒绝工人的操作,即任务分配达到整体稳定的状态,匹配结束,最终获得一个整体稳定的且相对任务成本最小的任务分配结果。

22、进一步地,步骤s5中,采用摩尔投票算法统计标注任务的最终结果,方法如下:

23、任务ti的最终结果vti为:

24、

25、式中:qi为任务ti招募的工人数量,为工人wj对任务ti的标注结果,

26、第二方面,本申请提供了一种存储介质,应用于上述的一种基于区块链的数据标注任务分配方法,所述存储介质中存储有计算机程序,当所述计算机程序在计算机上运行时,使得所述计算机执行上述的数据标注任务分配方法。

27、第三方面,本申请提供了一种计算机设备,包括通用的存储器和处理器,所述存储器与处理器电性连接,所述存储器中存储有计算机程序,所述处理器通过调用存储器中存储的计算机程序,用于执行上述的一种数据标注任务分配方法。

28、第四方面,本申请提供了一种基于区块链的数据标注任务分配系统,应用于上述的一种基于区块链的数据标注任务分配方法,包括系统初始化模块、准入模块、任务发布模块、任务分配模块和结果统计模块,其中:

29、所述系统初始化模块,用于对加入系统的初始用户进行信誉值的初始赋值操作;

30、所述准入模块,用于对用户准入环节的安全审核,防止非法用户加入数据标注任务分配系统中;

31、所述任务发布模块,用于对任务发布者发布数据标注任务,所述数据标注任务包括发布任务内容、所需招募工人人数和任务报酬;

32、所述任务分配模块,用于对系统中的未分配任务和空闲状态的工人之间进行稳定匹配,包括计算工人对任务的偏好值,以及帮助任务发布者控制任务成本;

33、所述结果统计模块,用于对完成任务的工人的结果进行分析,采用摩尔投票算法统计每一个数据标注任务的最终结果。

34本文档来自技高网...

【技术保护点】

1.一种基于区块链的数据标注任务分配方法,其特征在于:包括以下步骤:

2.根据权利要求1所述的一种基于区块链的数据标注任务分配方法,其特征在于:步骤S3中,所述工人进行任务申请,包括以下步骤:

3.根据权利要求1所述的一种基于区块链的数据标注任务分配方法,其特征在于:步骤S4中,所述任务发布者进行工人选择,包括以下步骤:

4.根据权利要求1所述的一种基于区块链的数据标注任务分配方法,其特征在于:当所有工人都申请到任务或者所有任务发布者不再产生拒绝工人的操作,即任务分配达到整体稳定的状态,匹配结束,最终获得一个整体稳定的且相对任务成本最小的任务分配结果。

5.根据权利要求1所述的一种基于区块链的数据标注任务分配方法,其特征在于:步骤S5中,采用摩尔投票算法统计标注任务的最终结果,方法如下:

6.一种存储介质,其特征在于:所述存储介质中存储有计算机程序,当所述计算机程序在计算机上运行时,计算机执行如权利要求1-5任一项所述的一种基于区块链的数据标注任务分配方法。

7.一种计算机设备,其特征在于:包括通用的存储器和处理器,所述存储器与处理器电性连接,所述存储器中存储有计算机程序,所述处理器通过调用存储器中存储的计算机程序,用于执行如权利要求1-5任一项所述的一种基于区块链的数据标注任务分配方法。

8.一种基于区块链的数据标注任务分配系统,其特征在于:应用于如权利要求1-5任一项所述的一种基于区块链的数据标注任务分配方法,包括系统初始化模块、准入模块、任务发布模块、任务分配模块和结果统计模块,其中:

...

【技术特征摘要】

1.一种基于区块链的数据标注任务分配方法,其特征在于:包括以下步骤:

2.根据权利要求1所述的一种基于区块链的数据标注任务分配方法,其特征在于:步骤s3中,所述工人进行任务申请,包括以下步骤:

3.根据权利要求1所述的一种基于区块链的数据标注任务分配方法,其特征在于:步骤s4中,所述任务发布者进行工人选择,包括以下步骤:

4.根据权利要求1所述的一种基于区块链的数据标注任务分配方法,其特征在于:当所有工人都申请到任务或者所有任务发布者不再产生拒绝工人的操作,即任务分配达到整体稳定的状态,匹配结束,最终获得一个整体稳定的且相对任务成本最小的任务分配结果。

5.根据权利要求1所述的一种基于区块链的数据标注任务分配方法,其特征在于:步骤s5中,采用...

【专利技术属性】
技术研发人员:李红宁陈炳聪睢意裴庆祺
申请(专利权)人:西安电子科技大学广州研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1