【技术实现步骤摘要】
用于企业的私有化部署数据处理方法
本专利技术涉及数据标注处理
,尤其涉及用于企业的私有化部署数据处理方法。
技术介绍
现有的标注平台,可以快速地对客户的数据进行定制化的清洗和处理,为人工智能应用快速提供所需的训练数据,但部分企业数据涉及国家机密或客户隐私,不能放入云端进行数据处理,企业内部的人工智能应用使用的数据,可能是具有敏感性的含有企业机密或者个人隐私的非公开数据,为了安全性考虑,这些数据不能流转到互联网上进行处理;客户自建标注平台不仅费时费力。为适应企业定制化AI数据处理需求,提供用于企业的私有化部署数据处理方法。传统的人工智能数据生产过程,是人工标注然后再训练;缺乏人工智慧的再次反馈和纠错。
技术实现思路
本专利技术的目的在于提供用于企业的私有化部署数据处理方法;本专利技术企业内部人员通过内网发送企业的私有数据至企业私有云,提高对企业数据的私密保护,通过智能工具模块基于人在回路的增量式数据辅助标注技术对待标注任务进行标注,智能工具模块将无法标注的待标注任务发送至标注分配模块;采用人工标注与智能工具标注的迭代交互式的生产过程,来提高效率;通过对待标注任务的排序,根据标注员的标注权限值合理的分配到对应的标注员,从而进行更好的标注。本专利技术所要解决的技术问题为:(1)如何通过对私有数据利用内网进行传输处理,通过智能工具进行智能标注,并将无法标注的私有数据进行排序计算,合理的分配到对应的标注员进行标注;解决了现有技术不能对企业私有数据进行私密性保护以及全部采用人工标 ...
【技术保护点】
1.用于企业的私有化部署数据处理方法,其特征在于,该处理方法包括以下步骤:/nS1:通过用户登录模块对用户和用户角色进行身份校验并将身份校验通过的用户与服务器建立通信连接;/nS2:企业内部人员通过内网发送企业的私有数据以及私有数据对应的等级在企业私有云内进行存储;/nS3:通过标注任务模块对私有数据进行任务创建,将创建的待标注任务绑定数据发送至智能工具模块进行处理,智能工具模块基于人在回路的增量式数据辅助标注技术对待标注任务进行标注,智能工具模块将无法标注的待标注任务发送至标注分配模块;/nS4:标注分配模块将私有数据分配至对应的标注员电脑终端上,通过模板配置模块对不同的待标注任务进行区分配置,标注员在电脑终端上通过标注工具对待标注任务进行标注;/nS5:标注员将标注好的待标注任务发送至智能工具模块,通过结果导出模块将标注结果导出到本地。/n
【技术特征摘要】
1.用于企业的私有化部署数据处理方法,其特征在于,该处理方法包括以下步骤:
S1:通过用户登录模块对用户和用户角色进行身份校验并将身份校验通过的用户与服务器建立通信连接;
S2:企业内部人员通过内网发送企业的私有数据以及私有数据对应的等级在企业私有云内进行存储;
S3:通过标注任务模块对私有数据进行任务创建,将创建的待标注任务绑定数据发送至智能工具模块进行处理,智能工具模块基于人在回路的增量式数据辅助标注技术对待标注任务进行标注,智能工具模块将无法标注的待标注任务发送至标注分配模块;
S4:标注分配模块将私有数据分配至对应的标注员电脑终端上,通过模板配置模块对不同的待标注任务进行区分配置,标注员在电脑终端上通过标注工具对待标注任务进行标注;
S5:标注员将标注好的待标注任务发送至智能工具模块,通过结果导出模块将标注结果导出到本地。
2.根据权利要求1中所述的用于企业的私有化部署数据处理方法,其特征在于,S1中所述的用户角色包括企业内部人员、管理员和普通人员;其中,管理员包括授权管理员和机构管理员,授权管理员用于对系统进行管理,管理包含用户角色的授权、数据管理、用户管理、项目管理和任务管理;机构管理员对机构的人员、项目、任务、数据进行统筹管理;普通人员包括标注员、质检员和验收员;标注员用于对标注数据进行加工标注;质检员用于对标注的数据进行质量检查;验收员对标注的数据进行验收。
3.根据权利要求1所述的用于企业的私有化部署数据处理方法,其特征在于,S3中所述的标注任务模块用于通过服务器获取企业私有云内私有数据以及私有数据对应的等级进行任务创建,将需要标注的私有数据标记为待标注任务;创建好任务后,需要给该待标注任务绑定数据,任务绑定数据支持按照数据集下的批次绑定和索引绑定,绑定数据后,标注任务模块将待标注任务发送至标注分配模块;所述标注分配模块用于将私有数据分配至对应的标注员电脑终端上,具体分配步骤如下:
步骤一:设定待标注任务记为Dji,j=1、2、3、4;i=1……n;D1i、D2i、D3i、D4i依次表示为语音、图片、视频和文本;设定待标注任务等级记为GDji;待标注任务对应的文件大小为KDji;
步骤二:设定待标注任务对应的积分值标记为Cj,j=1、2、3、4;且C4>C2>C3>C1;
步骤三:利用公式获取得到待标注任务的排序值PDji;其中λ为修正因子,取值为1.2;v1、v2和v3均为预设比例系数固定值;
步骤四:待标注任务进行依照排序值进行分类,设定分类区间记为A1、A2、A3和A4,且A1、A2、A3和A4的取值区间依次减小;当待标注任务排序值在分类区间A1内,则将该待标注任务标记为第一私有数据;当待标注任务排序值在分类区间A2内,则将该待标注任务标记为第二私有数据;当待标注任务排序值在分类区间A3内,则将该待标注任务标记为第三私有数据;当待标注任务排序值在分类区间A4内,则将该待标注任务标记为第四私有数据;
步骤五:统计所有第一私有数据、第二私有数据、第三私有数据和第四私有数据;分别构成第一私有数据集合、第二私有数据集合、第三私有数据集合和第四私有数据集合;
步骤六:根据标注员的标注权限值将标注员划分为第一标注员、第二标注员、第三标注员和第四标注员;第一标注员用于对第一私有数据进行标注,第二标注员用于对第二私有数据进行标注;第三标注员用于对第三私有数据进行标注,第四标注员用于对第四私有...
【专利技术属性】
技术研发人员:吴鑫坤,张子斌,
申请(专利权)人:安徽数据堂科技有限公司,
类型:发明
国别省市:安徽;34
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。