一种基于深度学习的数据标注系统技术方案

技术编号:23085119 阅读:31 留言:0更新日期:2020-01-11 01:10
本发明专利技术公开了一种基于深度学习的数据标注系统,包括:标注模块,用于创建和分配数据标注任务,标注数据,操作数据库,更新深度学习算法模型;数据库,用于存储系统数据以及为系统提供数据,标注模块标注的数据来源于数据库,标注后的数据存储在数据库,算法模块的训练数据来源于数据库中的已标注数据;算法模块,用于训练深度学习算法,集成若干深度学习算法,支持自定义深度学习算法模型;算法服务模块,用于对所有待标注的数据进行预标注,在算法训练完成后自动加载模型,并形成相应的算法服务;本系统解决了现有标注系统在数据源、标注速度和标注质量方面存在的问题。

A data annotation system based on deep learning

【技术实现步骤摘要】
一种基于深度学习的数据标注系统
本专利技术涉及自然语言智能处理领域,具体地,涉及一种基于深度学习的数据标注系统。
技术介绍
随着行业信息化建设不断深入,各个领域如金融,医疗,法律,电商等都积累了大量数据,将这些数据转换成真正的价值是人工智能企业的核心价值点。对人工智能企业来说,优质的数据不可或缺。各大人工智能企业在数据需求方面面对数据来源和数据标注两方面问题:数据来源:企业在进入新领域拓展业务和提供服务时极其缺乏数据。小企业的数据来源主要依靠客户提供。数据标注:目前行业内的标注方式主要采用内部标注和外包两种形式。内部标注主要以excel为工具进行人工标注,少部分公司有自有标注系统,但都是执行单一化任务,针对新的任务类型需要重新开发新的标注系统,且没有标准的管理流程;外包标注只能将一些非核心数据交由外包团队标注,以量计费,标注成本高。标注系统需要解决以上两个问题:一方面,系统本身应该包含各个领域的数据,满足人工智能企业用户快速进入新领域的数据要求;另一方面,能够适用于各种标注任务,有规范的标注流程,能有效提高标注速本文档来自技高网...

【技术保护点】
1.一种基于深度学习的数据标注系统,其特征在于,所述系统包括:/n标注模块,用于创建和分配数据标注任务、标注数据、操作数据库和更新深度学习算法;/n数据库,用于存储系统数据以及系统提供数据,标注模块标注的数据来源于数据库,标注后的数据存储于数据库,算法模块的训练数据来源于数据库中的已标注数据;/n算法模块,用于训练深度学习算法,集成若干深度学习算法,支持自定义深度学习算法;/n算法服务模块,用于对所有待标注的数据进行预标注,在深度学习算法训练完成后自动加载深度学习算法模型,并形成相应的深度学习算法服务。/n

【技术特征摘要】
1.一种基于深度学习的数据标注系统,其特征在于,所述系统包括:
标注模块,用于创建和分配数据标注任务、标注数据、操作数据库和更新深度学习算法;
数据库,用于存储系统数据以及系统提供数据,标注模块标注的数据来源于数据库,标注后的数据存储于数据库,算法模块的训练数据来源于数据库中的已标注数据;
算法模块,用于训练深度学习算法,集成若干深度学习算法,支持自定义深度学习算法;
算法服务模块,用于对所有待标注的数据进行预标注,在深度学习算法训练完成后自动加载深度学习算法模型,并形成相应的深度学习算法服务。


2.根据权利要求1所述的一种基于深度学习的数据标注系统,其特征在于,所述算法模块支持训练多种类型的深度学习算法模型,包括:文本分类、实体识别、关系抽取、阅读理解和自动问答相关的深度学习算法模型;
所述算法模块集成了多种训练好的词向量,包括:Bert词向量、基于wiki的词向量以及算法模块训练的词向量;
所述算法模块支持多种预训练深度学习算法,能够直接调用预训练深度学习算法。


3.根据权利要求1所述的一种基于深度学习的数据标注系统,其特征在于,算法服务模块形成的深度学习算法服务能够单独提出来作为独立的服务。


4.根据权利要求1所述的一种基于深度学习的数据标注系统,其特征在于,本系统中标注任务新建及分配方式为:系统以账号和密码登录,账号分为主管账号和标注员账号,主管账号有数据导入、新建任务、分配任务、查看标注情况、更新深度学习算法模型权限;标注员账号和主管账号都有标注权限;一个主管账号可关联多个标注员账号,一个标注员账号只对应一个主管账号;主管账号指定任务内容,确定数据来源,将任务分成若干个子任务并分配给指定的标注员账户,同时导入标注标准文档供标注员参考。


5.根据权利要求1所述的一种基于深度学习的数据标注系统,其特征在于,本系统数据标注方式为:标注人员标注数据时,每条数据都已有一个预标注结果,标注人员能够审核和修改预标注结果,在数据标注页面设有标注标准文档供标注人员参考。


6.根据权利要求1所述的一种基于深度学习的数据标注系统,其特征在于,本系统训练深度学习算法模型包括:
选择深度学习算法模型:既能够选择算法模块内置的深度学习算法模型,也能够新建深度学习算法模型;

【专利技术属性】
技术研发人员:不公告发明人
申请(专利权)人:成都数之联科技有限公司
类型:发明
国别省市:四川;51

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1