模型训练系统、方法和存储介质技术方案

技术编号:31231644 阅读:41 留言:0更新日期:2021-12-08 10:07
本发明专利技术提供了一种模型训练系统、方法和存储介质,涉及机器学习领域。该模型训练系统,包括云数据存储平台和云模型训练平台;云数据存储平台用于存储训练数据,以及用于接收训练数据调用请求,根据训练数据调用请求,将与数据调用指令对应的训练数据导出至云模型训练平台;云模型训练平台用于接收模型训练创建指令,获取待训练模型,以及用于生成并向云数据存储平台发送训练数据调用请求,以及用于利用从云数据存储平台导出的训练数据,训练待训练模型,得到训练成果模型。利用本发明专利技术的技术方案能够降低训练数据发生泄露的风险。案能够降低训练数据发生泄露的风险。案能够降低训练数据发生泄露的风险。

【技术实现步骤摘要】
模型训练系统、方法和存储介质


[0001]本专利技术涉及机器学习领域,尤其涉及一种模型训练系统、方法和存储介质。

技术介绍

[0002]深度学习广泛应用于人工智能和计算机视觉等领域。深度学习需要进行模型训练,在模型训练过程中模型开发者需要设计好特定模型,利用数据集进行多次迭代训练,从而得到符合期望要求的深度学习模型。其中,数据集是决定训练出的模型的稳定性和精确度是否符合期望要求的关键。数据集可由数据提供者提供。
[0003]现阶段,用户可在数据提供商处购买下载数据权限。下载数据权限通过后,用户可将数据下载至本地保存。当需要进行模型训练时,将下载至本地保存的数据拷贝到模型训练系统中,实现模型训练。但是,下载至本地保存的数据发生泄漏的风险较大。

技术实现思路

[0004]本申请提供了一种模型训练系统、方法和存储介质,能够降低训练数据发生泄露的风险。
[0005]第一方面,本申请提供了一种模型训练系统,包括云数据存储平台和云模型训练平台;云数据存储平台用于存储训练数据,以及用于接收训练数据调用请求,根据训练数据调用请求本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种提供云服务的模型训练系统,其特征在于,包括云数据存储平台和云模型训练平台;所述云数据存储平台,用于存储训练数据,所述训练数据设置有标签,所述训练数据的标签用于表征所述训练数据的内容;所述云模型训练平台,用于接收用户输入的模型训练创建指令,根据所述模型训练创建指令获取待训练模型,调用所述云数据存储平台存储的所述训练数据,根据所述训练数据训练所述待训练模型,得到训练成果模型。2.根据权利要求1所述的模型训练系统,其特征在于,所述模型训练系统还包括鉴权中心,所述鉴权中心,用于接收所述用户输入的鉴权许可请求,所述鉴权许可请求用于确定所述训练数据的权限。3.根据权利要求1所述的模型训练系统,其特征在于,所述云数据存储平台,还用于接收由数据提供者上传的所述训练数据;所述云数据存储平台,还用于接收所述数据提供者提供的所述训练数据的标签。4.根据权利要求3所述的系统,其特征在于,所述云数据存储平台设置有访问接口,所述访问接口用于接收所述数据提供者上传的所述训练数据。5.根据权利要求1所述的模型训练系统,其特征在于,所述系统还包括检索数据平台,所述检索数据平台,用于获取所述训练数据的信息,所述训练数据的信息包括所述训练数据的数据所有者信息、所述训练数据的数据上传日期中的任意一种或全部。6.根据权利要求5所述的模型训练系统,其特征在于,所述检索数据平台,用于根据所述训练数据的标签和所述训练数据的信息中的至少一个建立所述训练数据的数据索引表;所述检索数据平台,还用于接收所述用户输入的包括检索关键词的检索指令,根据所述检索关键词在所述数据索引表中进行查找以生成检索结果,所述检索结果包括与所述检索关键词相关的训练数据的信息或与所述检索关键词相关的训练数据的标签中的至少一个。7.根据权利要求6所述的模型训练系统,其特征在于,所述检索数据平台,还用于将所述检索结果发送给用户终端以显示给所述用户;所述检索数据平台,还用于接收所述用户终端发送的针对所述检索结果的数据选取指令,所述数据选取指令用于指示所述数据检索平台从所述检索结果中确定所述训练数据。8.根据权利要求1至7任一项所述的系统,其特征在于,所述模型训练系统还包括数据稽查系统,所述数据稽查系统,用于判定所述数据提供者上传的所述训练数据的有效性。9.根据权利要求1至7任一项所述的模型训练系统,其特征在于,还包括云模型存储平台,所述云模型存储平台,用于从所述云模型训练平台获取并保存所述训练成果模型。10.根据权利要求9所述的系统,其特征在于,还包括镜像平台和模型推理平台,所述镜像平台,用于存储模型推理运行环境,所述模型推理运行环境包括所述训练成
果模型对应的运行框架环境;所述模型推理平台,具体用于接收推理请求,从所述镜像平台加载所述模型推理运行环境,并从所述云模型存储平台调用所述训练成果模型,将待处理数据导入训练成果模型进行模型推理。11.根据权利要求9所述的系统,其特征在于,所述云模型存储平台,还用于向所述模型训练平台提供所述待训练模型,所述待训练模型由模型提供者上传至所述云模型存储平台。12.根据权利要求1至7任一项所述的系统,其特征在于,所述训练数据设置有数据路由,所述云模型训练平台根据所述数据路由调用所述训练数据。13.根据权利要求12所述的系统,其特征在于,所述数据路由包括所述训练数据的统一资源定位符路径。14.根据权利要求1至7任一项所述的系统,其特征在于,还包括模型数据库,所述模型数据库存储所述待训练模型;所述云模型训练平台,根据所述模型训练创建指令从所述模型数据库获取所述待训练模型。15.一种模型训练方法,其特征在于,应用于提供云服务的模型训练系统,所述模型训练系统包括云数据存储平台和云模型训练平台,所述方法包括:所述云数据存储平台存储训练数据,所述训练数据设置有标签,所述训练数据的标签...

【专利技术属性】
技术研发人员:陈普廖乔勃
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1