【技术实现步骤摘要】
一种训练模型多端协同优化系统
[0001]本专利技术涉及计算资源管理领域,尤其涉及一种训练模型多端协同优化系统
。
技术介绍
[0002]云计算平台是一种提供计算租赁服务的云平台,助力越来越多的企业摆脱了硬件的束缚,更多地投入到解决实际问题当中;其中,机器学习是通过样本数据
、
训练算法和模型训练建立一个模型,用户通过云计算平台训练模型,通过该模型完成预期的预测或者决策任务,以便在没有明确编程的情况下做出预测或决定
。
[0003]为了得到预测或决定更佳的训练模型,我们需要对训练模型进行模型优化;一些时候(如多模型组成的大模型)模型优化需要多用户共同执行,现有的处理方式是:云计算平台仅提供训练模型服务,不同的用户在平台下载云计算平台上的训练模型并对其进行本地优化,再在平台外进行任务对接,各自完成对应的优化任务并进行协同整合,从而完成对模型的多端协同优化
。
[0004]但是,用户自行任务对接和多端协同存在诸多问题,如:
1、
缺乏标准化的统一管理范式,导致在协同优化过程中问题频发;
2、
不同优化任务组合会得到不同的优化结果,当前后优化任务协调不统一时会导致白费功;
3、
优化可追溯性差,优化异常时没法定位到某一具体步骤
。
[0005]因此,有必要提供一种训练模型多端协同优化系统来解决上述技术问题
。
技术实现思路
[0006]为解决上述技术问题,本专利技术提供的一种训练模 ...
【技术保护点】
【技术特征摘要】
1.
一种训练模型多端协同优化系统,部署在云计算平台上,其特征在于,包括云端数据管理单元
、
模型优化编辑单元
、
优化脚本托管单元
、
多端人员协同管理单元和优化模型云端训练单元;云端数据管理单元:用于对云计算平台存储的训练模型和对应的模型数据进行管理调用;其中,在进行模型优化时,用户选定原始训练模型,云端数据管理单元调用与之对应的原始模型数据;模型优化编辑单元:用于为操作人员提供云端优化编辑空间,包括优化内容编辑容器
、
编辑操作监测器和关联描述编辑器;其中,优化内容编辑容器用于为模型数据的优化项目提供环境支持和操作空间;编辑操作监测器用于对项目容器内的优化操作进行监测记录,并根据优化操作前后数据变动生成对应的差异文件;关联描述编辑器用于描述用户定义设置的各优化项之间前后关联关系并生成对应的关联描述项;优化脚本托管单元:根据用户的托管需求生成对应的脚本文件并进行自动托管执行;其中,脚本文件包括容器管理脚本
、
人员协同脚本和训练执行脚本;容器管理脚本用于管理各容器的创建
、
启停和优化任务分配;人员协同脚本用于操作人员的待办任务创建
、
启停和指派;训练执行脚本用于训练任务的创建和执行;多端人员协同管理单元:用于连接执行模型协同优化的多端用户,反馈用户当前操作状态并根据人员协同脚本指派优化任务至对应用户的待办任务中;优化模型云端训练单元:用于执行训练执行脚本控制,按照关联描述项将对应的模型数据和差异文件载入云端硬件资源中,并进行优化模型云端训练,得到优化训练模型
。2.
根据权利要求1所述的一种训练模型多端协同优化系统,其特征在于,通过如下步骤进行训练模型多端协同优化:步骤1:云计算平台进行优化需求检测,用户向云计算平台发起训练模型多端协同优化请求,并选择需要进行优化的原始训练模型;步骤2:通过云端数据管理单元找到原始训练模型对应的原始训练数据
、
原始模型算法和原始训练规则;步骤3:云计算平台向用户发起优化需求询问,用户根据
WEB
界面提供的问答范式填写优化需求;其中,优化需求包括优化流程
、
优化人员和优化项目;步骤4:云计算平台根据优化人员将对应的用户账户拉入至多端人员协同管理单元,根据优化流程通过关联描述编辑器产生对应的关联描述项,根据优化项目在优化内容编辑容器中新建对应的项目容器;步骤5:云计算平台向用户发起托管需求询问,用户根据
WEB
界面提供的问答范式填写托管需求;其中,托管需求包括托管流程
、
托管人员和托管训练;步骤6:优化脚本托管单元根据托管人员生成对应的人员协同脚本,根据托管流程生成对应的容器管理脚本,根据托管训练生成对应的训练执行脚本;步骤7:启动优化脚本托管单元进行自动托管执行,并在此过程中通过编辑操作监测器对项目容器内的优化操作进行监测记录;步骤8:人员协同脚本将待办任务新建至对应操作人员,容器管理脚本为模...
【专利技术属性】
技术研发人员:吕超星,丁鹏,张超伟,
申请(专利权)人:北京万界数据科技有限责任公司武汉分公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。