一种训练模型多端协同优化系统技术方案

本发明专利技术提供了一种训练模型多端协同优化系统，涉及计算资源管理领域

【技术实现步骤摘要】
一种训练模型多端协同优化系统


[0001]本专利技术涉及计算资源管理领域，尤其涉及一种训练模型多端协同优化系统
。

技术介绍

[0002]云计算平台是一种提供计算租赁服务的云平台，助力越来越多的企业摆脱了硬件的束缚，更多地投入到解决实际问题当中；其中，机器学习是通过样本数据
、
训练算法和模型训练建立一个模型，用户通过云计算平台训练模型，通过该模型完成预期的预测或者决策任务，以便在没有明确编程的情况下做出预测或决定
。
[0003]为了得到预测或决定更佳的训练模型，我们需要对训练模型进行模型优化；一些时候（如多模型组成的大模型）模型优化需要多用户共同执行，现有的处理方式是：云计算平台仅提供训练模型服务，不同的用户在平台下载云计算平台上的训练模型并对其进行本地优化，再在平台外进行任务对接，各自完成对应的优化任务并进行协同整合，从而完成对模型的多端协同优化
。
[0004]但是，用户自行任务对接和多端协同存在诸多问题，如：
1、
缺乏标准化的统一管理范式，导致在协同优化过程中问题频发；
2、
不同优化任务组合会得到不同的优化结果，当前后优化任务协调不统一时会导致白费功；
3、
优化可追溯性差，优化异常时没法定位到某一具体步骤
。
[0005]因此，有必要提供一种训练模型多端协同优化系统来解决上述技术问题
。

技术实现思路

[0006]为解决上述技术问题，本专利技术提供的一种训练模型多端协同优化系统，部署在云计算平台上，包括云端数据管理单元
、
模型优化编辑单元
、
优化脚本托管单元
、
多端人员协同管理单元和优化模型云端训练单元；云端数据管理单元：用于对云计算平台存储的训练模型和对应的模型数据进行管理调用；其中，在进行模型优化时，用户选定原始训练模型，云端数据管理单元调用与之对应的原始模型数据；模型优化编辑单元：用于为操作人员提供云端优化编辑空间，包括优化内容编辑容器
、
编辑操作监测器和关联描述编辑器；其中，优化内容编辑容器用于为模型数据的优化项目提供环境支持和操作空间；编辑操作监测器用于对项目容器内的优化操作进行监测记录，并根据优化操作前后数据变动生成对应的差异文件；关联描述编辑器用于描述用户定义设置的各优化项之间前后关联关系并生成对应的关联描述项；优化脚本托管单元：根据用户的托管需求生成对应的脚本文件并进行自动托管执行；其中，脚本文件包括容器管理脚本
、
人员协同脚本和训练执行脚本；容器管理脚本用于管理各容器的创建
、
启停和优化任务分配；人员协同脚本用于操作人员的待办任务创建
、
启停和指派；训练执行脚本用于训练任务的创建和执行；多端人员协同管理单元：用于连接执行模型协同优化的多端用户，反馈用户当前
操作状态并根据人员协同脚本指派优化任务至对应用户的待办任务中；优化模型云端训练单元：用于执行训练执行脚本控制，按照关联描述项将对应的模型数据和差异文件载入云端硬件资源中，并进行优化模型云端训练，得到优化训练模型
。
[0007]作为更进一步的解决方案，通过如下步骤进行训练模型多端协同优化：步骤1：云计算平台进行优化需求检测，用户向云计算平台发起训练模型多端协同优化请求，并选择需要进行优化的原始训练模型；步骤2：通过云端数据管理单元找到原始训练模型对应的原始训练数据
、
原始模型算法和原始训练规则；步骤3：云计算平台向用户发起优化需求询问，用户根据
WEB
界面提供的问答范式填写优化需求；其中，优化需求包括优化流程
、
优化人员和优化项目；步骤4：云计算平台根据优化人员将对应的用户账户拉入至多端人员协同管理单元，根据优化流程通过关联描述编辑器产生对应的关联描述项，根据优化项目在优化内容编辑容器中新建对应的项目容器；步骤5：云计算平台向用户发起托管需求询问，用户根据
WEB
界面提供的问答范式填写托管需求；其中，托管需求包括托管流程
、
托管人员和托管训练；步骤6：优化脚本托管单元根据托管人员生成对应的人员协同脚本，根据托管流程生成对应的容器管理脚本，根据托管训练生成对应的训练执行脚本；步骤7：启动优化脚本托管单元进行自动托管执行，并在此过程中通过编辑操作监测器对项目容器内的优化操作进行监测记录；步骤8：人员协同脚本将待办任务新建至对应操作人员，容器管理脚本为模型数据的优化项目新建优化内容编辑容器，操作人员进入对应的项目容器中进行优化操作；步骤9：编辑操作监测器对项目容器内的优化操作进行监测记录，并根据优化操作前后数据变动生成对应的差异文件；步骤
10
：训练执行脚本通过对关联描述项进行持续性监测，判断各优化项目是否均被完成；在均被完成时，启动优化模型云端训练单元并进行下一步操作；步骤
11
：优化模型云端训练单元获取对应的差异文件，将差异文件按照关联描述项的各优化项之间前后关联关系进行组合，并对原始模型数据进行修正得到优化训练数据；步骤
12
：优化训练数据载入云端硬件资源中，并进行优化模型云端训练，得到优化训练模型，完成一次训练模型多端协同优化
。
[0008]作为更进一步的解决方案，所述模型数据包括训练数据
、
模型算法和训练规则；所述优化内容编辑容器包括数据优化容器
、
算法优化容器和规则优化容器；所述优化项目包括数据优化项
、
算法优化项和规则优化项；所述差异文件报警数据差异文件
、
算法差异文件和规则差异文件
。
[0009]作为更进一步的解决方案，所述关联描述项包括第一关联描述项和第二关联描述项；其中，所述第一关联描述项用于描述数据优化项之间
、
算法优化项之间
、
数据优化项和算法优化项之间的前后关联关系；所述第二关联描述项用于描述算法优化项之间
、
规则优化项之间
、
算法优化项和规则优化项之间的前后关联关系
。
[0010]作为更进一步的解决方案，所述脚本文件根据前置触发条件判断是否执行对应触
发执行动作；其中，所述容器管理脚本的前置触发条件为优化项目，触发执行动作为创建对应的项目容器；所述人员协同脚本前置触发条件为优化项目和优化人员，触发执行动作为指派对应的操作人员；所述训练执行脚本为优化流程，触发执行动作为创建优化模型云端训练
。
[0011]作为更进一步的解决方案，所述人员协同脚本在指派对应的操作人员时，包括自动指派和定向指派；其中，自动指派：根据操作人员当前待办任务进行判断，优先分配待办任务最少的操作人员执行优化操作；定向指派：根据用于预设的人员项目名单定向指派具体操作人员执行优化操作
。
[0012]作为更进一步的解决本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种训练模型多端协同优化系统，部署在云计算平台上，其特征在于，包括云端数据管理单元
、
模型优化编辑单元
、
优化脚本托管单元
、
多端人员协同管理单元和优化模型云端训练单元；云端数据管理单元：用于对云计算平台存储的训练模型和对应的模型数据进行管理调用；其中，在进行模型优化时，用户选定原始训练模型，云端数据管理单元调用与之对应的原始模型数据；模型优化编辑单元：用于为操作人员提供云端优化编辑空间，包括优化内容编辑容器
、
编辑操作监测器和关联描述编辑器；其中，优化内容编辑容器用于为模型数据的优化项目提供环境支持和操作空间；编辑操作监测器用于对项目容器内的优化操作进行监测记录，并根据优化操作前后数据变动生成对应的差异文件；关联描述编辑器用于描述用户定义设置的各优化项之间前后关联关系并生成对应的关联描述项；优化脚本托管单元：根据用户的托管需求生成对应的脚本文件并进行自动托管执行；其中，脚本文件包括容器管理脚本
、
人员协同脚本和训练执行脚本；容器管理脚本用于管理各容器的创建
、
启停和优化任务分配；人员协同脚本用于操作人员的待办任务创建
、
启停和指派；训练执行脚本用于训练任务的创建和执行；多端人员协同管理单元：用于连接执行模型协同优化的多端用户，反馈用户当前操作状态并根据人员协同脚本指派优化任务至对应用户的待办任务中；优化模型云端训练单元：用于执行训练执行脚本控制，按照关联描述项将对应的模型数据和差异文件载入云端硬件资源中，并进行优化模型云端训练，得到优化训练模型
。2.
根据权利要求1所述的一种训练模型多端协同优化系统，其特征在于，通过如下步骤进行训练模型多端协同优化：步骤1：云计算平台进行优化需求检测，用户向云计算平台发起训练模型多端协同优化请求，并选择需要进行优化的原始训练模型；步骤2：通过云端数据管理单元找到原始训练模型对应的原始训练数据
、
原始模型算法和原始训练规则；步骤3：云计算平台向用户发起优化需求询问，用户根据
WEB
界面提供的问答范式填写优化需求；其中，优化需求包括优化流程
、
优化人员和优化项目；步骤4：云计算平台根据优化人员将对应的用户账户拉入至多端人员协同管理单元，根据优化流程通过关联描述编辑器产生对应的关联描述项，根据优化项目在优化内容编辑容器中新建对应的项目容器；步骤5：云计算平台向用户发起托管需求询问，用户根据
WEB
界面提供的问答范式填写托管需求；其中，托管需求包括托管流程
、
托管人员和托管训练；步骤6：优化脚本托管单元根据托管人员生成对应的人员协同脚本，根据托管流程生成对应的容器管理脚本，根据托管训练生成对应的训练执行脚本；步骤7：启动优化脚本托管单元进行自动托管执行，并在此过程中通过编辑操作监测器对项目容器内的优化操作进行监测记录；步骤8：人员协同脚本将待办任务新建至对应操作人员，容器管理脚本为模...

【专利技术属性】
技术研发人员：吕超星，丁鹏，张超伟，
申请(专利权)人：北京万界数据科技有限责任公司武汉分公司，
类型：发明
国别省市：