一种限速队列提交训练任务的方法和装置制造方法及图纸

本发明专利技术公开了一种限速队列提交训练任务的方法，包括：监控负载状态信息，根据负载状态信息通过训练好的神经网络预测模型预测令牌桶限速队列参数；根据令牌桶限速队列参数调整令牌桶限速队列的承载能力；配置训练任务的任务参数，根据任务参数和承载能力判断令牌桶限速队列中是否有充足的剩余空间以放置训练任务；响应于判断令牌桶限速队列中有充足的剩余空间以放置训练任务，将训练任务发送至令牌桶限速队列中；根据承载能力依据训练任务进入令牌桶限速队列的时间先后顺序依次提交训练任务。本发明专利技术还公开了一种相应的装置。本发明专利技术可以自适应地调整系统中处理任务请求的限速队列的承载能力，保证系统的平稳运行。

【技术实现步骤摘要】
一种限速队列提交训练任务的方法和装置
本专利技术涉及计算机
，更具体地，特别是指一种限速队列提交训练任务的方法和装置。
技术介绍
目前，随着神经网络模型的不断改进，其精度不断提高，应用性也逐步增强，AI一词再度回归人们的视野。于此同时，AI也为当前一些行业注入新的生机与活力，伴随着行业的发展，催生了大量深度学习算法工程师。传统的深度学习训练方式是许多工程师共用几台服务器，在这种模式下必然会造成资源争抢等问题，极大降低了算法人员的效率。因此，建立一种AI资源管理平台是很好的解决方案，算法工程师可以在资源管理平台上自定义深度训练任务的资源规格大小等，在配置好训练信息之后，一键提交训练任务到资源管理平台运行。在面向少量用户时，平台可能有足够的承载能力去处理用户的请求，但是当用户达到一定数量级之后，往往会遇到一些请求高并发问题，冲击平台服务，造成系统的不稳定甚至服务所在的服务器宕机。对于这种高并发造成的严重问题，AI资源管理平台需要引进一种限速机制，用来限流来自用户的请求，既可以保证用户的使用感受，也可以保证平台自身服务的稳定性。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提供一种自适应动态限速队列技术，根据不同用户的活跃时间和时段请求数量，可以自适应地调整系统中处理用户请求的限速队列长度，用来控制深度学习训练平台并发量，保证服务系统的平稳运行。基于上述目的，本专利技术一方面提供了一种限速队列提交训练任务的方法，该方法包括：监控负载状态信息，根据负载状态信息通过训练好的神经网络预测模型预测令牌桶限速队列参数；根据令牌桶限速队列参数调整令牌桶限速队列的承载能力；配置训练任务的任务参数，根据任务参数和承载能力判断令牌桶限速队列中是否有充足的剩余空间以放置训练任务；响应于判断令牌桶限速队列中有充足的剩余空间以放置训练任务，将训练任务发送至令牌桶限速队列中；根据承载能力依据训练任务进入令牌桶限速队列的时间先后顺序依次提交训练任务。在本专利技术的限速队列提交训练任务的方法的一些实施方式中，根据承载能力依据训练任务进入令牌桶限速队列的时间先后顺序依次提交训练任务还包括：判断是否可以获取令牌；响应于获取到令牌，依据训练任务进入令牌桶限速队列的时间先后顺序依次提交训练任务。在本专利技术的限速队列提交训练任务的方法的一些实施方式中，方法还包括：解析从令牌桶限速队列中提交的训练任务，将训练任务发送至底层服务，并发送信号；根据信号发送训练任务的请求成功信息。在本专利技术的限速队列提交训练任务的方法的一些实施方式中，方法还包括：响应于根据任务参数和承载能力判断令牌桶限速队列中没有充足的剩余空间以放置训练任务，发送训练任务的请求取消信息并删除训练任务的请求。在本专利技术的限速队列提交训练任务的方法的一些实施方式中，根据令牌桶限速队列参数调整令牌桶限速队列的承载能力还包括：配置时间间隔，根据时间间隔调整令牌桶限速队列的承载能力。在本专利技术的限速队列提交训练任务的方法的一些实施方式中，方法还包括：配置预设时间段，并根据预设时间段收集样本信息；根据样本信息更新神经网络预测模型的样本集，以及根据更新的样本集重新训练并更新神经网络预测模型。本专利技术实施例的另一方面，还提供了一种限速队列提交训练任务的装置，该装置包括：预测模块，预测模块配置为监控负载状态信息，根据负载状态信息通过训练好的神经网络预测模型预测令牌桶限速队列参数；调整模块，调整模块配置为根据令牌桶限速队列参数调整令牌桶限速队列的承载能力；剩余空间判断模块，剩余空间判断模块配置为配置训练任务的任务参数，根据任务参数和承载能力判断令牌桶限速队列中是否有充足的剩余空间以放置训练任务；进入队列模块，进入队列模块配置为响应于判断令牌桶限速队列中有充足的剩余空间以放置训练任务，将训练任务发送至令牌桶限速队列中；提交模块，提交模块配置为根据承载能力依据训练任务进入令牌桶限速队列的时间先后顺序依次提交训练任务。在本专利技术的限速队列提交训练任务的装置的一些实施方式中，提交模块还配置为：判断是否可以获取令牌；响应于获取到令牌，依据训练任务进入令牌桶限速队列的时间先后顺序依次提交训练任务。在本专利技术的限速队列提交训练任务的装置的一些实施方式中，装置还包括：提交通知模块，提交通知模块配置为解析从令牌桶限速队列中提交的训练任务，将训练任务发送至底层服务，并发送信号；根据信号发送训练任务的请求成功信息。在本专利技术的限速队列提交训练任务的装置的一些实施方式中，装置还包括：模型更新模块，模型更新模块配置为配置预设时间段，并根据预设时间段收集样本信息；根据样本信息更新神经网络预测模型的样本集，以及根据更新的样本集重新训练并更新神经网络预测模型。本专利技术至少具有以下有益技术效果：增加了平台针对高并发场景的处理能力，在最大限度不影响系统性能的前提下，降低用户请求的拒绝率，增强用户感受，保护平台性能，同时也指导相关深度学习平台的研发。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。图1示出了根据本专利技术的限速队列提交训练任务的方法的实施例的示意性框图；图2示出了根据本专利技术的限速队列提交训练任务的方法的实施例的模块结构示意图；图3示出了根据本专利技术的限速队列提交训练任务的方法的实施例的令牌桶限速队列的调整流程示意图；图4示出了根据本专利技术的限速队列提交训练任务的装置的实施例的示意性框图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”和“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。基于上述目的，本专利技术实施例的第一个方面，提出了一种限速队列提交训练任务的方法的实施例。图1示出的是根据本专利技术的限速队列提交训练任务的方法的实施例的示意性框图。如图1所示的实施例中，该方法至少包括如下步骤：S100、监控负载状态信息，根据负载状态信息通过训练好的神经网络预测模型预测令牌桶限速队列参数；S200、根据令牌桶限速队列参数调整令牌桶限速队列的承载能力；S300、配置训练任务的任务参数，根据任务参数和承载能力判断令牌桶限速队列中是否有充足的剩余空间以放置训练任务；S400、响应于判断令牌桶限速队列中有充足的剩余空间以放置训练任务，将训练任务发送至令牌桶限速队列中；...

【技术保护点】
1.一种限速队列提交训练任务的方法，其特征在于，所述方法包括：/n监控负载状态信息，根据所述负载状态信息通过训练好的神经网络预测模型预测令牌桶限速队列参数；/n根据所述令牌桶限速队列参数调整令牌桶限速队列的承载能力；/n配置训练任务的任务参数，根据所述任务参数和所述承载能力判断所述令牌桶限速队列中是否有充足的剩余空间以放置所述训练任务；/n响应于判断所述令牌桶限速队列中有充足的所述剩余空间以放置所述训练任务，将所述训练任务发送至所述令牌桶限速队列中；/n根据所述承载能力依据所述训练任务进入所述令牌桶限速队列的时间先后顺序依次提交所述训练任务。/n

【技术特征摘要】
1.一种限速队列提交训练任务的方法，其特征在于，所述方法包括：
监控负载状态信息，根据所述负载状态信息通过训练好的神经网络预测模型预测令牌桶限速队列参数；
根据所述令牌桶限速队列参数调整令牌桶限速队列的承载能力；
配置训练任务的任务参数，根据所述任务参数和所述承载能力判断所述令牌桶限速队列中是否有充足的剩余空间以放置所述训练任务；
响应于判断所述令牌桶限速队列中有充足的所述剩余空间以放置所述训练任务，将所述训练任务发送至所述令牌桶限速队列中；
根据所述承载能力依据所述训练任务进入所述令牌桶限速队列的时间先后顺序依次提交所述训练任务。


2.根据权利要求1所述的限速队列提交训练任务的方法，其特征在于，所述根据所述承载能力依据所述训练任务进入所述令牌桶限速队列的时间先后顺序依次提交所述训练任务还包括：
判断是否可以获取令牌；
响应于获取到所述令牌，依据所述训练任务进入所述令牌桶限速队列的时间先后顺序依次提交所述训练任务。


3.根据权利要求1所述的限速队列提交训练任务的方法，其特征在于，所述方法还包括：
解析从所述令牌桶限速队列中提交的所述训练任务，将所述训练任务发送至底层服务，并发送信号；
根据所述信号发送所述训练任务的请求成功信息。


4.根据权利要求1所述的限速队列提交训练任务的方法，其特征在于，所述方法还包括：
响应于根据所述任务参数和所述承载能力判断所述令牌桶限速队列中没有充足的剩余空间以放置所述训练任务，发送所述训练任务的请求取消信息并删除所述训练任务的请求。


5.根据权利要求1所述的限速队列提交训练任务的方法，其特征在于，所述根据所述令牌桶限速队列参数调整令牌桶限速队列的承载能力还包括：
配置时间间隔，根据所述时间间隔调整所述令牌桶限速队列的承载能力。


6.根据权利要求1所述的限速队列提交训练任务的方法，其特征在于，所述方法还包括：
配置预...

【专利技术属性】
技术研发人员：王文潇，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32