一种用于人工智能算法模型远程批量部署系统及方法技术方案

本发明专利技术涉及一种用于人工智能算法模型远程批量部署系统及方法，它包括算法模型管理服务器、多个算法模型部署节点服务器、多个终端设备；所述算法模型管理服务器用于管理多个算法模型部署节点服务器，并通过两种方式配置算法模型部署节点服务器的节点服务；所述算法模型部署节点服务器用于执行批量下发部署算法模型到多个终端设备的作业任务；所述终端设备用于接收所述算法模型部署节点服务器下发部署的算法模型并使用。本发明专利技术部署任务分配模块可以根据服务节点的性能压力情况合理分配任务，充分利用好服务资源，做到服务性能自控提高效率；多个节点服务同时并行执行部署任务且全面自动化处理，无须人工干预操作。无须人工干预操作。无须人工干预操作。

【技术实现步骤摘要】
一种用于人工智能算法模型远程批量部署系统及方法


[0001]本专利技术涉及数据处理
，尤其涉及一种用于人工智能算法模型远程批量部署系统及方法。

技术介绍

[0002]随着人工智能技术的快速发展，人工智能算法模型也越来越成熟，而且随着深度学习框架的出现降低了入门的门槛，不需要从复杂的神经网络开始编写代码，可以根据需要选择已有的模型，通过训练得到模型参数，也可以在已有模型的基础上增加自己的layer，或者在顶端选择自己需要的分类器和优化算法；当然也正因为如此，没有什么框架是完美的，不同的框架适用的领域不完全一致；总的来说深度学习框架提供了一系列的深度学习的组件(对于通用的算法，里面会有实现)，当需要使用新的算法的时候就需要用户自己去定义，然后调用深度学习框架的函数接口使用用户自定义的新算法。因此，目前大多数时候是可以直接复制现有的算法模型来使用的。
[0003]传统的应用程序从远程服务器上复制拉取算法模型的方式有：1.使用手工复制粘贴的方式将算法模型从人工智能算法模型训练服务器上复制到需要使用该算法模型的终端设备上；2.登录终端设备利用网络远程从人工智能训练服务器上复制算法模型到本地终端设备；3.登录终端设备利用专门的终端应用或web应用，选择下载算法模型到本地终端设备。但是，目前这种传统的方式的缺点为：点对点，一台一台的手工活应用程序从远程服务器上复制拉取算法模型，类似目前手机下载应用一样，无法批量快速的部署算法模型，效率低下；而且，如果多台终端设备同事通过网络下载对服务器又有巨大压力，采用这种方式，服务器无法自控压力和流量。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的缺点，提供了一种用于人工智能算法模型远程批量部署系统及方法，解决了现有传统方法存在的不足。
[0005]本专利技术的目的通过以下技术方案来实现：一种用于人工智能算法模型远程批量部署系统，它包括算法模型管理服务器、多个算法模型部署节点服务器、多个终端设备、算法模型存储库；
[0006]所述算法模型管理服务器用于管理多个算法模型部署节点服务器，并通过两种方式配置算法模型部署节点服务器的节点服务；
[0007]所述算法模型部署节点服务器用于执行批量下发部署算法模型到多个终端设备的作业任务；
[0008]所述终端设备用于接收所述算法模型部署节点服务器下发部署的算法模型并使用；
[0009]所述算法模型存储库用于存储算法模型文件，并被多个算法模型部署节点服务器调用拉取和推送。
[0010]所述算法模型管理服务器包括任务进度收集模块和部署任务分配模块；所述部署任务分配模块用于查询各个算法模型部署节点服务器的性能情况，按照性能积分进行排序，并优先将任务发布到性能状态最好的算法模型部署节点服务器上执行任务；所述任务进度收集模块用于获取所述算法模型部署节点服务器的任务执行进度。
[0011]所述算法模型管理服务器通过两种方式配置算法模型部署节点服务器的节点服务包括：通过WEB界面操作算法模型部署节点服务器的节点服务信息；算法模型部署节点服务器的节点服务启动时自动将节点服务器配置信息传输到算法模型管理服务器中，算法模型管理服务器根据现有算法模型部署节点服务器的节点服务进行修改、增加相关服务节点信息。
[0012]所述终端设备的数量大于算法模型部署节点服务器的数量，每个算法模型部署节点服务器连通至少一个终端设备，每个终端设备连通至少一个算法模型部署节点服务器。
[0013]一种用于人工智能算法模型远程批量部署系统的方法，所述方法包括：
[0014]S1、用户选择要部署的一个或多个终端设备以及相关一个或多个算法模型并发起部署任务；
[0015]S2、算法模型管理服务器对算法模型部署节点服务器进行分析，然后分配部署任务给各个算法模型部署节点服务器；
[0016]S3、各个算法模型部署节点服务器根据算法模型管理服务器下发的分配任务，将任务中指定的算法模型批量推送到指定的终端设备中；
[0017]所述方法还包括：
[0018]S4、算法模型管理服务器实时获取各个算法模型部署节点服务器中任务执行的进度情况；
[0019]S5、当获取的各个算法模型部署节点服务器中任务执行的进度达到100％时，则表明算法模型已经部署在相应的终端设备内。
[0020]所述算法模型管理服务器对算法模型部署节点服务器进行分析包括：
[0021]查询每个算法模型部署节点服务器的工作性能情况，根据性能数据计算得到相应的性能积分；
[0022]将积分按照高低进行排序，积分越高说明性能越好；
[0023]根据排序情况优先将人任务发布到性能最好的算法模型部署节点服务器上。
[0024]本专利技术具有以下优点：一种用于人工智能算法模型远程批量部署系统及方法，用户通过管理界面操作批量部署模型算法到终端设备，简单易用可，无须逐台登录终端设备去选择下载算法模型或复制到终端设备中；部署任务分配模块可以根据服务节点的性能压力情况合理分配任务，充分利用好服务资源，做到服务性能自控提高效率；多个节点服务同时并行执行部署任务且全面自动化处理，无须人工干预操作；良好的扩展收缩性，采用分布式的架构体系，可以在需要扩展的时候，通过简单扩展节点服务即可对应更多的终端设备，当无须管理更多的终端设备时也可以减少节点服务，将资源释放给其他服务以保证资源充分利用。
附图说明
[0025]图1为本专利技术系统的架构示意图。
具体实施方式
[0026]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下结合附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的保护范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本专利技术做进一步的描述。
[0027]如图1所示，本专利技术采用远程下发部署模式，服务器可以通过多节点管控，根据网络及服务器性能指标控制批量下发部署到各个终端设备中；采用WEB应用的方式操作，但不局限于WEB应用，用户也可以通过命令行的方式进行；具体包括：
[0028]算法模型管理服务器(管理服务)：该服务器角色主要是用于管理存储算法模型文件并且通过以下两种方式配置节点服务：包括WEB界面操作配置节点服务信息(如：增加、删除、修改节点服务信息)；以及节点服务启动时(节点服务通过配置文件指向管理服务接口地址)将自动将节点服务配置信息(配置信息存储在配置文件中)传输到管理服务中，管理服务根据现有节点服务信息进行修改、增加相关服务节点信息。
[0029]进一步地，算法模型管理服务器包括任务进度收集模块和部署本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于人工智能算法模型远程批量部署系统，其特征在于：它包括算法模型管理服务器、多个算法模型部署节点服务器、多个终端设备、算法模型存储库；所述算法模型管理服务器用于管理多个算法模型部署节点服务器，并通过两种方式配置算法模型部署节点服务器的节点服务；所述算法模型部署节点服务器用于执行批量下发部署算法模型到多个终端设备的作业任务；所述终端设备用于接收所述算法模型部署节点服务器下发部署的算法模型并使用；所述算法模型存储库用于存储算法模型文件，并被多个算法模型部署节点服务器调用拉取和推送。2.根据权利要求1所述的一种用于人工智能算法模型远程批量部署系统，其特征在于：所述算法模型管理服务器包括任务进度收集模块和部署任务分配模块；所述部署任务分配模块用于查询各个算法模型部署节点服务器的性能情况，按照性能积分进行排序，并优先将任务发布到性能状态最好的算法模型部署节点服务器上执行任务；所述任务进度收集模块用于获取所述算法模型部署节点服务器的任务执行进度。3.根据权利要求1所述的一种用于人工智能算法模型远程批量部署系统，其特征在于：所述算法模型管理服务器通过两种方式配置算法模型部署节点服务器的节点服务包括：通过WEB界面操作算法模型部署节点服务器的节点服务信息；算法模型部署节点服务器的节点服务启动时自动将节点服务器配置信息传输到算法模型管理服务器中，算法模型管理服务器根据现有算法模型部署节点服务器的节点服务进行修改、增加相关服务节点信息。4.根据权利要求1所述的一种用于人工智能算法...

【专利技术属性】
技术研发人员：孟莹，罗凯，
申请(专利权)人：成都云图睿视科技有限公司，
类型：发明
国别省市：