一种新型接入多算法的方法及服务器技术

本发明专利技术涉及算法部署领域，公开了一种新型接入多算法的方法及服务器；其方法为，配置算法服务，编写配置文件，依据算法服务配置信息对算法服务进行配置；算法服务启动，通过监控进程对算法服务进行启动，监控进程依据算法服务的配置进行启动；算法服务申请连接，依据配置的算法服务，进行申请连接算法服务；算法调用，依据算法的输入，向算法服务提交算法请求，从而调用算法。本发明专利技术在带有GPU的算法服务器上，使用本算法服务的应用，使用的资源CPU/GPU拷贝带宽，显存使用更少，GPU的使用率更高，能接入的算法请求更多，进一步提升了服务器的使用效率。用效率。用效率。

【技术实现步骤摘要】
一种新型接入多算法的方法及服务器


[0001]本专利技术涉及算法部署领域，尤其涉及了基于常规算法以及深度学习算法在服务器上的部署的一种新型接入多算法的方法及服务器。

技术介绍

[0002]随着深度学习这几年迅速的发展，计算机视觉、数据处理等方面的产品与日俱增，对应的算法服务器也需要支持同时运行多种算法及接入多路的前端设备。当前服务器管理算法的方式，存在以下问题：
[0003]若每一个用户应用都独立地接入算法后端，则每一个应用都会独立地申请算法资源。如果这些应用存在使用相同算法的参数时(例如深度学习算法的模型参数)，便会产生资源的浪费；在系统层面上，无法对算法的优先级和资源的竞争进行控制，产生不合预期的结果。
[0004]目前开源的算法服务(如英伟达的Triton)，无法实现单次请求进行不同算法的串行，产生不必要数据拷贝和同步；对于特定情况(如单算法多GPU多应用请求等)，目前的开源服务没有提供特定的优化方案，资源没有完全调度起来，无法满足需求。
[0005]目前开源的算法服务，主要是提供深度学习算法模型后端的接入，对于非本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种新型接入多算法的方法，包括至少一张GPU服务器，其方法包括，配置算法服务，编写配置文件，依据算法服务配置信息对算法服务进行配置；算法服务启动，通过监控进程对算法服务进行启动，监控进程依据算法服务的配置进行启动；算法服务申请连接，依据配置的算法服务，进行申请连接算法服务；算法调用，依据算法的输入，向算法服务提交算法请求，从而调用算法。2.根据权利要求1所述的一种新型接入多算法的方法，其特征在于，还包括结束连接，通过向算法服务发送结束连接请求，结束连接，算法服务并对算法资源进行回收；算法服务关闭，通过命令或控制台结束算法服务监控进程从而结束算法服务，同时监控进程回收算法服务中的算法资源。3.根据权利要求1所述的一种新型接入多算法的方法，其特征在于，算法服务配置信息包括算法模型、算法优先级和算法资源个数。4.根据权利要求3所述的一种新型接入多算法的方法，其特征在于，还包括，算法服务申请连接包括，通过算法服务配置信息进行算法服务信息配置，并选择所需调用的算法和运行的设备环境；算法服务依据算法用户的配置，加载算法；算法连接前，通过改变算法服务配置信息确定算法服务的算法。5.根据权利要求1所述的一种新型接入多算法的方法，其特征在于，算法调用包括算法请求和多用户算法调用；算法请求，依据算法的输入请求向算法服务提交算法请求，算法服务完成算法请求后，向用户返回结果；多用...

【专利技术属性】
技术研发人员：罗涛，徐联伯，
申请(专利权)人：杭州英歌智达科技有限公司，
类型：发明
国别省市：