一种分布式深度学习模型平台部署及使用方法技术

本发明专利技术提供一种分布式深度学习模型平台部署及使用方法，步骤：在分布式系统部署WEB后端FastApi模块、深度学习模型推理模块、消息队列模块及数据库模块；WEB后端FastApi模块接收并处理客户端发送的数据请求，再将处理后数据请求发送到消息队列模块；消息队列模块将数据请求分发到深度学习模型推理模块；深度学习模型推理模块加载并运行模型，对数据请求进行推理，生成推理结果，并将推理结果存储到数据库模块；WEB后端FastApi模块从数据库模块查询推理结果，并向客户端返回。本发明专利技术充分利用FastApi快速响应和消息队列的中间件特性，有效提升深度学习模型的高并发在线推理任务能力。

Deployment and application of a distributed deep learning model platform

【技术实现步骤摘要】
一种分布式深度学习模型平台部署及使用方法
本专利技术属于人工智能
，具体涉及一种分布式深度学习模型平台部署及使用方法。
技术介绍
Fastapi，是python的一个异步高性能web框架。Rabbitmq，是一种消息队列。Gunicorn：一个Python的基于WSGI标准的HTTP服务器，用于部署FastApi。近些年来，得益于计算力与数据量的大规模提升，深度神经网络在语音识别、图像识别和目标检测等领域取得了超越人类的表现成果，并被逐步推广部署到实际应用中。然而深度学习算法运算复杂度高、CPU内存和GPU显存占用大、带宽要求高，限制了深度学习模型在生产环境中的部署。目前模型部署主要是嵌入到web应用里，模型线上推理的时候每次只能同时处理一条数据，尤其在处理高并发在线推理任务时，由于单台服务器计算能力与存储空间有限，很容易导致深度学习在线推理平台的崩溃，使服务器有宕机的风险。同时模型推理模块嵌入到web应用中后，严重依赖web应用，增加了开发和维护成本。此为现有技术的不足，因此，针对现有技术中的上述缺陷，提本文档来自技高网...

【技术保护点】
1.一种分布式深度学习模型平台部署及使用方法，其特征在于，包括如下步骤：/nS1.在分布式系统部署WEB后端FastApi模块、深度学习模型推理模块、消息队列模块及数据库模块；/nS2.WEB后端FastApi模块接收并处理客户端发送的数据请求，再将处理后数据请求发送到消息队列模块；/nS3.消息队列模块将数据请求分发到深度学习模型推理模块；/nS4.深度学习模型推理模块加载并运行模型，对数据请求进行推理，生成推理结果，并将推理结果存储到数据库模块；/nS5.WEB后端FastApi模块从数据库模块查询推理结果，并向客户端返回。/n

【技术特征摘要】
1.一种分布式深度学习模型平台部署及使用方法，其特征在于，包括如下步骤：
S1.在分布式系统部署WEB后端FastApi模块、深度学习模型推理模块、消息队列模块及数据库模块；
S2.WEB后端FastApi模块接收并处理客户端发送的数据请求，再将处理后数据请求发送到消息队列模块；
S3.消息队列模块将数据请求分发到深度学习模型推理模块；
S4.深度学习模型推理模块加载并运行模型，对数据请求进行推理，生成推理结果，并将推理结果存储到数据库模块；
S5.WEB后端FastApi模块从数据库模块查询推理结果，并向客户端返回。


2.如权利要求1所述的分布式深度学习模型平台部署及使用方法，其特征在于，步骤S1具体步骤如下：
S11.在分布式系统设置中间节点、存储节点和若干计算节点；
S12.在各计算节点部署若干WEB后端FastApi模块及若干深度学习模型推理模块；
S13.在中间节点部署消息队列模块；
S14.在存储节点部署数据库模块。


3.如权利要求1或2所述的分布式深度学习模型平台部署及使用方法，其特征在于，分布式系统中通过Gunicorn工具部署WEB后端FastApi模块。


4.如权利要求2所述的分布式深度学习模型平台部署及使用方法，其特征在于，在分布式系统还设置负载均衡模块；
步骤S2具体步骤如下：
S21.负载均衡模块接收到客户端发送的数据请求后，根据各计算节点负载运行情况选择一个空闲计算节点，并向该空闲节点的WEB后端FastApi模块发送数据请求；
S22.对应WEB后端FastApi模块接收到数据请求后，生成数据标记,并向客户端返回数据标记，同时将数据请求及数据标记发送到消息队列模块。


5.如权利要求4所述的分布式深度学习模型平台部署及使用方法，其特征在于，分布式系统中设置Nginx负载均衡模块。


6.如权利要求1所述的分布式深度学习模型平台部署及使用方法，其特征在...

【专利技术属性】
技术研发人员：刘学文，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32