【技术实现步骤摘要】
一种AI服务请求调度的方法、装置、设备及介质
[0001]本申请涉及资源调度
，提供一种
AI
服务请求调度的方法
、
装置
、
设备及介质
。
技术介绍
[0002]随着人工智能（
AI
，
Artificial Intelligence
）的快速发展，越来越多的企业和组织开始使用“AI
服务”来提高业务效率
、
优化决策和改进用户体验，其中，
AI
服务包括图像识别
、
自然语言处理和预测分析等
。
但是，随着
AI
服务的增加，为确保
AI
服务的高可用性
、
高性能和安全性，对处理和调度这些
AI
服务请求提出了更高的要求
。
[0003]然而，在现有的
AI
服务请求调度技术中，需要投入较高的成本来购买和维护大规模的计算和存储设备，需要处理密集型的计算任务，需要与多个
AI
服务微服务进行交互等功能，需要较多的计算时间，需要更多的服务器资源来应对请求量的增加，涉及敏感信息和数据，涉及多个微服务和复杂的网络结构，会依赖一些第三方技术和工具，且这些技术和工具的稳定性和可靠性可能不尽相同，因此，在现有技术中，便会出现成本高
、
效率低
、
结构复杂
、
速度慢
、
管理维护困难...
【技术保护点】
【技术特征摘要】
1.
一种
AI
服务请求调度的方法，其特征在于，所述方法包括：调用目标
AI
网关通过
Nginx
服务器接收
AI
业务系统发送的资源调度请求；根据预设的负载均衡算法与算力集群中各个节点的节点信息，调用所述目标
AI
网关确定进行资源调度的目标节点；其中，所述各个节点均采用
AidLux
融合操作系统，且所述节点信息包括节点状态
、
资源配置以及负载情况；在所述目标
AI
网关与所述目标节点中的
AI
应用之间建立
websocket
长连接；调用所述目标
AI
网关通过所述
websocket
长连接将所述资源调度请求分配给所述目标节点
。2.
如权利要求1所述的方法，其特征在于，在调用所述目标
AI
网关通过所述
websocket
长连接将所述资源调度请求分配给所述目标节点之后，所述方法还包括：调用所述
AI
应用对所述资源调度请求进行解析，生成资源调度任务；调用所述
AI
应用对所述资源调度任务进行处理，获得调度处理结果
。3.
如权利要求2所述的方法，其特征在于，在调用所述
AI
应用对所述资源调度任务进行处理，获得调度处理结果之后，所述方法还包括：调用所述
AI
应用将所述调度处理结果反馈给所述目标
AI
网关；调用所述目标
AI
网关将所述调度处理结果反馈给所述
Nginx
服务器；调用所述
Nginx
服务器将所述调度处理结果反馈给所述
AI
业务系统
。4.
如权利要求1所述的方法，其特征在于，在根据预设的负载均衡算法与算力集群中各个节点的节点信息，调用所述目标
AI
网关确定进行资源调度的目标节点之前，所述方法还包括：调用节点管理平台通过监控平台获取所述算力集群中各个节点的节点信息；调用所述目标
AI
网关从所述节点管理平台中获取所述算力集群中各个节点的节点信息
。5.
如权利要求4所述的方法，其特征在于，所述调用节点管理平台通过监控平台获取所述算力集群中...
【专利技术属性】
技术研发人员：孙晓刚，徐建刚，
申请(专利权)人：成都阿加犀智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。