用于分布式视频智能分析平台的算力负载调度方法及装置制造方法及图纸

本说明书一个或多个实施例提供一种用于分布式视频智能分析平台的算力负载调度方法及装置，由于采用了实时算力资源的采集方法，使得负载调度计算结果能更实时、更准确；由于在算力负载调度计算过程中采用算法资源消耗估算与算法服务实时资源空闲率相结合的方法，使得负载调度算法的结果具有算法服务算力预估能力，保证了调度结果的可靠性；由于在算力负载调度计算过程中采用负载优先权值的计算与对比，实现了系统最优负载算法服务的选拔，使得用户算法调用计算响应速度更快，提高了用户体验。户体验。户体验。

【技术实现步骤摘要】
用于分布式视频智能分析平台的算力负载调度方法及装置


[0001]本说明书一个或多个实施例涉及算力负载调度
，尤其涉及一种用于分布式视频智能分析平台的算力负载调度方法及装置。

技术介绍

[0002]近些年来，随着机器学习与深度学习的快速发展，越来越多的产品通过应用图像分析技术变得更加自动化与智能化，例如人脸识别、车牌识别等。日益增长的用户端调用数量导致许多视频智能分析平台不堪重负，迫使很多平台产商通过提高硬件设施的性能或新增硬件服务器数量来应对，但这种应对方式不仅增加了平台的成本，又增加了平台维护的工作量。因此，研究一种能够对平台算力资源进行充分、灵活的调度方法对于视频智能分析平台在经济效益与资源节约方面具有较高的实用性。
[0003]常规的负载均衡调度主要实现两个主要目标：第一，将大量的并发访问或数据流量分担到多台节点设备上做并行处理，减少用户等待响应的时间；第二，避免单个节点重负载运算，使系统的处理能力得到大幅度提高。常规的负载均衡调度方法有轮循(Round Robin)、最少连接数(Least Connection)、加权响应本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于分布式视频智能分析平台的算力负载调度方法，其特征在于，包括：配置不同类型算法、不同类型厂商对GPU显存消耗容量、内存消耗容量、CPU占用的估算数值，得出算法资源消耗信息；采集算力资源数据，解析算法服务信息与资源状态数值，得到各算法服务对应的算力资源消耗信息；获取用户的请求数据，基于所述算法资源消耗信息和所述算力资源消耗信息，判断各算法服务是否满足用户调用的负载能力，并得出当前的最优算法服务，返回算法服务标识。2.根据权利要求1所述的用于分布式视频智能分析平台的算力负载调度方法，其特征在于，在获取用户的请求数据后，所述方法还包括：对用户进行合法性验证；若验证为不合法，则回复请求失败，若验证为合法，则提取用户的请求数据中的算法类型与算法厂商类型，执行下一步流程。3.根据权利要求1所述的用于分布式视频智能分析平台的算力负载调度方法，其特征在于，所述采集算力资源数据，解析算法服务信息与资源状态数值，得到各算法服务对应的算力资源消耗信息包括：创建用于接收算力资源数据的HTTP服务；系统中各算法服务定时通过算力资源数据接收RESTful接口推送算力资源数据；接收算力资源数据后，解析算法服务信息与资源状态数值；将算法服务信息与资源状态数值储存到生成的算力资源信息表中。4.根据权利要求3所述的用于分布式视频智能分析平台的算力负载调度方法，其特征在于，所述算法服务信息包括但不限于算法服务支持算法厂商类型列表和算法服务访问地址，所述资源状态数值包括但不限于GPU显存空闲容量、内存空闲容量和CPU占用率。5.根据权利要求1所述的用于分布式视频智能分析平台的算力负载调度方法，其特征在于，所述算法资源消耗信息包括各厂商的各算法类型对应的GPU显存消耗估值GM、内存容量消耗估值M和CPU占用率估值C0，所述算力资源消耗信息包括各算法服务对应的算法类型支持列表TList、厂商支持类型、CPU占用率C1、GPU显存空闲容量GMF和内存空闲容量MF，所述用户的请求数据中包含用户请求算法类型T0；判断用户请求算法类型T0是否在所述算法类型支持列表Tlist中，若不包含则返回FALSE；若包含则计算算法类型支持列表Tlist中支持用户请求算法类型T0的算法服务的估算CPU空闲利用率C_DIF＝(CT
‑
C0
‑
C1)、估算GPU空...

【专利技术属性】
技术研发人员：陈卫强，杜渐，段洪琳，张威奕，张凯，王兆明，王库超，
申请(专利权)人：招商新智科技有限公司，
类型：发明
国别省市：