用于实时深度学习分析操作的动态负载均衡制造技术

用于均衡多个硬件加速器之间的处理负载的装置、系统和技术。在至少一个实施例中，对视频中的成批帧执行的操作(例如，作为视频分析管线的一部分)由负载均衡器在第一硬件加速器和第二硬件加速器之间分配。和第二硬件加速器之间分配。和第二硬件加速器之间分配。

【技术实现步骤摘要】
【国外来华专利技术】用于实时深度学习分析操作的动态负载均衡
[0001]优先权声明
[0002]本申请要求了2021年5月26日提交的名称为“DYNAMIC LOAD BALANCES FOR REAL
‑
TIME DEEP LEARNING ANALYTICS(用于实时深度学习分析的动态负载均衡)”、第17/330,710号美国专利申请和2020年8月3日提交的名称为“DYNAMIC LOAD BLANCING ON GPUS FOR DEEP LEARNING BASED REAL
‑
TIME VIDEO ANALYTICS APPLICATIONS(在用于基于深度学习的实时视频分析应用程序的GPU上的动态负载均衡)”、第63/060,666号美国临时申请的权益，其全部内容通过引用并入本文。

技术介绍

[0003]典型的视频分析应用程序由多个并行操作的处理元件组成，并生成整个应用程序的信息中的部分。然而，处理元件中的许多对视频帧的分辨率和格式都有特定的要求。这引入了许多变换(例如，缩放、格式转换、摄像头校正、去扭曲等)，这些变换必须在本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种系统，包括：一个或更多个处理器；以及存储器，其存储指令，所述指令由于由所述一个或更多个处理器执行而使所述系统：将客户端集合分配给第一硬件加速器，其中所述客户端集合中的第一客户端提供用于处理的一批帧；生成与使用所述第一硬件加速器处理该批帧相关联的第一度量超过阈值的第一确定；以及响应于所述第一确定，将所述客户端集合的客户端子集分配给第二硬件加速器。2.如权利要求1所述的系统，其中，所述存储器还存储指令，所述指令由于由所述一个或更多个处理器执行而使所述系统：生成与所述第一硬件加速器相关联的所述第一度量低于所述阈值的第二确定；以及响应于所述第二确定，将所述客户端集合的所述客户端子集分配给所述第一硬件加速器。3.如权利要求1所述的系统，其中所述第一度量还包括指示所述第一硬件加速器的活动的百分比的值。4.如权利要求1所述的系统，其中所述第一硬件加速器还包括视频图像合成器(VIC)。5.如权利要求1所述的系统，其中所述第二硬件加速器还包括图形处理单元(GPU)。6.如权利要求1所述的系统，其中所述第一度量还包括所述第一客户端利用所述第一硬件加速器执行该批帧的处理的时间量。7.如权利要求1所述的系统，其中所述第一度量还包括所述第一硬件加速器用于代表所述第一客户端处理该批帧的处理能力的百分比。8.如权利要求1所述的系统，其中所述第一度量还包括通过至少处理由所述第一客户端提供的该批帧而产生的平均负载量。9.如权利要求1所述的系统，其中所述第一确定是在时间间隔期间生成的。10.如权利要求1所述的系统，其中所述第一确定是至少部分地基于历史数据生成的。11.如权利要求1所述的系统，其中使所述系统将所述客户端集合的所述客户端子集分配给所述第二硬件加速器的指令还包括指令，该指令由于由所述一个或更多个处理器执行而使所述系统至少部分地基于用户提供的偏好将所述客户端集合的所述客户端子集分配给所述第二硬件加速器。12.如权利要求1所述的系统，其中所述阈值由用户指定。13.如权利要求1所述的系统，其中用户指示在所述第一硬件加速器和所述第二硬件加速器之间代表所述客户端集合中的至少一个客户端进行处理的偏好。14.如权利要求1所述的系统，其中所述第一度量是从包括在所述第一硬件加速器中的硬件性能计数器获得的。15.如权利要求1所述的系统，其中所述第一硬件加速器还包括现场可编程门阵列(FPGA)。16.如权利要求1所述的系统，其中所述存储器还存储指令，该指令由于由所述一个或更多个处理器执行而使所述系统通过系统调用获得所述第一度量。17.如权利要求1所述的系统，其中所述客户端集合还包括人工智能管线中的组件集
合。18.如权利要求17所述的系统，其中所述人工智能管线包括一个或更多个神经网络。19.如权利要求1所述的系统，其中所述存储器还存储指令，该指令由于由所述一个或更多个处理器执行而使所述系统致使所述第一硬件加速器通过至少将该批帧从第一格式转换为第二格式而处理该批帧。20.如权利要求1所述...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：辉达公司，
类型：发明
国别省市：