硬件自适应多模型调度制造技术

现代深度神经网络(DNN)模型具有许多层，其中单个层可能涉及大量矩阵乘法。如此繁重的计算量给在计算资源相对有限的单个边缘设备上部署此类DNN模型带来了挑战。因此，对于具有严格延迟要求的应用，可能需要多个边缘设备甚至异构边缘设备。本专利文件公开了在异构平台上调度多个模型的模型调度框架的实施方式。提出了两种不同的方法，即模型优先调度(MFS)和硬件优先调度(HFS)，用于将用于服务的一组模型分配到相应的异构边缘设备(包括CPU、VPU和GPU)中。实验结果证明，MFS和HFS方法能有效提高单个和多个基于AI的服务的推理速度。

【技术实现步骤摘要】
【国外来华专利技术】

本公开一般涉及用于计算机学习的系统和方法，这些系统和方法能够提供改进的计算机性能、特征和用途。更具体而言，本公开涉及用于硬件自适应多模型调度的系统和方法。

技术介绍

1、深度神经网络(dnn)在诸如计算机视觉、自然语言处理、推荐系统等许多领域都取得了巨大成功。由于dnn在各种应用场景中具有最先进的性能，因此对dnn的研究正获得越来越大的推动力。每年都有大量新的dnn架构被提出，用于新兴的智能服务，这些服务在提高准确性、减少延迟、保护隐私和能效等方面具有更严格的要求。

2、然而，大多数dnn都专注于提高准确性，但却以大幅度增加模型复杂性为代价。当前最先进的网络的深度可以达到数十甚至数百层，从而在准确性方面优于以前用于有关任务的网络。单个层可能需要数百万次矩阵乘法。如此繁重的计算量给在计算资源有限的单个边缘设备上部署这些dnn模型带来了挑战。

3、因此，对于具有严格延迟要求的人工智能(ai)驱动型应用来说，可能需要多个边缘设备甚至异构边缘设备，这就导致了现实世界应用中普遍存在的多对多问题(多模型到异构边缘设备)。p>

4、因此，本文档来自技高网...

【技术保护点】

1.一种用于多模型调度的计算机实现方法，包括：

2.根据权利要求1所述的计算机实现方法，其中，所述多个神经网络模型是深度神经网络(DNN)模型。

3.根据权利要求2所述的计算机实现方法，其中，对所述DNN模型进行训练和优化，以使其适合所述异构硬件平台。

4.根据权利要求1所述的计算机实现方法，其中，所述多个边缘设备包括一个或多个中央处理单元(CPU)、一个或多个图形处理单元(GPU)和一个或多个视觉处理单元(VPU)。

5.根据权利要求1所述的计算机实现方法，其中，所述性能指标阵列包括多个性能参数，每个性能参数通过在所述多个边缘设备中的一个...

【技术特征摘要】
【国外来华专利技术】

1.一种用于多模型调度的计算机实现方法，包括：

2.根据权利要求1所述的计算机实现方法，其中，所述多个神经网络模型是深度神经网络(dnn)模型。

3.根据权利要求2所述的计算机实现方法，其中，对所述dnn模型进行训练和优化，以使其适合所述异构硬件平台。

4.根据权利要求1所述的计算机实现方法，其中，所述多个边缘设备包括一个或多个中央处理单元(cpu)、一个或多个图形处理单元(gpu)和一个或多个视觉处理单元(vpu)。

5.根据权利要求1所述的计算机实现方法，其中，所述性能指标阵列包括多个性能参数，每个性能参数通过在所述多个边缘设备中的一个边缘设备上独立运行所述一组神经网络模型中的一个神经网络模型而获得。

6.根据权利要求5所述的计算机实现方法，其中，每个性能参数为每秒帧数(fps)，所述每秒帧数限定了神经网络模型处理输入视频或图像帧以进行所需检测的速度。

7.根据权利要求1所述的计算机实现方法，还包括：

8.根据权利要求7所述的计算机实现方法，还包括：

9.一种用于多模型调度的计算机实现方法，包括：

10.根据权利要求9所述的计算机实现方法，其中，所述多个神经网络模型是深度神经网络(dnn)模型。

11.根据权利要求10所述的计算机实现方法，其中，对所述dnn模型进行训练和优化，以使其适合所述异构硬件平...

【专利技术属性】
技术研发人员：寇浩锋，李幸，郑惠猛，王磊，陈振，
申请(专利权)人：百度时代网络技术北京有限公司，
类型：发明
国别省市：