【技术实现步骤摘要】
本专利技术属于大数据处理技术，具体是涉及实时系统任务调度领域，尤其是涉及一种嵌入式实时系统中混合深度神经网络任务按层调度的方法。
技术介绍
1、在现代物联网中，无人驾驶、智能路边基础设置、计算机视觉、智慧城市、智能家居以及航空航天等都离不开深度神经网络在嵌入式实时系统中执行调度的应用。这些应用需要实时系统支持多个深度神经网络任务的执行，但嵌入式实时系统的计算资源有限，在调度这些深度学习任务时存在实时性差、响应时间长等问题，无法为深度神经网络任务提供最坏的时序保证，使得嵌入式实时系统应用不够可靠，例如会产生一些自动驾驶中的安全隐患问题。虽然当前的嵌入式实时系统硬件平台越来越多地配备了异构的cpu和gpu内核，用来提高深度神经网络任务在推理作业的平均情况响应时间，但同时请求多个深度神经网络任务时，它们通常未被充分利用，并且在最坏情况下它们的益处不如在平均情况下显著。此外，神经网络任务包括实时任务和最佳响应任务。嵌入式实时系统完成对混合神经网络任务的调度执行，需要遵循任务调度的时间约束，完成在响应时间较短的情况下达到较好的任务的可调度性能。
技术实现思路
1、专利技术目的：本专利技术提供一种嵌入式实时系统中混合深度神经网络任务按层调度方法，主要解决在嵌入式实时系统中，通过基于最优化对混合的深度神经网络任务分配调度问题形式化，实现对嵌入式的边缘实时系统环境中以及异构的cpu和gpu资源环境条件下的层级分配调度机制。
2、技术方案：一种嵌入式实时系统中混合深度神经网络任务按层调度
3、进一步的，所述方法实施步骤包括：
4、(1)构建深度神经网络任务模型，用于嵌入式实时系统中任务调度执行，神经网络任务由τi＝(ci,ti,di,li,ri,si)表示，包括单个任务运行时的最坏情况执行时间、运行周期、任务层数、周期性任务的就绪时间和开始时间；
5、(2)构建深度神经网络任务层任务模型，层任务由表示，其中包括在cpu和gpu集群及其量化模型上运行时的最差情况执行时间，以及对应的量化输入和量化输出的最大时间之和；
6、(3)构造深度神经网络任务按层分配调度机制，用于解决混合深度神经网络任务按每一层去调度执行在cpu或gpu平台上的最优方案，所述最优方案包括设计分配映射分组、计算深度神经网络任务在异构的cpu和gpu平台上的执行时间总和、深度神经网络任务在cpu和gpu集群上的开销、在cpu和gpu异构系统上的总开销、深度神经网络任务的最差响应时间，以及单个任务的利用率；
7、(4)构建深度神经网络任务按层分配的优化函数，包括深度神经网络任务分层映射到异构的cpu和gpu资源的目标方程，设置可调度性基本条件、任务开始时间约束、任务完成时间约束以及资源限制条件。
8、具体的，步骤(1)所述的深度神经网络任务包括实时任务和最佳响应任务，如果深度神经网络任务τi是一个实时任务，那么该任务受截止日期约束，即遵循di≤ti，并且一旦任务被接纳到系统中，应始终满足截止日期；如果深度神经网络任务τi是一个最佳响应任务，那么这个任务中某些层任务执行的时候可能会错过截止日期，当最佳响应任务τi没有特定的截止日期要求的时候，可以将截止日期di设置为∞；
9、嵌入式实时系统中实时任务和最佳响应任务遵循如下规则：
10、1)实时类任务优先于最佳响应类任务；
11、2)实时类任务可以随时抢占同一cpu或gpu集群上的最佳响应类任务；
12、3)抢占条件为若前一个任务是最佳响应任务且其响应时间大于ti，则实时任务可以去抢占最佳响应任务，使得运行的实时任务di小于等于ti。
13、步骤(3)是基于神经网络任务结构特点设计按层分配调度；
14、深度神经网络的按层分配是分配到gpu或cpu上执行，该分配映射表示为ρ，并且映射在cpu集群上的任务表示为ρ(τi,j)＝0，映射在gpu集群上的任务表示为ρ(τi,j)＝1；
15、深度神经网络任务在异构的cpu和gpu平台上的执行时间总和表示如下：
16、
17、表示任务τi映射在cpu平台的连续k层，表示任务τi映射在gpu平台的连续k层；
18、深度神经网络任务τi在cpu集群上的开销为深度神经网络任务第一层和最后一层的开销，表示为：
19、
20、深度神经网络任务τi在gpu集群上的开销为深度神经网络任务第一层和最后一层的开销，表示如下：
21、
22、深度神经网络任务τi在cpu和gpu异构系统上的总开销表示如下：
23、
24、深度神经网络任务τi映射后的最差响应时间表示如下：
25、wi＝ci+si,j＝layerlast+bi,j＝layerlast-ri
26、单个深度神经网络任务的利用率u表示如下：
27、
28、其中，ti表示周期性任务的最短到达时间即运行周期。
29、步骤(4)中按层调度的优化函数是任务的利用率总和最小化的调度方案，数学表示如下：
30、
31、该优化函数遵循以下约束条件：
32、可调度性基本条件表示为wi≤ti(1≤i≤i,1≤j≤li,0<ci<di≤ti)；
33、任务开始时间大于就绪时间的条件表示为si>ri；
34、任务每一层的开始时间大于等于上一个任务完成时间的条件表示为si,j≥si-1+ci-1；
35、任务完成时间小于等于最晚截止日期的条件表示为ci+si,j＝layerlast+bi,j＝layerlast≤ri+di；
36、同一时刻cpu和gpu上只能有一个任务在运行的资源限制条件表示为：
37、
38、
39、最后通过最优化方法求解得到深度神经网络任务按层分配的分配组，在嵌入式实时系统中根据层任务分配在不同的gpu和gpu上执行不同的层任务。
40、有益效果：与现有技术相比，本专利技术所述的方法通过构建深度神经网络任务模型和层任务模型，对任务调度开销、最差响应时间、最小化层任务映射调度下的任务的利用率总和等的数学化，设置优化函数和约束条件求解方法，实现在最差响应时间较短的情况下，能够更加平衡地利用实时系统中异构的cpu和gpu计算资源，提升深度神经网络任务在嵌入式实时系统中的实时性和可调度性能。本文档来自技高网...
【技术保护点】
1.一种嵌入式实时系统中混合深度神经网络任务按层调度方法，其特征在于，该方法将混合的深度神经网络任务分为实时任务和最佳响应任务，通过对深度神经网络任务以及神经网络层任务进行建模，用最优化方法考虑任务在异构的CPU和GPU计算资源上的执行时间总和、按层映射调度存在的时间开销、最差响应时间，得到混合深度神经网络任务映射层调度的任务利用率的总和函数，在响应时间尽可能小的约束下，找到最佳的深度神经网络任务按层分配的方案，以实现对异构的CPU和GPU计算资源均衡的利用。
2.根据权利要求1所述的嵌入式实时系统中混合深度神经网络任务按层调度方法，其特征在于，实施步骤包括：
3.根据权利要求2所述的嵌入式实时系统中混合深度神经网络任务按层调度方法，其特征在于，步骤(1)所述的深度神经网络任务包括实时任务和最佳响应任务，如果深度神经网络任务τi是一个实时任务，那么该任务受截止日期约束，即遵循Di≤Ti，并且一旦任务被接纳到系统中，应始终满足截止日期；如果深度神经网络任务τi是一个最佳响应任务，那么这个任务中某些层任务执行的时候可能会错过截止日期，当最佳响应任务τi没有特定
4.根据权利要求2所述的嵌入式实时系统中混合深度神经网络任务按层调度方法，其特征在于，步骤(3)是基于神经网络任务结构特点设计按层分配调度；
5.根据权利要求2所述的嵌入式实时系统中混合深度神经网络任务按层调度方法，其特征在于，步骤(4)中按层调度的优化函数是任务的利用率总和最小化的调度方案，数学表示如下：
...【技术特征摘要】
1.一种嵌入式实时系统中混合深度神经网络任务按层调度方法，其特征在于，该方法将混合的深度神经网络任务分为实时任务和最佳响应任务，通过对深度神经网络任务以及神经网络层任务进行建模，用最优化方法考虑任务在异构的cpu和gpu计算资源上的执行时间总和、按层映射调度存在的时间开销、最差响应时间，得到混合深度神经网络任务映射层调度的任务利用率的总和函数，在响应时间尽可能小的约束下，找到最佳的深度神经网络任务按层分配的方案，以实现对异构的cpu和gpu计算资源均衡的利用。
2.根据权利要求1所述的嵌入式实时系统中混合深度神经网络任务按层调度方法，其特征在于，实施步骤包括：
3.根据权利要求2所述的嵌入式实时系统中混合深度神经网络任务按层调度方法，其特征在于，步骤(1)所...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。