一种基于融合层的DNN模型并行化和部分计算卸载方法技术

本发明专利技术公开了一种基于融合层的DNN模型并行化和部分计算卸载方法，属于数据处理领域，包括：S1：使用FL技术对DNN模型进行划分，得到具有计算相关性的计算层；S2：使用部分计算卸载的方式对FL技术划分后的DNN模型进行并行化推理，得到DNN推理时间；S3：使用最小等待算法确定路径调度策略和FL路径数；S4：将粒子群优化算法与最小等待算法相结合，确定FL路径长度、截取融合层大小和路径卸载策略，得到的最小DNN推理时间为最优解。本发明专利技术通过Particle Swarm Optimization With Minimizing Waiting算法动态更新FL路径长度、截取融合层大小和路径卸载策略，以探索最优解并避免陷入到局部极小值。到局部极小值。到局部极小值。

【技术实现步骤摘要】
一种基于融合层的DNN模型并行化和部分计算卸载方法


[0001]本专利技术是关于数据处理领域，特别是关于一种基于融合层的DNN模型并行化和部分计算卸载方法。

技术介绍

[0002]随着移动设备的普及和无线接入技术的进步，蓬勃发展的移动应用导致了数据流量的爆炸性增长。根据国际数据公司(International Data Corporation)的报告，到2025年，全球数据中心流量将达到163zettabytes，超过75％的数据将在网络边缘进行处理。另一方面，深度学习在复杂任务中取得了成功，包括计算机视觉、自然语言处理、机器翻译和许多其他任务。在物联网(Internet of Things,IoT)系统中使用深度学习仍存在许多障碍，其中之一是由于计算资源的限制，物联网设备无法同时提供满足实时性要求和高精度要求的结果。然而，在许多物联网系统，如交通监控中，不仅需要更高的处理速度，而且需要更高的精度。
[0003]为了应对上述挑战，最近提出了移动边缘计算(Mobile Edge Computing,MEC)。MEC将计算、缓存等功能推向网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于融合层的DNN模型并行化和部分计算卸载方法，其特征在于，包括以下步骤：S1：使用FL技术对DNN模型进行划分，得到具有计算相关性的计算层；S2：使用部分计算卸载的方式对FL技术划分后的DNN模型进行并行化推理，得到DNN推理时间；其中，在部分计算卸载中，通过计算终端设备的计算时间、传输时间和ES的计算时间得到DNN推理时间；S3：使用最小等待算法确定路径调度策略和FL路径数；S4：将粒子群优化算法与最小等待算法相结合，确定FL路径长度、截取融合层大小和路径卸载策略，得到的最小DNN推理时间为最优解。2.如权利要求1所述的基于融合层的DNN模型并行化和部分计算卸载方法，其特征在于，所述步骤S1包括：建立一个以特征层左上角为原点的二维笛卡尔坐标系，其中，设置卷积的步长为1，卷积核的大小为的3
×
3，输入特征层、中间特征层和输出特征层的大小分别为6
×
6、4
×
4和2
×
2；FL路径为：一序列由FL技术划分的独立计算的层，作为DAG中的FL路径其中，P表示总的FL路径数，采用DAG的形式表示DNN模型被划分为多条路径和多个具有计算相关性的层；FL路径长度为τ，表示FL路径长度为τ的融合层大小的向量为FL路径长度为τ，表示FL路径长度为τ的融合层大小的向量为其中是融合层的长度向量，是融合层的宽度向量；截取融合层的大小向量集合为其中是FL路径p的截取融合层大小向量，是截取融合层大小的长度，是截取融合层大小的宽度；截取的融合层的大小不超过和3.如权利要求2所述的基于融合层的DNN模型并行化和部分计算卸载方法，其特征在于，所述步骤S2包括：S201：获取计算层的计算卸载策略；S202：获取终端设备和ES的计算时间，终端设备和ES之间的传输时间，以及获取FL策略、路径调度策略和路径卸载策略；S203：获取具有任务计算相关性的DNN推理时间。4.如权利要求3所述的基于融合层的DNN模型并行化和部分计算卸载方法，其特征在于，所述步骤S201中，使用表示层的集合，其中，v表示某个计算层，V是计算层的总个数；使用c
v
和d
v
分别表示层v的传输数据大小和层v的计算量；e
v
′
v
＝(v
′
,v)∈E表示从v
′
到v的计算相关性，在计算完成层v
′
之后才能计算层v，其中E是计算相关性的集合；在部分计算卸载中，ES在当前卸载层的前置层都完成计算后，开始进行当前卸载层的计算；计算卸载策略为其中如果在终端设备上计算层v，则h
v
＝0，如果层v卸载到ES，则h
v
＝1。5.如权利要求3所述的基于融合层的DNN模型并行化和部分计算卸载方法，其特征在
于，所述步骤S202中，获取终端设备和ES的计算时间中，终端设备上层v的计算时间计算如下：ES上v层的计算时间计算如下：获取终端设备和ES之间的传输时间中，...

【专利技术属性】
技术研发人员：周欢，李明泽，
申请(专利权)人：三峡大学，
类型：发明
国别省市：