任务协同推理方法、装置、电子设备及介质制造方法及图纸

本发明专利技术提供一种任务协同推理方法、装置、电子设备及介质，涉及计算机技术领域。该方法包括：将移动设备上到达的任务分割成多个子任务并为每个子任务构建用于表征在移动设备或MEC服务器执行的卸载策略；针对每个移动设备构建时隙内所有移动设备的平均开销最小化问题；采用李雅普诺夫优化理论对平均开销最小化问题进行重构，得到与平均开销最小化问题对应的独立时隙策略优化问题；将独立时隙策略优化问题转换为马尔可夫决策过程，并采用深度强化学习算法求解马尔可夫决策过程，得到与每个移动设备对应的最佳卸载策略、最佳移动设备传输功率以及最佳MEC服务器所分配线程数量。发明专利技术方案能够有效地利用分布式计算资源，显著提高推理效率。

【技术实现步骤摘要】

本专利技术涉及计算机，尤其涉及一种任务协同推理方法、装置、电子设备及介质。

技术介绍

1、随着深度学习技术的迅速发展和广泛应用，特别是在计算机视觉、自然语言处理等领域的成功案例不断涌现，深度神经网络(deep neural network,dnn)成为了解决复杂任务的主要工具。然而，随着模型规模的增加和实时应用的日益普及，传统的单一设备上执行推理的方法面临着严峻的挑战。

2、深度神经网络通常采用有向无环图(directed acyclic graph,dag)的结构，以建模复杂的特征和关系。在这样的网络中，卸载层的协同推理变得尤为重要，以满足对实时性和效率日益增长的需求。虽然分布式深度学习和边缘计算等技术取得了显著进展，但在卸载层的协同推理过程中仍然存在一些关键挑战。此外，服务器之间的通信瓶颈、资源分配不均等问题阻碍了推理过程的高效性，因而亟需改进。

技术实现思路

1、本专利技术提供一种任务协同推理方法、装置、电子设备及介质，用以解决现有技术中服务器之间的通信瓶颈、资源分配不均等问题阻碍了推理过程本文档来自技高网...

【技术保护点】

1.一种任务协同推理方法，其特征在于，应用于包括多个移动设备和多个MEC服务器的复杂异构场景，所述方法包括：

2.根据权利要求1所述的任务协同推理方法，其特征在于，所述基于每个移动设备上部署的DNN任务模型结构将对应移动设备上到达的任务分割成多个子任务，包括：

3.根据权利要求2所述的任务协同推理方法，其特征在于，所述为每个所述子任务构建用于表征在移动设备或MEC服务器执行的卸载策略，包括：

4.根据权利要求2所述的任务协同推理方法，其特征在于，所述以联合优卸载策略、移动设备传输功率以及用于执行被卸载子任务的MEC服务器所分配线程数量为目标，以移动设备...

【技术特征摘要】

1.一种任务协同推理方法，其特征在于，应用于包括多个移动设备和多个mec服务器的复杂异构场景，所述方法包括：

2.根据权利要求1所述的任务协同推理方法，其特征在于，所述基于每个移动设备上部署的dnn任务模型结构将对应移动设备上到达的任务分割成多个子任务，包括：

3.根据权利要求2所述的任务协同推理方法，其特征在于，所述为每个所述子任务构建用于表征在移动设备或mec服务器执行的卸载策略，包括：

4.根据权利要求2所述的任务协同推理方法，其特征在于，所述以联合优卸载策略、移动设备传输功率以及用于执行被卸载子任务的mec服务器所分配线程数量为目标，以移动设备的cpu周期频率要求、任务队列长度要求、长期能耗要求以及任务推理延迟要求为约束，构建时隙内所有移动设备的平均开销最小化问题，包括：

5.根据权利要求4所述的任务协同推理方法，其特征在于，所述采用李雅普诺夫优化理论对所述平均开销最...

【专利技术属性】
技术研发人员：张建兵，马淑芳，严泽枭，黄霁崴，
申请(专利权)人：中国石油大学北京，
类型：发明
国别省市：