一种基于深度强化学习的智慧工厂冗余卸载方法技术

本发明专利技术公开了一种基于深度强化学习的智慧工厂冗余卸载方法，该方法包括步骤：工业互联网设备卸载任务到达边缘盒子之后，根据先来后到进行排队，对于一些轻量级的任务，边缘盒子可以将其处理完并返回结果，对于一些需要更多资源的任务，边缘盒子则将这些任务传送到云计算系统进行处理。对于卸载到云服务器的部分任务。为了使在任务延迟约束下使卸载系统的效用最大化，使用马尔可夫决策方法确定最优卸载方案。通过服务器状态以及各工业互联网设备的相关信息，确定时间阈值和可靠性，从而确定冗余卸载的上界和下界，采用搜索的方法来获得最优的冗余传输路径数，在保证卸载可靠性的同时提高了获得的效用。提高了获得的效用。提高了获得的效用。

【技术实现步骤摘要】
一种基于深度强化学习的智慧工厂冗余卸载方法


[0001]本专利技术涉及一种基于深度强化学习的智慧工厂冗余卸载方法，属于通信


技术介绍

[0002]随着物联网在工业应用场景的推进，异构智能设备之间的高水平互连带来了实现工业自动化的可能性，这可以在更少或不需要人工工作的情况下改善操作并提高生产力。智慧工厂的发展对通信的实时性提出了更高的要求，由于工业互联网设备产生量计算和通信负载，依靠远程云来上传数据并运行复杂的算法会产生高的通信延迟和计算延迟。因此通过使用边缘盒子等边缘计算构架可以一定程度上减少对远程云的依赖。
[0003]目前，将繁重的计算任务转移到例如边缘盒子等移动网络边缘的云资源上，已成为应对日益增长的计算需求的一种有前途的方法。移动边缘计算使应用、服务和内容可以实现本地化部署，为业务提供低时延、高带宽的运营环境，从而满足智慧工厂的计算需求。
[0004]在边缘卸载中需要设置合理的卸载算法，在资源有限的前提下，使计算卸载对系统的效益最大化。然而，在拥有大量计算资源的移动边缘计算环境中，边缘卸载过程中的不可靠性不可避免，而应用任务的执行失败对任务调度将造成极大的影响。因此在最大化系统效益的同时保证边缘卸载的可靠性至关重要。

技术实现思路

[0005]本专利技术目的在于针对上述现有技术的缺陷和不足，提出了一种基于深度强化学习的智慧工厂冗余卸载方法，该方法在保证卸载可靠性的同时提高了获得的效用。
[0006]本专利技术解决其技术问题所采用的技术方案是：一种基于深度强化学习的智慧工厂冗余卸载方法，该方法工业互联网设备卸载任务到达边缘盒子之后，根据先来后到进行排队，对于一些轻量级的任务，边缘盒子可以将其处理完并返回结果，对于一些需要更多资源的任务，边缘盒子则将这些任务传送到云计算系统进行处理。对于卸载到云服务器的部分任务。为了使在任务延迟约束下使卸载系统的效用最大化，使用马尔可夫决策方法确定最优卸载方案。通过服务器状态以及各工业互联网设备的相关信息，确定时间阈值和可靠性，从而确定冗余卸载的上界和下界，采用搜索的方法来获得最优的冗余传输路径数，在保证卸载可靠性的同时提高了获得的效用。
[0007]进一步地，本专利技术具体包括：各任务在时间帧中所采取的卸载策略取决于当前网络的特征以及帧中的服务器状态，每个边缘盒子都被建模为一个排队系统，使用马尔可夫决策方法确定最优卸载方案。
[0008]进一步地，本专利技术具体包括：确定冗余卸载的上界和下界，采用搜索的方法来获得最优的冗余传输路径数。
[0009]有益效果：
[0010]1、本专利技术采用深度q
‑
学习方法，提出了在给定延迟约束下，卸载系统效用最大化
的最优目标MEC服务器确定和传输模式选择方案。
[0011]2、本专利技术能够在保证卸载可靠性的同时提高了获得的效用。
附图说明
[0012]图1为本专利技术方法的流程图。
[0013]图2为工业互联网场景卸载示意图。
具体实施方式
[0014]为了便于本领域技术人员的理解，下面结合实施例与说明书附图对本专利技术创造作进一步的说明，实施方式提及的内容并非对本专利技术的限定。
[0015]如图1和图2所示，本专利技术提供了一种基于深度强化学习的智慧工厂冗余卸载方法，该方法具体包括如下步骤：
[0016]步骤1：确定最优卸载方案。
[0017]本专利技术将工业互联网中的数据处理和计算建模为计算任务。不同的任务可能有不同的特点，例如时延要求、成本要求和可靠性要求等。假设工业互联网网络由各种工业互联网设备以及M个边缘盒子组成，这些边缘盒子的集合记为m。卸载任务到达边缘盒子之后，根据先来后到进行排队，对于一些轻量级的任务，边缘盒子可以将其处理完并返回结果，而不需要云计算系统参与，从而节省了时间和通信成本。对于一些需要更多资源的任务，边缘盒子则将这些任务传送到云计算系统进行处理。这样边缘盒子在边缘设备和云计算系统之间中转数据，从而提高整个系统的效率和性能。
[0018]由于每个边缘盒子都被建模为一个排队系统，边缘盒子当前的服务状态可能会影响完成以下任务的时间成本。为了高效地选择卸载目标服务器，各任务在时间帧中所采取的卸载策略取决于当前网络的特征以及帧中的服务器状态。
[0019]本专利技术所提出的最优任务卸载问题在任务延迟约束下使卸载系统的效用最大化，可以将其表示为马尔可夫决策过程，并在马尔可夫决策方法中求解。
[0020]步骤2：基于冗余算法的可靠卸载方法。
[0021]虽然基于深度q学习的方案提供了一种最优的任务卸载方式，但任务文件传输失败会严重影响卸载效率。工业互联网设备可以在不同的频谱上工作，并支持多种通信模式。由于各个设备之间的通信可能使用相同的频谱资源，并在它们之间造成严重干扰。可能会在文件传输过程中突然被其余工业互联网设备新生成的任务占用。干扰可能会危及任务传输甚至中断卸载过程。
[0022]无同信道干扰的通信的最大距离可计算为：
[0023][0024]其中p
v
表示工业互联网设备的发射功率，γ
min
为接收端在能解码接收数据的前提下的最小信噪比。给定静态网络拓扑结构和频谱资源分配，本专利技术可以得到信噪比不小于γ
min
的可行通信对。L0和α分别为参考单位距离下的路径损耗和路径损耗指数。假设工业互联网设备分布的密度为ρ，各个设备生成卸载任务的可能性为P
g
，那么两设备之间的平均距离近似为：
[0025][0026]其中距离缩减d
′
满足：
[0027]d
′
＞lnβ/2(1
‑
P
g
)ρ
[0028]β表示缩减系数，该系数为整数且远小于1。
[0029]考虑到计算任务需要在其延迟约束下完成，本专利技术将其任务文件传输在给定的时间阈值内完成定义为可靠链路。对于i类任务，时间阈值为因此，传输类型i任务的可靠性定义如下：
[0030][0031]其中为第i类任务在第m个服务器上的工业互联网传输任务的总耗时，表示第i类任务的最大时延，表示任务在第m个服务器中的等待时间，W
m
表示服务器m的计算能力，g
i
表示任务i所需要的计算量。
[0032]为了满足卸载任务对于可靠性的要求，需要满足Pr
i
≥θ，其中θ表示第i类任务的卸载可靠性阈值。本专利技术设计一种冗余卸载算法来满足Pr
i
≥θ的可靠性要求。在工业互联网场景中，工业互联网设备将第i类任务卸载到第m个服务器时存在多条链路，从单个任务的角度出发，忽略多个冗余传输之间的干扰，为保证可靠性，链路的个数需要满足：
[0033][0034]但是，在卸载系统中，可能会同时生成多个任务。在同一时间框架内位于一个区域的工业互联网设备上生成的任务的平均数量将为
[0035][0036]其中k为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的智慧工厂冗余卸载方法，其特征在于，所述方法工业互联网设备卸载任务到达边缘盒子之后，根据先来后到进行排队，对于一些轻量级的任务，边缘盒子将其处理完并返回结果，对于一些需要更多资源的任务，边缘盒子则将这些任务传送到云计算系统进行处理，对于卸载到云服务器的部分任务，为了使在任务延迟约束下使卸载系统的效用最大化，使用马尔可夫决策方法确定最优卸载方案，通过服务器状态以及各工业互联网设备的相关信息，确定时间阈值和可靠性，从而确定冗余卸载的上界和下界，采用搜索的方法来获得最优的冗余传输路径数。2.根据权利要求1所述的一种基于深度强化学习的智慧工厂冗余卸载方法，其特征在于，所述方法包括：各任务在时间帧中所采取的卸载策略取决于当前网络的特征以及帧中的服务器状态，每个边缘盒子都被建模为一个排队系统。3.根据权利要求1所述的一种基于平面分离的车辆大数据边缘计算卸载方法，其特征在于，所述方法通过服务器状态以及各工业互联网设备的相关信息，确定时间阈值和可靠性，包括：考虑到计算任务需要在其延迟约束下完成，我们将其任务文件传输在给定的时间阈值内完成定义为可靠链路，对于i类任务，时间阈值为传输类型i任务的可靠性定义如下：其中为第i类任务在第m个服务器上的工业互联网传输任务的总耗时，表示第i类任务的最大时延，表示任务在第m个服务器中的等待时间，W
m
表示服务器m的计算能力，g
i
表示任务i所需要的计算量；为了满足卸载任务对于可靠性的要求，需要满足Pr
i
≥θ，其中θ表示第i类任务的卸载可靠性阈值。4.根据权利要求1所述的一种基于平面分离的车辆大数据边缘计算卸载方法，其特征在于，所述方法包括车联网设...

【专利技术属性】
技术研发人员：徐卓然，隋萌琪，李龙泽，刘同，潘晨悦，史心玥，仇韵雯，孙文雪，
申请(专利权)人：南京邮电大学，
类型：发明
国别省市：