一种在线学习的并行边缘计算方法技术

一种在线学习的并行边缘计算方法，任务迁移传输机制在其他因素相同的情况下，任务时延有着较大提升。取得这样结果的因素有许多，本文的策略提出了多路径传输，三条路径并发进行任务传输，从理论逻辑层面就可以取得较好效果；实验验证的设备可以基于多臂老虎机算法策略不断与环境交互，调整接入网络配置，使得挑选当前情况下最优解决路径解决方案，保证任务时延始终维持在较低的数值范围，从而达到了降低任务时延，提高服务质量，提升用户体验的目标。标。

【技术实现步骤摘要】
一种在线学习的并行边缘计算方法


[0001]本专利技术涉及无线网络接入管理及数据迁移技术(边缘计算设备)领域，具体涉及一种在线学习的并行边缘计算方法。

技术介绍

[0002]解决问题5G时代来临，更加立体的无线覆盖网络逐渐形成，几十年的发展逐渐形成多种无线网络和各类无线接入技术，这就形成异构无线网络，网络融合趋势亦愈发强烈。信息时代大爆炸，单个无线网络路径数据迁移已经无法正常满足人们的日常工作需要，云计算投入商业运营十多年间，逐渐形成的异构无线网络不断挑战高速无线网络的传输极限，大量瞬时并发访问使得云计算中心网络成本与计算成本急剧增加，并且云计算中心在现实中物理路径与拓扑路径远离用户侧，对例如图像识别等低延迟、高可靠的任务进行迁移云计算并不是最好的选择，利用边缘计算将任务迁移至边缘侧计算设备更符合问题要求。如今现有针对异构无线网络路径选择问题的文献有两种问题，一是注重在网络属性的决策，基于单一或多网络属性决策的路径选择策略，基于博弈论、模糊神经网络等算法的路径选择策略，这些研究缺少对任务要求的考虑；二是路径选择的考虑为单路径，缺少多路并发传输的研究。
[0003]基于上面所陈述的目前现有相关技术与人们日常工作需要之间的矛盾，我们将研究内容拓展到网络融合后的异构无线网络环境当中，在这样的网络环境下，各类网络相互覆盖，这样的混合型网络更加复杂，动态性大大提升，现有的多路径传输机制在流量变化高速传输的无线网络中面临新的挑战，由于网络中数据传输具有随机性，不同的路径传输数据有着不同的时变属性，诸如往返时间、可用带宽或丢包率，忽略这些属性去随机选择介入路径会大大降低任务迁移的性能时效。因此，我们面临着两方面的问题，一方面，没有任何先验数据，无法预设最佳路径规划；另一方面，属性的不断变化也提高了选择最佳长期奖励路径的难度。若使用Q
‑
learning解决问题，其中核心的Markov仍需构建状态转移矩阵，在动态适应性方面存在欠缺，对最优路径的选取拟合速度较慢，因此我们采用的解决方式为使用无状态的多臂老虎机算法。多臂老虎机算法旨在解决一组游戏机中的选择问题，我们将解决方法进行扩展，对路径的选择实现并发三条路径传输，实现多路径任务迁移路径传输机制。
[0004]本文提出基于多臂老虎机算法的多路径任务迁移传输机制策略。以多臂老虎机算法为基础实现对现实情况的考虑并选择最优策略。本文以任务时延作为评价标准，力求时延较低，通过本文提出的机制，选取最优策略进行任务迁移。我们着力于任务复杂度、网络接入状态和边缘侧高性能设备的计算能力，我们也将网络接入状态细分为延迟、丢包和抖动，共同作用于本文机制。以上三种属性作为强化学习的奖励反馈到机制中。我们以JETSON TX2作为用户设备，并采用基于YOLOv3图像识别作为任务模型，并通过实验进行验证。
[0005]目前关于无线网络数据迁移传输问题，在一个移动设备上，只能实现同时只有一种无线网络在完成任务，因此本文的主要贡献是提出了基于多臂老虎机算法的多路径任务
迁移传输机制策略。我们的机制对任务复杂度、网络接入状态和边缘测高性能设备进行了深入研究，并适用于边缘计算环境中，根据我们的机制可以解决边缘计算在异构无线网络中进行任务迁移的路径传输选择问题。

技术实现思路

[0006]为了克服上述现有技术的不足，本专利技术的目的是提供一种在线学习的并行边缘计算方法，多臂老虎机算法的核心步骤为动作选择逻辑的设定，通过不同的方法策略实现对动作进行选择，以获取最大收益。
[0007]为了实现上述目的，本专利技术采用的技术方案是：
[0008]一种在线学习的并行边缘计算方法，包括以下步骤：
[0009]1)首先需要构建一个多址接入边缘计算环境，用户通过异构无线网络选择三个不同的接入方式与边缘端完成数据传输；
[0010]2)对于每个网络接入方式，测量其初始网络的延迟、丢包和抖动数据，将结果发送至用户端；
[0011]3)对于用户端，获得当前边缘计算任务的复杂度信息，并根据预设边缘侧计算能力，结合步骤2)的网络状态信息，根据基于多臂老虎机算法的多路径传输机制选择三种接入网络完成任务迁移；
[0012]4)4)ε
‑
Greedy的多臂老虎机算法的多路径传输机制初始化，选入三条路径，建立期望奖励估计表，设定探索率为ε，首先根据初始状态计算奖励数据，作为每个摇臂的初始值，每次选取网络路径的过程中：
[0013](1)分别产生服从0到1之间均匀分布的随机数Net_first、Net_second、Net_third；
[0014](2)如果Net_first、Net_second、Net_third大于探索率ε的话，分别选择当前最大的第二大的以及个值大小仅次于前面两个的所对应的那个摇臂进行操作；否则随机选择一个摇臂进行操作；
[0015](3)每次操作完一个摇臂，收集操作反馈的奖励数据，同时更新三条路径所对应的期望奖励估计表；
[0016]5)通过多路径传输机制选择三种路径接入网络，用户端通过所选接入网络完成任务迁移；
[0017]6)每次选择完成后，实时获取最新的网络状态信息，传输至用户端更新多路径传输机制，以便下次任务迁移的选择。
[0018]7)每一轮步骤完成过后对机制进行一次更新完善，用户可以通过动态调优的方法机制完成任务迁移，有效保证时效性。
[0019]所述的步骤4)中ε
‑
Greedy策略原理初始化的步骤如下：
[0020](1)通过所选择的随机生成算法，产生服从0到1之间均匀分布的随机数Net_first、Net_second、Net_third分别对应三条路径。
[0021](2)根据检测所选入网络状态，边缘计算能力，任务复杂度进而更新初始化期望奖励估计表。设定探索率explore_rate为0.1，定义期望奖励估计表的初始化及更新机制如
下：
[0022]首先将每个摇臂的期望奖励估计值初始化为0：
[0023]expe_rew_est
i
＝0(i＝1,2,...,k)
[0024]选择期望估计值最大的摇臂best_arm，对其期望奖励估计值进行更新操作：
[0025][0026]其中，expe_rew_est
best_arm
表示第best_arm个摇臂当前操作次数，best_arm_rew表示当前收集反馈的奖励数据。
[0027]本专利技术的有益效果是：
[0028]本文提出的基于ε
‑
Greedy策略实现多臂老虎机算法的多路径任务迁移传输机制在其他因素相同的情况下，任务时延有着较大提升。取得这样结果的因素有许多，本文的策略提出了多路径传输，三条路径并发进行任务传输，从理论逻辑层面就可以取得较好效果；实验验证的设备可以基于多臂老虎机算法策略不断与环境交互，调整接入网络配置，使得挑选当前情况下最优解决路径解决方案，保证任务时延始终维持本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种在线学习的并行边缘计算方法，其特征在于，包括以下步骤：1)首先需要构建一个多址接入边缘计算环境，用户通过异构无线网络选择三个不同的接入方式与边缘端完成数据传输；2)对于每个网络接入方式，测量其初始网络的延迟、丢包和抖动数据，将结果发送至用户端；3)对于用户端，获得当前边缘计算任务的复杂度信息，并根据预设边缘侧计算能力，结合步骤2)的网络状态信息，根据基于多臂老虎机算法的多路径传输机制选择三种接入网络完成任务迁移；4)基于ε
‑
Greedy的多臂老虎机算法的多路径传输机制初始化，选入三条路径，建立期望奖励估计表，设定探索率为ε，首先根据初始状态计算奖励数据，作为每个摇臂的初始值，每次选取网络路径的过程中：(1)分别产生服从0到1之间均匀分布的随机数Net_first、Net_second、Net_third；(2)如果Net_first、Net_second、Net_third大于探索率ε的话，分别选择当前最大的第二大的以及个值大小仅次于前面两个的所对应的那个摇臂进行操作；否则随机选择一个摇臂进行操作；(3)每次操作完一个摇臂，收集操作反馈的奖励数据，同时更新三条路径所对应的期望奖励估计表；5)通过多路径传输机制选择三种路径接入网络，用户端...

【专利技术属性】
技术研发人员：郑杰，郭子正，朱海荣，梁雨昕，刘艺，高岭，王海，马于惠，
申请(专利权)人：西北大学，
类型：发明
国别省市：