基于深度强化学习和区块链的分布式并行计算卸载方法技术

本发明专利技术公开了一种基于深度强化学习和区块链的分布式并行计算卸载方法，包括制定卸载策略、细粒度分配路侧单元(RSU)的计算任务并进行通信资源管理、分配传输功率、缩短时延、降低整个系统的耗时，提高服务质量；通过区块链，利用实用拜占庭故障容忍共识机制，保护用户隐私以及获取分配策略的一致性，并提高RSU间传递信息的效率；利用高空平台站(HAPS)技术，进行广泛通信覆盖，增强宽带服务；使用深度强化学习中的软演员评判家(SAC)算法，解决高维度连续动作空间优化问题，利用博弈论，综合考量用户未来产生计算请求的情况，在产生卸载策略进行分配时能得到更长远的收益，在长时间运行的情况下有更好的效果。的情况下有更好的效果。的情况下有更好的效果。

【技术实现步骤摘要】
基于深度强化学习和区块链的分布式并行计算卸载方法


[0001]本专利技术涉及车联网通信
，更具体地说，它涉及基于深度强化学习和区块链的分布式并行计算卸载方法。

技术介绍

[0002]近年来，随着汽车保有量的增加，车联网(Internet of Vehicles,IoV)应运而生，基于车用无线通信技术，车联网连接车辆用户、路侧单元(Road
‑
side Unit,RSU)、运营服务商，提供例如自动驾驶、车载娱乐、路径导航等多种服务。然而，车联网应用程序不仅会消耗更多的计算资源，而且还需要额外的计算，缓存和带宽资源(Computation,Caching and Communication，3C)。更重要的是，他们是潜伏期敏感的，虽然第五代(5G)技术已经被认为是最有希望的解决方案，但是很难快速的满足需求。第六代(6G)移动通信旨在提供全球覆盖，提高能源和成本效率，更好的智能水平和安全。为了向用户提供更好的服务，建立一个高效的，通存算一体化的计算卸载机制有重要意义。
[0003]边缘计算是一种能够较好满足车联网用户对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习和区块链的分布式并行计算卸载方法，其特征在于,所述分布式并行计算卸载方法的步骤为：S1：每个RSU范围下的车产生计算请求，RSU收集计算请求并汇总为M个计算任务，HAPS收集计算任务信息、各RSU计算资源情况、车辆对剩余计算资源的容忍度情况、功率及信道信息，建立计算通信缓存资源管理优化模型，优化目标为最小化所有任务的最大耗时；S2：HAPS对计算任务进行分配，每个计算任务被细粒度拆分，以最小化最大计算耗时为优化目标，将这些计算任务卸载到RSU及MEC服务器中，控制的限制条件为满足分配后的剩余计算资源满足车辆的容忍度；S3：HAPS对RSU和自身的功率进行控制，在通信过程中，以最小化最大通信传输耗时为优化目标，分配各环节传输功率，控制的限制条件为每个设备的最大可用总功率；S4：HAPS作为主控制器将步骤S2、S3得到的卸载策略发送至区块链系统，区块链系统采用PBFT共识机制，经过请求、预准备、车辆投票、准备、提交、回复后达成共识；S5：各RSU按照卸载策略进行任务传输和计算，在计算完成后按原路将计算结果回传给车辆用户，HAPS系统更新相应各类参数。2.根据权利要求1所述的基于深度强化学习和区块链的分布式并行计算卸载方法，其特征在于，所述分布式并行计算卸载方法的步骤S1具体步骤为：关注于一个时隙，每辆车会产生自己的计算任务并发送给临近的RSU，每个RSU将所有计算任务宏观上组合成一个总的可拆分任务，并将其信息发送给HAPS，从M个RSU生成总计M个计算任务，对一个计算任务task
j
，其中j∈{1，2，...，M}，被定义为task
j
＝<ωj，Dj，Dj
′
>的三元组，分别为该任务的计算量、传输该任务的数据量、以及该任务返回结果的数据量；HAPS收集各RSU计算资源情况、车辆对剩余计算资源的容忍度情况、功率及信道信息，建立计算通信缓存资源管理优化模型，优化目标为最小化所有任务的最大耗时：其中是每个计算任务task
i
处理的总耗时：其中是RSU上传任务信息、计算通信资源情况所消耗的时间，被认为是固定值；是HAPS生成卸载策略所消耗的时间，被认为是固定值；是整个系统通过区块链达成共识环节的耗时；是任务i实际执行并完成的耗时，为：S.tC1：C2：
C3：C4：其中T
trans，i，j
为计算任务从发起方i到计算代理j的传输延迟，T
com，i，j
为计算延迟，T
ret，i，j
返回结果延迟，这三者都取决于卸载策略的分配。限制条件中，C1代表每个RSU i∈{1，2，...，M}的功率P
i
需满足大于等于0且小于等于自身功率限制C2代表HAPS向各RSU传输数据的过程中，功率之和需大于等于0且小于等于自身功率限制C3代表分配卸载任务的比例，其中A
i，j
表示服务器i计算任务j的百分比，范围限制为[0，1]；C4代表一个任务分配给各服务器的比例和需为1。3.根据权利要求2所述的基于深度强化学习和区块链的分布式并行计算卸载方法，其特征在于，所述分布式并行计算卸载方法的步骤S2具体步骤为：所述HAPS将对每辆车的计算任务进行细粒度分配，生成M*M的二维卸载策略A
strategy
：其中A
i，j
表示服务器i计算任务j的百分比，其中i，j∈{1，2，...，M}满足每个RSU的计算消耗为计算代理j所要计算的总计算量为假设下降的系数为d，则执行计算任务后计算能力C
′
j
＝C
j
‑
dT
com，i，j
，可得：带入后问题转化为一元二次方程，求解可得在场景中，每个RSU i有N
i
辆车在其管辖范围内，对于一辆车V
i
∈N
i
，其在每个单位时间产生的计算请求服从泊松分布：其中k为[0，+∞)的整数。对于这N
i
辆车，计算请求服从混合泊松分布，其中满足正态分布车只有在认为自身连接的RSU剩余计算能力能够满足下次计算时才会投票同意，数学
表达为：其中k为[0，+∞)的整数。每辆车V
i
∈N
i
的投票情况为：其中toler是车辆v
i
对剩余计算能力的容忍程度；对于RSU来说，如果有三分之二的车同意，则认为当前同意此卸载策略，即：当HAPS生成卸载策略时，采用深度强化学习的软演员评论家算法，充分考虑对于该卸载策略每个RSU的响应，估计该响应并调整卸载策略，直到达到博弈均衡点，之后再将卸载策略发送至区块链系统；考虑RSU i单位时间计算任务的分布是范围内车辆的总和，即：其中k为[0，+∞)的整数。对于领导者HAPS，在分配卸载任务时需要考虑跟随者RSU的响应函数，它向RSU分配任务后剩余的计算资源应大于RSU计算任务的预期值，即满足剩余计算资源容忍程度tolerHAPS通过上一次通信得到的反馈结果知道每个RSU下属车辆的正态分布情况通过正态分布信息就可以满足区块链系统中需要三分之二同意这一要求；在正态分布中，因为σ原理，落在(μ
‑
σ，μ+σ)范围的概率为领导者HAPS考虑跟随者的投票反应函数，设定(μ
i
‑
σ
i
，μ
i
+σ
i
)范围能够使得vote
i
超过三分之二为1，使得当前卸载策略尽可能一次性通过，对领导者跟随者都是最佳选择，达到博弈均衡点；数学表示形式为：
4.根据权利要求1所述的基于深度强化学习和区块链的分布式并行计算卸载方法，其特征在于，所述分布式并行计算卸载方法的步骤S3具体步骤为：所述HAPS以最小化最大通信传输耗时为优化目标，分配RSU和自身各环节传输功率，控制的限制条件为每个设备的最大可用总功率；在优化问题中，传输环节，T
trans，i，j
是任务发起方i通过HAPS中转到j的上传下载耗时，其中上传速度下载速度：其中B是信道带宽，N0是信道内的高斯噪声功率，P分别是器件的传输功率，h表示信道增益；由此可得在计算完成后，T
ret，i，j
表示计算方发送结果返回任务发起方的时间，过程与传输延迟相似，方向相反，其中：似，方向相反，其中：由此可得HAPS生成功率分配矩阵A
power
，负责分配上述通信各环节HAPS和RSU通信功率P
i，up
。5.根据权利要求2或3所述的基于深度强化学习和区块链的分布式并行计算卸载方法，其特征在于，所述分布式并行计算卸载方法的步骤S4具体步骤为：所述HAPS需要生成计算卸载策略A
strategy
和功率分配矩阵A
power
；状态空间为每个时隙t下状态空间为计算任务、计算能力、信道增益的集合：S(t)＝[S
task
(t)，S
com
(t)，S
h
(t)]其中S
task
(t)是上文中所有RSU产生计算任务task
i
＝<ωj，Dj，Dj
′
>的集合；S
com
(t)是上文中所有RSU及其相连MEC服务器的计算能力C
i
的集合；S
h
(t)是上文通信过程中所有RSU各
自信道增益h...

【专利技术属性】
技术研发人员：张国斌，罗泽昊，黄湧，
申请(专利权)人：东莞理工学院，
类型：发明
国别省市：