一种基于深度强化学习的无线体域网任务卸载与资源分配方法组成比例

本发明专利技术属于无线体域网边缘计算技术领域，公开了一种基于深度强化学习的无线体域网任务卸载与资源分配方法。该方法在策略制定过程中考虑了传输带宽、计算能力、能量消耗和传输质量，可以看作是一个马尔可夫决策过程。因此，采用深度强化学习来优化卸载策略，并采用边缘计算技术来减轻单个WBAN的计算压力并提高其传输能力。本发明专利技术方法能有效降低能耗和计算延迟，提高WBAN效用，可被广泛应用于远程医疗、健康监测等体域网实际应用场景。康监测等体域网实际应用场景。康监测等体域网实际应用场景。

【技术实现步骤摘要】
一种基于深度强化学习的无线体域网任务卸载与资源分配方法


[0001]本专利技术涉及一种基于深度强化学习的无线体域网任务卸载和资源分配方法，属于无线通信技术范畴。

技术介绍

[0002]为了让患者和临床医生尽可能获得最好的治疗，实时医疗保健监控必不可少且至关重要。图2描绘的是无线体域网与边缘服务器构成的系统模型图。无线体域网(Wireless Body Area Network，WBAN)是一种以人体为中心，由若干个可穿戴或植入的生理传感器组成。通过感知与人体相关的生理参数，如体温、血压、心电图(ECG)信号、脑电图(EEG)信号等。这有助于推进电子医学。但是，受限于WBAN的有限的电池容量和数据处理能力，这可能会导致完成任务的延迟增加、不可靠，甚至失败，这是不可接受的，因为这些任务(例如生理数据传输、健康状况评估等)与生活有关。因此，WBAN相关研究面临的一个挑战是如何为用户提供电池寿命长、数据可靠性高、支持个性化定制的服务。
[0003]此外，移动边缘计算(MEC)作为研究主题也越来越受欢迎。MEC在移动网络边缘部署分布式计算能力，利本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.无线体域网任务卸载与资源分配的算法，包括：步骤1：输入无线体域网设备的数据和相关参数；步骤2：计算任务完成的总时间和总能耗：计算信干噪比(signal
‑
to
‑
interference
‑
to
‑
noise ratio，SINR)；计算任务数据传输速率；计算无线体域网设备任务处理的时间与能耗；计算边缘服务器任务处理的时间与能耗；计算处理任务的传输时间与能耗，并汇总计算时间与能耗数据；步骤3：制定一个最大化目标函数：根据SINR，总时延和总能耗，引入时延因子，能耗因子和SINR因子表示延迟、能耗和SINR占比；步骤4：将目标函数最大化的问题转化为马尔可夫决策过程(MDP)问题；步骤5：执行算法并输出，得到任务的最优卸载决策。2.如权利要求1所述的一种基于深度强化学习的无线体域网任务卸载与资源分配的方法，其特征在于，所述步骤1的包括输入传输数据大小D
n
、无线体域网设备和边缘服务器的相关参数等。构建一个用于通信任务卸载的无线体域网集合，包括N个WBAN和M个MEC。3.如权利要求1所述的一种基于深度强化学习的无线体域网任务卸载与资源分配的方法，其特征在于，所述步骤2如下具体步骤：步骤2
‑
1，计算系统中的信干噪比1，计算系统中的信干噪比其中表示WBAN
n
的传输功率，表示WBAN
n
的信道增益，表示来自同一个边缘服务器上的其他WBAN引起的干扰，表示来自其他边缘服务器上的WBAN引起的干扰，σ2表示为高斯白噪声。步骤2
‑
2：计算任务数据传输速率2：计算任务数据传输速率其中表示WBAN到边缘服务器MEC的信道带宽。步骤2
‑
3，当卸载率不等于1时，计算任务需要留在WBAN执行时间与能耗与能耗其中表示无线体域网的卸载率，表示任务执行需要WBAN的CPU周期，为WBAN的CPU频率。其中是WBAN的执行功率。步骤2
‑
4，当时，计算任务传输的时间与能耗与能耗与能耗本发明假设MEC服务器具有足够的计算资源。一旦服务器从WBAN收到卸载任务就立马处理它，因此无需排队等待。步骤2
‑
5，计算任务在MEC处理的时间与能耗与能耗其中，表示在MEC服务器中处理一比特数据所需的CPU周期数，其中更高的ξ
(k)
会导致更高的由于MEC服务器具有足够的供电容量，因此忽略了其能耗步骤2
‑
6，汇总任务的计算时间与能耗与能耗
4.如权利要求1所述的一种基于深度强化学习的无线体域网任务卸载与资源分配方法，其特征在于，所述步骤3根据下式计算：考虑到WBAN对延迟非常敏感且能量有限，同时还会受到干扰攻击，本发明将MEC系统的卸载和资源分配视为一个优化问题，将原本无线体域网任务卸载与资源分配的决策的问题转化为求解系统收益最大化问题，该问题具体数学表达是：P1:其中，λ1、λ2和λ3分别为和对应的常数项，根据当时系统的状况，不同的任务可能具有不同的权重，例如，如果节点电池容量较低，则应更改能耗系数以节省更多能量，如果任务延迟要求是敏感的，应调整延迟因子来减少延迟，在高干扰环境中调整SINR的加权因子来减少干扰。5.如权利要求1所述的一种基于深度强化学习的无线体域网任务卸载与资源分配的方法，其特征在于，所述步骤4具体为：本发明创建马尔可夫决策过程来解决目标函数优化问题。一个MDP由四部分组成，写成MDP＝{S，A，P，R}，其中S表示状态空间，A表示动作空间，P表示状态转移概率，R表示奖励函数。在k时刻，WBAN根据当前系统状态s
(k)
创建动作a
(k)
。在执行该操作后，状态将更改为s
(k+1)
。然后，获得一个奖励r
(k)
。步骤4
‑
1，状态空间：其中，和由MEC分配，其他由WBAN的协调器观察得到。步骤4
‑
2，动作空间：其中MEC
m
表示为边缘节点的选择，表示为传输功率，表示为卸载率。步骤4
‑
3，状态转移概率：如果随机过程表现为MDP，则其未来状态独立于任何先前...

【专利技术属性】
技术研发人员：陈英群，陈桂宏，韩少东，
申请(专利权)人：广东技术师范大学，
类型：发明
国别省市：