基于深度强化学习的移动无线供能物联网资源分配方法组成比例

本发明专利技术公开了一种基于深度强化学习的移动无线供能物联网资源分配方法，在时隙的控制阶段，混合接入点在接收到接收范围内所有的物联网节点发送的包含自身当前剩余能量和数据包数量的状态信息后，基于深度强化学习得到资源分配信息，混合接入点把资源分配信息通过控制信道广播给接收范围内所有的物联网节点。在时隙的数据传输阶段，收到来自混合接入点的广播数据后，根据自身的信道获得情况选择是否发送数据。在时隙的能量捕获阶段，物联网节点进行能量捕获。混合接入点通过当前时隙获得的物联网节点的状态信息、资源分配结果和吞吐量训练深度强化学习。本发明专利技术增加了网络资源的利用率，达到节能并提高无线供能物联网总吞吐量的目的。目的。目的。

【技术实现步骤摘要】
基于深度强化学习的移动无线供能物联网资源分配方法


[0001]本申请属于无线传输
，尤其涉及一种基于深度强化学习的移动无线供能物联网资源分配方法，是无线供能物联网中节点之间的资源分配方式。

技术介绍

[0002]目前，随着物联网设备数量的增长，网络资源稀缺成为了移动无线供能物联网的关键问题。为了缓解网络资源稀缺的问题，深度强化学习被认为是一种可以合理分配网络资源并提高网络吞吐量的方法而被广泛应用。在移动无线供能物联网中，物联网节点会先捕获能量并将捕获的能量存储到电池中，当物联网节点有通信需求且能量充足时，会利用捕获到的能量进行数据传输，并且在该物联网系统中，物联网节点在每个时隙都会移动，且位置移动服从特定的数学规律。在移动无线供能物联网中，由于合理分配网络资源可以延长物联网节点的工作时间并提高网络吞吐量，因此网络资源的合理分配是值得考虑的重要问题。此外，随着时隙长度的增加，合理分配网络资源的难度也会随之上升。对于一个长期的资源分配问题，由于在每个时隙都需要分配资源并且时隙是连续的，这使得每个时隙的资源分配是相关的，又由于时隙数量是离散的，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的移动无线供能物联网资源分配方法，其特征在于，所述移动无线供能物联网包括物联网节点和混合接入点，每个时隙包括控制阶段和传输阶段，其中传输阶段包括数据传输阶段和能量捕获阶段，所述基于深度强化学习的移动无线供能物联网资源分配方法，包括：在所述控制阶段，混合接入点在接收到接收范围内所有物联网节点的状态信息后，基于训练好的深度强化学习网络得到资源分配信息，混合接入点将资源分配信息通过控制信道发送给接收范围内所有的物联网节点；在所述数据传输阶段，物联网节点在收到资源分配信息后，进行数据解析，获取与自身相关的数据发送时间、能量捕获时间、发送功率和信道获得情况，并查看自身的信道获得情况；若物联网节点查看自身的信道获得情况为获得数据传输信道，那么该物联网节点使用从混合接入点接收到的数据发送时间和发送功率传输数据；若物联网节点查看自身的信道获得情况为未获得数据传输信道，那么该物联网节点设置数据发送时间为零，并将能量捕获时间设置为整个传输阶段；在所述能量捕获阶段，获得数据传输信道的物联网节点在数据传输阶段结束后，根据能量捕获时间进行能量捕获，未获得数据传输信道的物联网节点直接进行能量捕获直到能量捕获阶段结束。2.根据权利要求1所述的基于深度强化学习的移动无线供能物联网资源分配方法，其特征在于，所述混合接入点在接收到接收范围内所有物联网节点的状态信息后，基于训练好的深度强化学习网络得到资源分配信息，包括：混合接入点通过控制信道发送唤醒数据给接收范围内所有的物联网节点，当物联网节点接收到该唤醒数据时，将状态信息通过控制信道发送给混合接入点；混合接入点在接收到接收范围内所有的物联网节点的状态信息后，通过信道估计获得接收范围内所有的物联网节点的信道增益状态，将物联网节点的状态信息和对应的信道增益状态合并，并将该合并后的状态输入训练好的深度强化学习网络，得到物联网节点的资源占比情况，包括接收范围内所有的物联网节点的当前数据发送时间占比和当前剩余能量的使用占比，其中当前剩余能量的使用占比表示物联网节点当前发送数据消耗的能量和物联网节点当前剩余能量的比值；混合接入点通过接收范围内的物联网节点的数据发送时间占比与传输阶段的时间得到接收范围内的物联网节点的数据发送时间；所述传输阶段的总时间与数据发送时间的差值为能量捕获时间；混合接入点通过接收范围内的物联网节点的当前剩余能量的使用占比、当前剩余能量和数据发送时间得到接收范围内的物联网节点的发送功率；混合接入点通过接收范围内的物联网节点的发送功率和数据发送时间得到可实现的吞吐量，同时通过接收范围内的物联网节点的数据包数量与数据发送时间得到需要实现的吞吐量，两者吞吐量取较小值得到接收范围内的物联网节点的可达到的实际吞吐量；混合接入点从大到小排序接收范围内的物联网节点的实际吞吐量，选取前K个物联网节点分配数据传输信道，其余的物联网节点不分配数据传输信道；将所述数据发送时间、能量捕获时间、发送功率和信道获得情况定义为资源分配信息。
3.根据权利要求1所述的基于深度强化学习的移动无线供能物联网资源分配方法，其特征在于，所述的基于深度强化学习的移动无线供能物联网资源分配方法，还包括：在每个时隙结束时，所述物联网节点根据预设规律进行移动，并根据泊松过程生成数据包。4.根据权利要求3所述的基于深度强化学习的移动无线供能物联网资源分配方法，其特征在于，无线供能物联网的覆盖区域被分为M个环形区域，所述物联网节点根据预设规律进行移动，包括：物联网节点根据公式(1)
‑
(2)进行移动，(2)进行移动，其中，表示第m个环的外半径，表示物联网节点的分布密度，表示第m
‑
1个环的外半径，∈表示不均匀程度，表示概率密度函数，表示在第m
‑
1个环上的面积分，表示在第m个环上的面积分，表示概率函数以及O
m
表示圆环m，朝圆心表示物联网节点朝着圆心的方向向圆内移动，朝圆外表示物联网节点朝着圆心的反方向向圆外移动，顺时针表示物联网节点朝着与圆半径垂直的顺时针方向移动，逆时针表示物联网节点朝着与圆半径垂直的逆时针方向移动。5.根据权利要求1所述的基于深度强化学习的移动无线供能物联网资源分配方法，其特征在于，所述的基于深度强化学习的移动无线供能物联网资源分配方法，还包括，训练所述深度强化学习网络；所述训练深度强化学习网络，包括：步骤1：初始化深度强化学习网络参数，包含策略网络参数θ
a
、价值网络参数θ
c
、目标策略网络参数θ'
a
...

【专利技术属性】
技术研发人员：郑可琛，罗荣伟，刘晓莹，李晓东，池凯凯，
申请(专利权)人：浙江工业大学，
类型：发明
国别省市：