基于强化学习的可见光异构网络通信资源分配方法及系统技术方案

本发明专利技术公开了基于强化学习的可见光异构网络通信资源分配方法，具体按照以下步骤实施：在资源块之间构建切换开销模型；采用智能体确定每个静态周期下的资源块分配策略，并构建考虑切换开销模型的奖励函数，求解对未来奖励的期望和；寻找不同分配策略下奖励函数的最优解，根据最优解分配可见光异构网络通信资源；充分考虑

【技术实现步骤摘要】
基于强化学习的可见光异构网络通信资源分配方法及系统


[0001]本专利技术通信网络
，具体涉及基于强化学习的可见光异构网络通信资源分配方法，还涉及基于强化学习的可见光异构网络通信资源分配系统
。

技术介绍

[0002]无线数据传输需求的快速增长导致无线频谱资源日益紧张
。
尽管已经采取了多种措施来提高无线频谱资源的利用率，但现有资源仍然不足，限制了通信的发展
。
因此，可以通过在寻求更优越的技术同时，寻找更高的且不受限制的带宽资源来突破这一瓶颈
。
可见光通信技术使用丰富的可见光波段频谱资源，解决了传统无线射频频谱资源短缺的问题
。
与无线射频通信相比，无需申请频谱的使用，具有更高的带宽；同时兼顾照明与通信，成本低，安装方便；拥有更高的安全性，不受电磁干扰的影响，适用的场景更广泛
。
[0003]虽然可见光通信技术有许多传统通信技术不具备的优点，但其作为单一通信系统也存在缺点，如覆盖范围小
、
无绕射能力等
。
为了解决这些问题，研究者提出了将可见光通信技术与其他通信方式组成异构网络的方案，以构建一个容量大
、
传输快
、
时延低
、
安全性高
、
可靠性强的通信系统
。
研究者已证明，将
VLC
与
WiFi
组成的异构网络，相比单一网络能显著提高系统的吞吐量
。
[0004]WiFi
通信技术的通信范围虽然广，但是由于使用的无线频段是有限的，因此当多个设备同时接入时，会出现信道容量不足的问题，导致通信速率下降
。
[0005]而现有的对
VLC
异构网络进行资源分配技术还存在某些缺点如：
[0006]传统资源分配优化算法：传统资源分配算法需要对大量方案进行计算和优化，计算复杂度高，需要较高的计算能力和时间
。
其不能很好地适应可见光通信中复杂的信道环境和用户需求，易受到干扰和衰减等影响，从而影响数据传输的可靠性和性能
。
传统算法可能无法有效地协调和处理多个用户之间的资源竞争，导致数据传输的效率和性能下降
。
[0007]Dsatur
算法：算法的优化能力相对较低，不能对系统的性能和效率进行全面的优化和调整
。Dsatur
算法的过程涉及到图的建立
、
分析和优化等多个方面，需要一定的算法和数学基础，实现过程比较复杂
。
[0008]基于接收信号强度
(Received Signal Strength,RSS)
的资源分配算法：
RSS
算法需要使用较为精确的接收器和传感器等硬件设备，从而对硬件的要求较高，可能会增加系统的成本和复杂度
。
利用贪婪的思想只能针对单个用户找到最优的分配，但是对于整个系统而言必定不是最优的方案，需要进行权衡，最终得到的分配方案容易陷入局部最优的情况
。
无法很好地协调和处理多个用户之间的资源竞争，从而影响数据传输的效率和性能
。
[0009]穷举搜索：当问题规模较大时，穷举法需要枚举的数量会呈指数级增长，从而导致计算复杂度过高，难以在实际应用中使用
。

技术实现思路

[0010]本专利技术的目的是提供基于强化学习的可见光异构网络通信资源分配方法，能够在
可见光通信的多用户场景下考虑全局最优分配，更好地协调和处理多个用户之间的资源竞争，实现网络吞吐量的最大化
。
[0011]本专利技术的另一目的是提供基于强化学习的可见光异构网络通信资源分配系统
。
[0012]本专利技术所采用的第一个技术方案是，基于强化学习的可见光异构网络通信资源分配方法，具体按照以下步骤实施：
[0013]步骤
1、
在资源块之间构建切换开销模型；
[0014]步骤
2、
采用智能体确定每个静态周期下的资源块分配策略，并构建考虑切换开销模型的奖励函数，求解对未来奖励的期望和；
[0015]步骤
3、
寻找不同分配策略下奖励函数的最优解，根据最优解分配可见光异构网络通信资源
。
[0016]本专利技术的特点还在于：
[0017]步骤1中资源块之间构建切换开销模型包括在同一通信系统内部的资源块之间切换产生的水平开销
η
HHO
和在不同通信系统之间发生切换产生的垂直开销
η
VHO
。
[0018]步骤1具体过程为：
[0019]步骤
1.1、
将通信系统的接入点表示为：
AP
＝
{WiFi
，
VLC(1),VLC(2),
…
,VLC(l)}
，所有可接入资源块表示为
[0020]步骤
1.2、
将
κ
t
‑1和
κ
t
表示为用户
μ
上一时刻和现在分别连接的资源块，对于
VLC
异构网络中的每个资源块
κ
，切换开销模型表示为：
[0021][0022]c
μ
,
κ
∈{0,1}
表示用户
μ
是否连接上资源块
κ
，并且需要满足约束条件
。
[0023]约束条件为：
[0024]每个接入点的接入能力有限，因此该接入点的接入不能超过其能力的上限，对每一个接入点有：
[0025][0026]在资源紧张的条件下，每个用户所获得的资源块不能超过本身的需求量，因此对每一个用户
μ
有，
[0027][0028]在考虑切换开销后，当前时刻下用户
μ
所占用的资源块总数为：
[0029][0030]步骤2具体过程为：
[0031]步骤
2.1、
定义状态空间
S
，
t
时刻状态
s
t
＝
{
ξ1,
ξ2,...,
ξ
κ
}∈S
详细地记录当前状态下，在迭代过程中不同的用户
、
接入点
、
资源块的连接状态，其中
ξ
κ
∈{0,
μ
}
表示资源块
κ
没有接入任何用户或是服务于用户
μ
，由于连接的情况非常多，所以起初状态空间是空集；
[0032]步骤
2.2、
定义行为空间
A
，每一次迭代前都会初始化行为空间的维度为...

【技术保护点】

【技术特征摘要】
1.
基于强化学习的可见光异构网络通信资源分配方法，其特征在于，具体按照以下步骤实施：步骤
1、
在资源块之间构建切换开销模型；步骤
2、
采用智能体确定每个静态周期下的资源块分配策略，并构建考虑切换开销模型的奖励函数，求解对未来奖励的期望和；步骤
3、
寻找不同分配策略下奖励函数的最优解，根据最优解分配可见光异构网络通信资源
。2.
根据权利要求1所述基于强化学习的可见光异构网络通信资源分配方法，其特征在于，步骤1中所述资源块之间构建切换开销模型包括在同一通信系统内部的资源块之间切换产生的水平开销
η
HHO
和在不同通信系统之间发生切换产生的垂直开销
η
VHO
。3.
根据权利要求2所述基于强化学习的可见光异构网络通信资源分配方法，其特征在于，步骤1具体过程为：步骤
1.1、
将通信系统的接入点表示为：
AP
＝
{WiFi
，
VLC(1),VLC(2),
…
,VLC(l)}
，所有可接入资源块表示为步骤
2、
将
κ
t
‑1和
κ
t
表示为用户
μ
上一时刻和现在分别连接的资源块，对于
VLC
异构网络中的每个资源块
κ
，切换开销模型表示为：
c
μ
,
κ
∈{0,1}
表示用户
μ
是否连接上资源块
κ
，并且需要满足约束条件
。4.
根据权利要求3所述基于强化学习的可见光异构网络通信资源分配方法，其特征在于，所述约束条件为：每个接入点的接入能力有限，因此该接入点的接入不能超过其能力的上限，对每一个接入点有：在资源紧张的条件下，每个用户所获得的资源块不能超过本身的需求量，因此对每一个用户
μ
有，在考虑切换开销后，当前时刻下用户
μ
所占用的资源块总数为：
5.
根据权利要求1所述基于强化学习的可见光异构网络通信资源分配方法，其特征在于，步骤2具体过程为：
步骤
2.1、
定义状态空间
S
，
t
时刻状态
s
t
＝
{
ξ1,
ξ2,...,
ξ
κ
}∈S
详细地记录当前状态下，在迭代过程中不同的用户
、
接入点
、
资源块的连接状态，其中
ξ
κ
∈{0,
μ
}
表示资源块
κ
没有接入任何用户或是服务于用户
μ
，由于连接的情况非常多，所以起初状态空间是空集；步...

【专利技术属性】
技术研发人员：罗柳君，白勃，张晓薇，韩国庆，苑振博，尚韬，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：