一种基于历史强化学习的车联网负载均衡接入方法技术

本发明专利技术提供了一种基于历史强化学习的车联网负载均衡接入方法，首先通过初始强化学习模块获得车辆的接入基站分配模式，并不断地积累于接入模式积累库中；经过学习积累，令历史强化学习模块代替初始强化学习模块持续在系统中驻留运行，当基站再次遇到网络变化时，历史强化学习模块调用接入模式积累库中的历史记录，自适应地学习出新的车辆接入分配模式，并记录，形成一个自适应处理网络动态变化的运行环，从而在动态变化的车联网环境中，保证车辆接入的网络负载均衡。本发明专利技术利用交通流的时空分布潜在规律性，从与环境迭代反馈中，学习和利用历史负载均衡的车辆接入时空经验，从而在动态环境中持续获得能保证网络负载均衡的车辆接入基站分配方案。

A load balanced access method based on historical reinforcement learning in vehicle network

The invention provides a history of reinforcement learning method based on vehicle network load balancing access, first through the initial reinforcement learning module obtains access base station distribution mode of the vehicle, and continue to accumulate in the accumulation of access mode of library; after learning, reinforcement learning makes history module to replace the initial reinforcement learning module continuous operation resides in the system. When the base station again when the network changes, the history of reinforcement learning module call access mode in the library history accumulation, adaptive learning vehicle access allocation model, and a new record, forming a ring network adaptive operation of dynamic change, and dynamic changes in the car networking environment, to ensure balanced load vehicle access network. The invention utilizes the potential regularity of the traffic flow distribution and learning from the iterative feedback of environment to learn and use the historical load balancing vehicle's access to spatio-temporal experience, so as to continuously obtain the vehicle access base station allocation scheme that can ensure the network load balance in dynamic environment.

【技术实现步骤摘要】
一种基于历史强化学习的车联网负载均衡接入方法
本专利技术涉及车联网网络负载均衡
，尤其涉及一种基于历史强化学习的车联网负载均衡接入方法。
技术介绍
随着车联网的发展，越来越多的车辆在网络中需要接入异构基站，这些异构基站在发射功率、物理尺寸和建设成本上均有不同。在一个城市中，这些接入需求有很大差异，如在交通密集区域，车辆接入基站的需求比交通稀疏区域的需求要大很多。在传统的最大SINR(SignaltoInterferenceplusNoiseRatio)方案下，功率较强的基站可以吸引更多的车辆接入，即使在交通密集区域部署了很多功率低的基站，大多数车辆仍然从功率较强基站接收到强的下行链路信号，这便会导致功率较强的基站负载过重，而功率较小的基站基本空闲。同样对于车辆而言，即使他们接入功率较强的基站，所能得到的服务速率也会很差，因为强基站服务了太多的接入车辆。因此，车联网需要一个负载均衡的接入方法。但是，目前流行的优化技术，如梯度下降、拉格朗日乘子法等只适用于移动用户流量稳定的场景下，他们假设信道质量是稳定的，这些方法通常采用均匀泊松点过程(PPP)对系统中的用户，即车辆，的位置进行建本文档来自技高网...

【技术保护点】
一种基于历史强化学习的车联网负载均衡接入方法，其特征在于，步骤为：步骤1：首先，通过初始强化学习模块获得车辆的接入基站分配模式，所述接入基站分配模式随着时间推移，作为经验，不断的积累于每个基站的接入模式积累库中；步骤2：经过设定时间的学习积累，令历史强化学习模块代替初始强化学习模块持续在系统中驻留运行，当基站再次遇到网络变化时，历史强化学习模块调用所述接入模式积累库中的历史记录，自适应地学习出新的车辆接入分配模式；步骤3：新的车辆接入分配模式在每个基站的接入模式积累库中再次被记录，形成一个自适应处理网络动态变化的运行环，从而在动态变化的车联网环境中，保证车辆接入的网络负载均衡。

【技术特征摘要】
1.一种基于历史强化学习的车联网负载均衡接入方法，其特征在于，步骤为：步骤1：首先，通过初始强化学习模块获得车辆的接入基站分配模式，所述接入基站分配模式随着时间推移，作为经验，不断的积累于每个基站的接入模式积累库中；步骤2：经过设定时间的学习积累，令历史强化学习模块代替初始强化学习模块持续在系统中驻留运行，当基站再次遇到网络变化时，历史强化学习模块调用所述接入模式积累库中的历史记录，自适应地学习出新的车辆接入分配模式；步骤3：新的车辆接入分配模式在每个基站的接入模式积累库中再次被记录，形成一个自适应处理网络动态变化的运行环，从而在动态变化的车联网环境中，保证车辆接入的网络负载均衡。2.如权利要求1所述的一种基于历史强化学习的车联网负载均衡接入方法，其特征在于：所述初始强化学习模块，在系统运行一开始，通过基于价格和奖励的动态迭代调整网络负载均衡，得出接入基站分配模式。3.如权利要求1所述的一种基于历史强化学习的车联网负载均衡接入方法，其特征在于：所述历史强化学习模块，在初始强化学习模块运行设定时间并有经验积累后，直接利用积累的历史经验，学习相似性，发掘接入特征，并按接入特征学得匹配的车辆接入分配模式。4.如权利要求2所述的一种基于历史强化学习的车联网负载均衡接入方法，其特征在于：所述初始强化学习模块依据资源供求差来计算接入基站的价格，并以此来得出决策值；通过与环境的不断交互、学习、接收奖励反馈，来强化迭代出合适的接入决策；并以车辆号、基站号、供求价格、接入标识符、接入车辆的可达速率来存储接入决策。5.如权利要求4所述的一种基于历史强化学习的车联网负载均衡接入方法，其特征在于：所述初始强化学习模块的具体流程如下：步骤1：定义基站的编号/标号为j，车辆的编号/标号为i；每个基站j，根据当前其所能提供的资源Kj(t)和需要接入基站的车辆所需求的资源Dj(t)，计算出每个基站当前的价格μj(t)＝Dj(t)-Kj(t)；步骤2：每个基站计算一个决策值dij(t)，决策值为当前车辆i连接基站j的可达速率cij(t)与价格μj(t)的差值；每个基站将决策值广播至所有车辆；步骤3：每辆车选择最佳决策值argmaxjdij(t)，即选出一个基站，并把该拟接入的决定通知该基站；步骤4：基于步骤3，每个基站可收集到想与之接入的车辆集合，由此计算该基站所能获得的即刻奖励rj(t)，即刻奖励定义为：所有用户的服务速率与平均服务速率偏差的倒数；步骤5：根据步骤4，每个基站计算长期平均累计奖励反馈Qj(t)；步骤6：每个基站调整价格值，调整依据如下：如果当前基站j的即刻奖励rj(t)高于所有基站的平均即刻奖励，那么保持价格不变，即μj(t+1)＝μj(t)；否则，如果该基站所能提供的平均整体服务速率高于网络平均水平，则降低价格值为μj(t+1)＝(1-δ(t))·μj(t)；其中，δ(t)∈[0，1)是一个动态步长；如果该基站所能提供的平均整体服务速率低于网络平均水平，则将价格值增加为μj(t+1)＝(...

【专利技术属性】
技术研发人员：蒋昌俊，李重，李德敏，任佳杰，齐诚嗣，
申请(专利权)人：东华大学，
类型：发明
国别省市：上海,31