【技术实现步骤摘要】
本专利技术属于车用无线通信，具体地说，是涉及一种基于q学习的基于交叉路口的车载自组网路由方法。
技术介绍
1、近年来，智能交通系统(itss)已成为一个热门话题。车联网(iov)是汽车互联网的重要组成部分，已成为无线网络研究的研究热点。在车辆自组网(vanets)中，车辆与其他车辆或路测单元(roadside units,rsu)共享状态信息，以促进安全驾驶决策，并通过获得基于位置的服务，改善道路安全，实现轻松的驾驶体验。
2、要在vanets中传递消息，数据包必须通过车辆到车辆(v2v)和车辆到基础设施(v2i)通信的多跳无线通信从源节点发送到目标节点。车载自组网(vanets)中的节点比移动自组网(mobile ad hoc networks,manets)中的普通节点具有更强大的设备和更强的计算能力，因此，它们有负担计算最优下一跳的任务的函数。
3、然而，车载自组网(vanets)的特性使得设计路由协议变得困难：车辆的高速移动性导致节点分布不均匀，通信链路容易断开。此外，网络结构还受到道路拓扑结构的约束。交叉路口、建筑物和障碍物可能会降低信号强度，并产生阴影效应。因此，设计一种高效、可靠的基于车载自组网(vanets)路由协议具有重要意义。
4、现有技术中，为了适应vanets的动态性质和变化的环境，在基于位置的地理路由协议中引入了分段度量和交通意识。因为车辆网络的拓扑结构受城市场景中道路和建筑的限制，所以通过评估每个交叉口相邻路段来选择最佳路径。人们选择源节点与目标节点之间的一组相交序
技术实现思路
1、本专利技术的目的在于提供一种基于q学习的基于交叉路口的车载自组网路由方法，主要解决现有车载自组网的中车辆的高速移动性导致节点分布不均匀，通信链路容易断开的问题。
2、为实现上述目的，本专利技术采用的技术方案如下：
3、一种基于q学习的基于交叉路口的车载自组网路由方法，s1，将用于与车辆通信的rsu与组网中的服务器相连并部署在交叉路口，并将rsu和车辆作为组网的网络节点；
4、s2，服务器根据路段的历史交通流信息对q学习算法进行训练得到q表，并将q表发送到交叉路口的rsu；
5、s3，服务器根据从路段两端的交叉路口的两端交叉口进入和离开路段的数据包的总量的统计信息来估计该路段的资源利用率；
6、s4，当数据包到达交叉路口时，rsu接收数据包并决定将数据包转发到对应的路段，并由该路段中的车辆接收数据包；
7、其中，rsu根据q表选择动作的逻辑为：首先选择交叉路口中四个方向的路段中q值最大的路段，再查看s3中统计的该路段的资源利用率，如果该路段的资源利用率超过设定的阈值，则选择q值第二大的路径作为要选择的路径；
8、s5，车辆将数据包发送给所选择的路径的路段上距离目标车辆更近的车辆或相邻的下一个交叉路口的rsu；具体为，如果在交叉路口的rsu的接收信息范围内，则发送给rsu，否则发送给车辆；其中，数据包从车辆到车辆的通信过程称为v2v通信。
9、进一步地，在本专利技术中，在步骤s2中，用于迭代更新q表的公式定义如下：
10、
11、式中，表示在当前交叉口处采取行动的动作到达目的地交叉口dk的q值，α为学习率，rt为q学习算法中的奖励；γt为折扣因子；γt的表达式为：
12、γt＝β×spt+(1-β)×dpt
13、式中，β为权重因子，0≤β≤1；spt为车辆密度的影响因子；dpt为从出发点到终点的距离缩短的程度；其中：
14、
15、
16、
17、式中，sij为当前交叉口与下一交叉口之间路段的车辆密度，smax为路段上的最大车辆密度；smin为路段上的最小车辆密度；sbest为最优的路段车辆密度；distt为当前交叉口与目的地交叉口dk的距离。
18、进一步地，在本专利技术中，在所述步骤s4中，数据包发送的具体过程为：
19、将发送数据包的车辆当前所在路段临近的两个交叉路口作为候选源点交叉路口，按下述规则选择其中的一个候选源点交叉路口作为源点交叉路口，源点车辆将数据包发送到源点交叉路口的rsu，在目的车辆所在路段临近的两个交叉路口是候选目的地交叉路口，按下述规则选择其中的一个候选目的地交叉路口作为目的地交叉路口，源点交叉路口的rsu根据q表信息，把数据包发送到路段上的车辆，该车辆接收数据包并发送到下一个rsu，该rsu再根据q表将数据包发送给路段上的车辆，该车辆发送到下一个rsu，继续该过程，直到将数据包发往目的地交叉路口的rsu，该rsu将数据包发送给目标车辆；
20、其中，在候选源点交叉路口、候选目的地交叉路口中分别选择源点交叉路口、目的地交叉路口的规则如下：对于源点的两个候选的交叉路口而言，它是源点所在路段两侧的交叉路口，分别比较它们到目的地车辆的距离，然后选择距离较短的交叉路口作为源点所在的交叉路口；对于目的地交叉路口而言，根据到目标车辆的距离和车辆运动角度的余弦值来选择目标交叉路口，选择权重ωi最大的候选交叉路口作为目标交叉路口，其中，ωi定义为：
21、
22、式中，
23、
24、
25、
26、式中，c是对距离进行归一化的常数；是目的地车辆在信标间隔δt处的位移向量，是从目的地车辆开始到候选目的地交叉路口之间的位置向量。
27、进一步地，在本专利技术中，在步骤s4中，选择q表中具体路段的具体过程为：
28、在路由开始时，数据包被转发到源点交叉路口，在源点交叉路口的rsu根据q值将数据包转发到适当的路段；首先，源点交叉路口的rsu通过检查当前的源点交叉路口和目标交叉路口，即二元组，来确定当前所处的状态(state,s)；然后，源点交叉路口的rsu查找q表，选择当前状态下“状态-动作值”最大的动作(action,a)，即将数据包转发给东南西北四个方向中的其中一个方向的路段，源点交叉路口的rsu采取动作，将数据包转发到选中的动作对应的方向的路段，并且数据包通过路径上的v2v通信到达道路临近的交叉路口的rsu，即源点交叉路口的rsu将数据包依次发给道路上的一个或多个中本文档来自技高网...
【技术保护点】
1.一种基于Q学习的基于交叉路口的车载自组网路由方法，其特征在于，
2.根据权利要求1所述的基于Q学习的基于交叉路口的车载自组网路由方法，其特征在于，在步骤S2中，用于迭代更新Q表的公式定义如下：
3.根据权利要求2所述的基于Q学习的基于交叉路口的车载自组网路由方法，其特征在于，在所述步骤S4中，数据包发送的具体过程为：
4.根据权利要求3所述的基于Q学习的基于交叉路口的车载自组网路由方法，其特征在于，在步骤S4中，选择Q表中具体路段的具体过程为：
5.根据权利要求4所述的基于Q学习的基于交叉路口的车载自组网路由方法，其特征在于，在步骤S3中，资源利用状态由数据转发链路的平均负荷来估计，其中，平均负荷的表达式为：
6.根据权利要求5所述的基于Q学习的基于交叉路口的车载自组网路由方法，其特征在于，所述步骤S5中，V2V通信的转发策略为：如果源车辆和目的地车辆在同一路段上，则目标地址TD是目的地车辆vd，车辆通过贪心策略直接将包转发给目的地车辆；否则，当数据包位于源交叉路口和目标交叉路口之间的路径上时，数据包将首先被转发到接
...【技术特征摘要】
1.一种基于q学习的基于交叉路口的车载自组网路由方法，其特征在于，
2.根据权利要求1所述的基于q学习的基于交叉路口的车载自组网路由方法，其特征在于，在步骤s2中，用于迭代更新q表的公式定义如下：
3.根据权利要求2所述的基于q学习的基于交叉路口的车载自组网路由方法，其特征在于，在所述步骤s4中，数据包发送的具体过程为：
4.根据权利要求3所述的基于q学习的基于交叉路口的车载自组网路由方法，其特征在于，在步骤s4中，选择q表中具体路段的具体过程为：
5.根据权利要求4所述的基于q学习的基于交叉路口的车载自组网路由方法，其特征在于，在步骤s3中，资源利用状态由数据转发链路的平均负荷来估计，其中，平均负荷的表达式为：
6....
【专利技术属性】
技术研发人员：曹明生，及宇轩，陈大江，张宇，陈虹良，丁桥隆，王竣，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。