一种利用智能网联车辆提高交通通行效率的方法技术

本发明专利技术公开了一种利用智能网联车辆提高交通通行效率的方法，该方法采用PPO强化学习算法优化智能网联车的驾驶策略，并且通过对交通流动态信息统计方法的创新，提出了等效密度概念，并以此优化设计了PPO算法的观测空间和奖励函数，加快了算法的优化效率。最终，通过在SUMO交通仿真平台上进行实验，验证了所提方法的有效性。实验结果表明，本发明专利技术可对路网中交通拥堵产生的走停波进行消散，缓解了交通拥堵，有效提升了通行效率。有效提升了通行效率。有效提升了通行效率。

【技术实现步骤摘要】
一种利用智能网联车辆提高交通通行效率的方法


[0001]本专利技术涉及自动驾驶领域、深度强化学习领域、车联网领域，特别涉及基于深度强化学习的自动驾驶策略训练。具体专利技术一种基于深度强化学习，通过训练智能网联车的驾驶策略来提高交通通行效率的方法。

技术介绍

[0002]随着人工智能技术和汽车技术的发展，无人驾驶汽车逐渐走入人们的视野。无人驾驶汽车主要通过自身搭载的传感器获取外界环境信息，依靠车载计算机完成对外界环境信息的处理，并对汽车的执行系统输出控制信号来实现对车辆的控制，进而实现自动驾驶。这种基于车辆自身传感器获取环境信息的方式具有非常大的局限性：一是获取信息范围小，通常只能获取车辆自身到周围邻车的相关信息；二是获取到的信息种类缺乏多样性，现有的雷达、红外、摄像头等传感器通常只能获取到速度、距离等信息；三是获取信息的过程易受环境条件变化的影响。
[0003]然而，随着无人驾驶技术和通信技术的发展，车联网作为二者结合的产物，逐渐成为了无人驾驶领域颇受关注的研究方向。配备标准无线车联设备的车辆可以通过无线通信的方式接入车联网。接入车联网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种利用智能网联车辆提高交通通行效率的方法，其特征在于：该方法由五部分组成：第一、以智能网联车为中心，获取其前部和后部长度为L的区间内的环境状态信息，所述的环境状态信息至少包括车辆前部和后部长度为L的区间内，路网中所有车辆的行驶速度v
i
以及每辆车的位置(x
i
，y
i
)，i表示车辆编号；第二、利用提出的交通流信息统计算法，提取环境状态信息，将所述的环境状态信息整合为等效密度进行表示；第三、通过以下方式优化设计智能网联车驾驶策略的观测空间和动作空间：首先将所述的等效密度和其他必要的环境信息构成智能网联车驾驶策略的观测空间，其中，其他必要的环境信息具体包括智能网联车的速度v、智能网联车与前车的速度差Δv和智能网联车的跟车间距d，其次，将智能网联车加速度区间作为驾驶策略的动作空间；第四、将上述等效密度指标用于奖励函数设计，优化设计智能网联车驾驶策略的奖励函数；第五、搭建并训练智能网联车的驾驶策略网络。2.根据权利要求1所述的一种利用智能网联车辆提高交通通行效率的方法，其特征在于：车联网环境中存在普通网联车与智能网联车两种车辆；所有网联车辆通过自身的无线车联设备接入车联网，并将传感器监测到的环境状态信息共享至网络；智能网联车把从网络中获取到的其他车辆共享的环境状态信息进行整合，得到智能网联车前后长度为L的区间内的环境状态。3.根据权利要求1所述的一种利用智能网联车辆提高交通通行效率的方法，其特征在于：所述的用于获取环境状态信息、长度为L的区间记为交通流信息统计算法的统计区间，每辆智能网联车含有前部、后部两个统计区间；所述的交通流信息统计算法，其公式为：其中，ρ
e
表示智能网联车前或后部统计区间内的等效密度；ρ
W
表示智能网联车前或后部统计区间内车流的加权平均密度；v
WH
表示智能网联车前或后部统计区间内车流的加权调和平均速度；d表示智能网联车与前或后车的间距；参数k
ρ
、k
v
、k
d
分别控制密度项、速度项、间距项在计算等效密度指标时的权重；ρ
W
的计算公式为：其中，w
i
表示权重；d
i
表示智能网联车前或后第i辆车到第i+1辆车的距离，i为车辆编号，n为统计区间内的车辆总数；v
WH
的计算公式为：其中，w
i
表示权重，v
i
表示智能网联车前或后第i辆车的速度，i为车辆编号，n为统计区间内的车辆总数；上述权重w
i
的计算公式为：其中，s
i
表示智能网联车到其前或后第i辆车的距离，a表示权重参数，控制算法中权重w
i
随距离s
i
增大时的衰减力度，间接控制了智能网联车前或后部统计区间的长度L，i为车辆编号。
4.根据权利要求3所述的一种利用智能网联车辆提高交通通行效率的方法，其特征在于：计算出的等效密度指标能够同时反映宏观交通流信息和微观交通流信息；通过调整k
ρ
、k
v
、k
d
、a四个参数，能使等效密度指标正确反映交通流动态。5.根据权利要求1所述的一种利用智能网联车辆提高交通通行效率的方法，其特征在于：所述的智能网联车驾驶策略的观测空间设计为如下形式：S：＝(v，Δv，d，Δρ
e
)其中，v表示智能网联车的速度，Δv表示智能网联车与前车的速度差，d表示智能网联车的跟车间距，Δρ
e
表示智能网联车前部与后部统计区间的等效密度之差；v，Δv，d用于反映智能网联车与前车的关系；Δρ
e
用于反映智能网联车所处路段的宏、微观交通流信息；所述的智能网联车驾驶策略的动作空间设计为如下形式：A＝[a
min
，a
max
]其中，a
min
为智能网联车最大减速度，a
max
为智能网联车最大加速度。6.根据权利要求1所述的一种利用智能网联车辆提高交通通行效率的方法，其特征在于：所述的智能网联车驾驶策略的奖励函数设计为如下形式：首先，设计等效密度差的惩罚项r1如下式所示：r1＝
‑
k1|Δρ
e
|其中，Δρ
e
表示智能网联车前部与后部统计区间的等效密度之差，k1为大于0的参数；其次，设计危险驾驶行为的惩罚项r2和r3如下式所示：r2＝
‑
k2·
max(...

【专利技术属性】
技术研发人员：张利国，马子博，崔铜巢，江丰尧，花桢，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：