一种基于层次强化学习的微观交通流预测系统及方法技术方案

本发明专利技术公开了一种基于层次强化学习的微观交通流预测系统，其包括：车辆行驶风格层次预测模块，用于根据目标范围内每辆车辆的行驶状况信息集合采用强化学习模型评估车辆的行驶风格，获得车辆的行驶风格属性，所述车辆的行驶风格属性用于评价车辆行驶平稳或激进的程度；车辆驾驶行为层次预测模块，用于根据车辆行驶风格层次预测模块输出的含有车辆的行驶风格属性的结构化车辆信息，采用强化学习模型，预测特定车辆的加速比、以及变道到各车道的变道概率。本发明专利技术将复杂的交通流预测问题分解为对驾驶员及车辆特性分布的预测及对车辆行为的预测这两个层次，实现精准预测特定路段和时段的交通流预测。和时段的交通流预测。和时段的交通流预测。

【技术实现步骤摘要】
一种基于层次强化学习的微观交通流预测系统及方法


[0001]本专利技术属于智能交通领域，更具体地，涉及一种基于层次强化学习的微观交通流预测方法及系统。

技术介绍

[0002]交通流预测，通常可以分为宏观和微观两种类型。宏观模型将交通流视为由大量车构成的连续流体，研究车辆集体的综合平均行为如流量、流速等，其单个车辆的个体特性并不显式出现。微观方法则是集中于单个车辆在相互作用下的个体行为描述，通过跟车模型、变道模型等预测车辆行为，给出随时间变化的车辆在行驶道路中的位置等信息。随着自动驾驶、智能信号灯决策等应用场景的快速发展，对交通流预测的精准程度提出了更高的要求。微观模型相对宏观模型能够给出更丰富的信息，有利于智能交通和自动驾驶等应用更准确的判断交通路况。
[0003]然而，传统微观交通流预测方法通过对车辆行为进行动力学建模，往往不考虑车辆行驶风格的差异，或简单的设定车辆行驶风格为某种预定分布，通过调整模型公式的参数拟合真实路况。但不同国家和城市，乃至不同街区的车辆和驾驶员加速风格都存在差异，难以用统一的分布或参数精准预测。
[00本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于层次强化学习的微观交通流预测系统，其特征在于，包括：车辆行驶风格层次预测模块和车辆驾驶行为层次预测模块；车辆行驶风格层次预测模块，用于根据目标范围内每辆车辆的行驶状况信息集合采用强化学习模型评估车辆的行驶风格，获得车辆的行驶风格属性，所述车辆的行驶风格属性用于评价车辆行驶平稳或激进的程度；车辆驾驶行为层次预测模块，用于根据车辆行驶风格层次预测模块输出的含有车辆的行驶风格属性的结构化车辆信息，采用强化学习模型，预测特定车辆的加速比、以及变道到各车道的变道概率。2.如权利要求1所述的基于层次强化学习的微观交通流预测系统，其特征在于，所述加速比用于表征该车辆在预测时刻的瞬时车速相对于当前时刻的瞬时车速变化程度和趋势。3.如权利要求1所述的基于层次强化学习的微观交通流预测系统，其特征在于，所述目标范围内每辆车辆的行驶状况信息集合为沙盘系统可用的结构化车辆数据。4.如权利要求1所述的基于层次强化学习的微观交通流预测系统，其特征在于，所述车辆行驶风格层次预测模块采用的强化学习模型和所述辆驾驶行为模块采用的强化学习模型分别为DQN模型、DDPG模型、或A3C模型。5.如权利要求1所述的基于层次强化学习的微观交通流预测系统，其特征在于，所述目标范围内每辆车辆的行驶状况信息集合表示为目标范围内车辆位置矩阵W
v
×
L
v
×
C
v
；所述车辆位置矩阵W
v
×
L
v
×
C
v
，用于存储车辆位置及车辆属性信息，其中W
v
表示车道，L
v
表示车道内的位置单元，C
v
为车辆属性向量，车辆属性向量包括车辆速度、车辆平均行驶速度、加速度、减速度、跟车距离、用于唯一标记车辆的车辆标识符、和/或历史位置信息序列，例如用连续K个时刻该位置的车辆属性来体现K个观测时间周期的历史位置信息序列。6.如权利要求5所述的基于层次强化学习的微观交通流预测系统，其特征在于，所述车辆行驶风格层次预测模块采用的强化学习模型状态空间为结构化车辆路况信息构成的张量，状态定义为车辆位置矩阵；动作空间定义为车辆行驶风格属性n，n为从1...

【专利技术属性】
技术研发人员：郑龙，张雅婷，凃浩，杜丛晋，
申请(专利权)人：江苏泰坦智慧科技有限公司，
类型：发明
国别省市：