一种融合视觉和传感器信息的驾驶决策系统及方法技术方案

本发明专利技术公开了一种融合视觉和传感器信息的驾驶决策系统及方法，包括传感器模块，视觉和传感器数据融合模块，决策模块和控制模块；传感器模块，采集当前驾驶车辆周边的道路，车道线和其他车辆的图像信息，当前驾驶车辆位置和速度信息；视觉和传感器数据融合模块，从图像信息中分离并提取车道线、道路结构、其他道路使用者和空间特征，从GPS和车速传感器数据中提取当前车辆的运动特征；决策模块，通过决策模型获取当前车辆的决策量；控制模块，驱动自动驾驶车辆的转向电机，踏板和制动系统，控制车辆完成驾驶任务，更新车辆的位置和速度状态。本发明专利技术提高了泛化能力，能够处理样本中未出现的异常情况，实现智能车辆更安全，稳定和高效地自主行驶。

A driving decision system and method based on vision and sensor information

【技术实现步骤摘要】
一种融合视觉和传感器信息的驾驶决策系统及方法
本专利技术属于智能驾驶
，具体涉及一种融合视觉和传感器信息的驾驶决策系统及方法。
技术介绍
随着汽车保有量的日益增加，道路交通逐渐趋于密集化和复杂化，进而导致驾驶压力的增大，使得驾驶员在正常交通场景下的驾驶能力下降，大大增加了交通事故的发生几率。其中，换道行为是导致交通事故和交通拥堵的重要致因之一，尤其在城市区域，车流密度大，极易发生换道碰撞事故，甚至导致连环追尾碰撞。相对于人类驾驶，智能驾驶系统具有反应时间短、感知精度高等优点，因此研究智能驾驶技术对于减少因人为因素导致的交通事故具有十分重要的意义。目前在智能驾驶的决策领域，在决策信息感知方面，主要有基于视觉和传感器数据的方式这两大类。得益于近年来卷积神经网络和深度神经网络的发展，基于视觉信息的感知方法利于实现端到端的驾驶决策设计，面对交通环境的复杂性和图像信息数据过于庞大，系统如何得到可靠性的决策是一大难题；基于传感器数据的方法，数据处理较为简单，这也会使得系统难以深刻理解当前所处的交通环境。而在模型的学习方法方面，主要依靠历史数据的学习，但缺乏好的泛化能力，无法应对未知的输入。
技术实现思路
针对于上述现有技术的不足，本专利技术的目的在于提供一种融合视觉和传感器信息的驾驶决策系统及方法，以解决现有技术中决策模型不能完全理解环境输入和对未知情况泛化能力差的问题；本专利技术提高了智能车决策的可靠性。为达到上述目的，本专利技术采用的技术方案如下：本专利技术的一种融合视觉和传感器信息的驾驶决策系统，包括传感器模块，视觉和传感器数据融合模块，决策模块和控制模块；所述传感器模块，包括：摄像头，GPS和车速传感器；所述摄像头用于采集当前驾驶车辆周边的道路，车道线和其他车辆的图像信息；所述GPS和车速传感器用于采集当前驾驶车辆的位置和速度信息；所述视觉和传感器数据融合模块，获取上述传感器模块采集到的信息，进行特征提取和编码处理，从图像信息中分离并提取车道线、道路结构、其他道路使用者和空间特征，从GPS和车速传感器数据中提取当前车辆的运动特征；并采用的融合方式通过注意力机制来分配对不同特征的权重后，生成一个新的特征向量。所述决策模块，将上述融合后的特征信息作为决策模型的输入，通过决策模型获取当前车辆的决策量：方向盘转角和加速度。所述控制模块，接收决策模块输出的方向盘转角和加速度信号，来驱动自动驾驶车辆的转向电机，踏板和制动系统，控制车辆完成驾驶任务，从而更新车辆的位置和速度状态。进一步地，所述摄像头为环视摄像头，分布在整车的四周，提供360度无死角的环视视野。进一步地，所述图像特征提取是基于ResNet50卷积神经网络，GPS和车速传感器数据特征提取是基于全连接神经网络。进一步地，所述决策模型是基于异策略学习方法，采用AC(Actor-CriticAlgorithm)学习框架。进一步地，所述异策略学习方法中包括两个同等地位的元素，一个元素是Actor，即行动策略；另一个元素是Critic策略，即评估；异策略是指行动策略和评估策略不是同一个策略，行动策略是随机策略，以保证对最优策略的充足探索；Critic策略这里是指利用函数逼近方法估计值函数，为确定性策略。本专利技术一种融合视觉和传感器信息的驾驶决策方法，包括步骤：步骤1：获取当前交通环境图像It、GPS的位置(xt,yt)、车速信息vt；xt，yt分别为横、纵方向的位置坐标，传感器数据信息Xt记为Xt＝[xt,yt,vt]，并用St＝[It,Xt]来表示两者联合的环境输入；步骤2：每一时刻t采集的交通环境图像It，通过图像语义分割提取不同目标，包括车道线lt，道路结构rt，其他道路使用者ot和空间st,并基于ResNet50卷积网络分别进行特征编码，得到车道线特征向量E1,t，道路结构特征向量E2,t，其他道路使用者特征向量E3,t，和空间特征向量E4,t；其过程用公式表示如下：E1,t＝ResNet50(lt；W1)E2,t＝ResNet50(rt；W2)E3,t＝ResNet50(ot；W3)E4,t＝ResNet50(st；W4)其中，ResNet50表示卷积网络对应的函数关系，W1，W2，W3，W4分别为对应网络的全部参数；步骤3：采用一个两层全连接神经网络对相同时刻t的传感器数据信息Xt进行特征提取和编码，生成自车运动特征向量E5,t；E5,t＝FC(Xt；WFC2)其中，FC表示全连接层的函数关系，WFC2表示两层全连接神经网络的所有参数；步骤4：将上述步骤2，3中生成的特征向量和上一时刻生成的决策输出通过注意力机制，分配当前时刻对不同特征量的注意权重αi,t，依据下式生成融合特征向量Ft；其中，tanh为hyperbolictangent函数，为上一刻决策模型的输出值，Watt，Uatt为注意力模型的参数；步骤5：定义动作决策的集合A，包括方向盘转角δ和加速度a；步骤6：定义回报函数R，具体公式如下：其中，vt为当前车辆速度，vd为驾驶员的期望速度，xt，yt是当前车辆的纵向和横向位移，为当前车辆所在车道和左右相邻车道的前后车辆；wv，wla，wlo分别为速度，纵向位移和横向位移的权重调节系数；步骤7：建立行为策略网络，通过访问上述步骤4中的决策特征向量Ft，其中，t的取值范围为历史时域[t-Tobs,t]，基于Bi-LSTM神经网络建立时序决策模型，连接三层全连接层，最终连接混合密度输出层，得到二维决策量at＝(δt,at)的二元概率分布Pπ,μ,σ(at|S)，并计算出输出结果的置信因子，具体过程用公式表示如下：at＝(δt,at)其中，Bi-LSTM为双向长短时记忆网络的函数关系，表示时域[t-Tobs,t]内的所有融合特征向量的集合，WLSTM为Bi-LSTM网络的参数，WFC3为三层全连接网络的参数；πk为混合密度网络中的分配系数；Φ为二元高斯函数；μk为均值；Σk为协方差矩阵；σk为标准差；ρk为相关系数；k为第k个高斯函数混合；上述随机策略简记为：πθ(a|S)＝P[a|S；θ]＝ξ(S；θ)；步骤8：基于深度神经网络建立评估策略，用来评估基于定义的回报函数下，在环境特征的输入S，由行为策略输出的行为a所得到的累计回报值函数，记为Q(S,a；w)，通过更新参数w来逼近行为值函数Qπ(S,a)；步骤9：基于深度确定性策略搜索算法(DDPG)学习上述步骤2-8所涉及到的模型的参数，输出最优的动作决策策略a*。进一步地，所述深度确定性策略搜索算法具体包括：1)随机初始化评估策略网络Q(S,a；w)和行为策略网络ξ(S；θ)的参数w和θ；2)用计算所得的参数w'和θ'来得到更新后的目标网络Q'和ξ'；本文档来自技高网...

【技术保护点】
1.一种融合视觉和传感器信息的驾驶决策系统，其特征在于，包括：传感器模块，视觉和传感器数据融合模块，决策模块及控制模块；/n所述传感器模块，包括：摄像头，GPS和车速传感器；所述摄像头用于采集当前驾驶车辆周边的道路，车道线和其他车辆的图像信息；所述GPS和车速传感器用于采集当前驾驶车辆的位置和速度信息；/n所述视觉和传感器数据融合模块，获取上述传感器模块采集到的信息，进行特征提取和编码处理，从图像信息中分离并提取车道线、道路结构、其他道路使用者和空间特征，从GPS和车速传感器数据中提取当前车辆的运动特征；并采用的融合方式通过注意力机制来分配对不同特征的权重后，生成一个新的特征向量。/n所述决策模块，将上述融合后的特征信息作为决策模型的输入，通过决策模型获取当前车辆的决策量：方向盘转角和加速度。/n所述控制模块，接收决策模块输出的方向盘转角和加速度信号，来驱动自动驾驶车辆的转向电机，踏板和制动系统，控制车辆完成驾驶任务，从而更新车辆的位置和速度状态。/n

【技术特征摘要】
1.一种融合视觉和传感器信息的驾驶决策系统，其特征在于，包括：传感器模块，视觉和传感器数据融合模块，决策模块及控制模块；
所述传感器模块，包括：摄像头，GPS和车速传感器；所述摄像头用于采集当前驾驶车辆周边的道路，车道线和其他车辆的图像信息；所述GPS和车速传感器用于采集当前驾驶车辆的位置和速度信息；
所述视觉和传感器数据融合模块，获取上述传感器模块采集到的信息，进行特征提取和编码处理，从图像信息中分离并提取车道线、道路结构、其他道路使用者和空间特征，从GPS和车速传感器数据中提取当前车辆的运动特征；并采用的融合方式通过注意力机制来分配对不同特征的权重后，生成一个新的特征向量。
所述决策模块，将上述融合后的特征信息作为决策模型的输入，通过决策模型获取当前车辆的决策量：方向盘转角和加速度。
所述控制模块，接收决策模块输出的方向盘转角和加速度信号，来驱动自动驾驶车辆的转向电机，踏板和制动系统，控制车辆完成驾驶任务，从而更新车辆的位置和速度状态。


2.根据权利要求1所述的融合视觉和传感器信息的驾驶决策系统，其特征在于，所述摄像头为环视摄像头，分布在整车的四周。


3.根据权利要求1所述的融合视觉和传感器信息的驾驶决策系统，其特征在于，所述图像特征提取是基于ResNet50卷积神经网络，GPS和车速传感器数据特征提取是基于全连接神经网络。


4.根据权利要求1所述的融合视觉和传感器信息的驾驶决策系统，其特征在于，所述决策模型是基于异策略学习方法，采用AC学习框架。


5.根据权利要求4所述的融合视觉和传感器信息的驾驶决策系统，其特征在于，所述异策略学习方法中包括两个同等地位的元素，一个元素是Actor，即行动策略；另一个元素是Critic策略，即评估；异策略是指行动策略和评估策略不是同一个策略，行动策略是随机策略，以保证对最优策略的充足探索；Critic策略这里是指利用函数逼近方法估计值函数，为确定性策略。


6.一种融合视觉和传感器信息的驾驶决策方法，其特征在于，包括步骤：
步骤1：获取当前交通环境图像It、GPS的位置(xt,yt)、车速信息vt；xt，yt分别为横、纵方向的位置坐标，传感器数据信息Xt记为Xt＝[xt,yt,vt]，并用St＝[It,Xt]来表示两者联合的环境输入；
步骤2：每一时刻t采集的交通环境图像It，通过图像语义分割提取不同目标，包括车道线lt，道路结构rt，其他道路使用者ot和空间st,并基于ResNet50卷积网络分别进行特征编码，得到车道线特征向量E1,t，道路结构特征向量E2,t，其他道路使用者特征向量E3,t，和空间特征向量E4,t；其过程用公式表示如下：
E1,t＝ResNet50(lt；W1)
E2,t＝ResNet50(rt；W2)
E3,t＝ResNet50(ot；W3)
E4,t＝ResNet50(st；W4)
其中，ResNet50表示卷积网络对应的函数关系，W1，W2，W3，W4分别为对应网络的全部参数；
步骤3：采用一个两层全连接神经网络对相同时刻t的传感器数据信息Xt进行特征提取和编码，生成自车运动特征向量E5,t；
E5,t＝FC(Xt；WFC2)
其中，FC表示全连接层的函数关系，WFC2表示两层全连接神经网络的所有参数；
步骤4：将上述步骤2，3中生成的特征向量和上一时刻生成的决策输...

【专利技术属性】
技术研发人员：李琳，赵万忠，程青云，徐灿，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32