基于视觉时空特征的智能车预测控制方法技术

本发明专利技术公开了一种基于视觉时空特征的智能车预测控制方法，首先构建方向盘转角预测网络，包括空间特征提取网络、N个时空特征提取模块、时空特征图融合预测模块，由空间特征提取网络获取不同尺度不同时间步的特征图，由时空特征提取模块分别从每种尺度的特征图中提取出时空特征，再由时空特征图融合预测模块将不同尺度的时空特征融合一起进行方向盘转角的预测，对方向盘转角预测网络进行训练后，对待预测时刻进行预测，并将方向盘转角的预测值与历史预测值进行指数加权平均，得到方向盘转角的最终预测值。本发明专利技术可以有效提取连续图像帧中的时空信息，且将不同尺度的时空信息融合在一起，大幅提高了智能车预测控制精度。

【技术实现步骤摘要】
基于视觉时空特征的智能车预测控制方法
本专利技术属于智能车控制
，更为具体地讲，涉及一种基于视觉时空特征的智能车预测控制方法。
技术介绍
智能车端到端决策方法是指车辆在车道行驶时能够自动的根据所面对的情况修正车辆的偏离。传统的智能车端到端决策方法一般需要以下几个步骤：由相机组成的传感器模块获得前方道路的图像，将图像送至感知模块中检测图像中的车道线，再根据车道线、车辆状态、车辆位姿与车辆行驶方向之间的关系计算出当前时刻进行车道线保持所需的方向盘转角度数。基于深度学习的智能车端到端决策方法则是将传统方法中的几个步骤整体理解为一个模型，这个模型能够直接接受来自传感器的图像等信息用以计算当前时刻所需的方向盘转角，正是由于深度网络强大的拟合能力，使得基于深度学习算法能够直接学习道路图像特征与方向盘转角之间的关系。卷积神经网络由于其强大的拟合能力和泛化能力，使得其在图像分类、图像分割、目标检测与行为预测等任务中表现出了优秀的性能。车道线保持方法的实质是车辆位姿、行驶方向与车道线与车辆的相对关系与对应的方向盘转角之间的一个映射关系，基于深度学习的智能车端到端决策算法的本质就是通过训练深度网络，使得网络能够在高维空间中拟合上述的映射关系，从而具有根据图像计算出方向盘转角的能力。公开号为CN108227707A的专利介绍了一种基于激光雷达和端到端深度学习方法的自动驾驶方法，该方法包括以下步骤：将激光雷达获取的行车环境信息实时转化为深度图；根据相应的匹配规则生成对应的数据标注对,并且将其作为训练数据；将训练数据输入构建的深度卷积神经网络模型进行训练,通过深度卷积神经网络模型得到车辆的控制量。该方法能够利用激光雷达所获得的深度图进行端到端的决策，但车辆的控制是一个连续的过程，在车辆进行自动驾驶的过程中应当考虑更长的连续关系，且单纯的深度卷积神经网络缺少提取连续帧之间的时序依赖的能力。公开号为CN109581928A的专利介绍了一种面向高速公路场景的智能车端到端决策方法及系统，在该方法中主要提出了利用迁移学习的思路用于扩充数据库，对于卷积神经网络而言，更多的数据意味着更强的鲁棒性，在利用迁移学习使得模型在不同的数据库训练时能够增强算法在面对不同场景下的鲁棒性，使得算法的抗干扰能力更加强大。由于网络在训练过程中利用了更多的数据，这也可以避免网络出现过拟合的现象，从而缓解网络在测试集上表现出低偏差，高方差的现象。该专利中的方法虽然提高了性能，但是却仍然缺乏对于车辆连续控制过程的考虑。公开号为CN109656134A的专利介绍了一种基于时空联合递归神经网络的智能车端到端决策方法，在该专利所使用的算法中利用了长短时记忆网络以提取连续数据帧之间的时间依赖关系，该专利中所提出的智能车端到端决策方法中对于时序信息与空间特征信息的融合缺乏合理性，该方法中利用了长短时记忆网络提取了连续数据帧之间的时间依赖信息，该信息在与图像帧进行联合计算时会有大量的冗余信息，且单纯的利用长短时记忆网络会破坏图像中的二维特征，从而在这一环节损失一些信息。公开号为CN109615064A的专利介绍了一种基于时空特征融合递归神经网络的智能车端到端决策方法，在该方法中也是利用卷积神经网络和长短时记忆网络分别提取空间特征与时间依赖信息，在该方法中采取了四种不同的方式来尝试将两种特征融合，分别是特征相加、特征相减、特征相乘与特征级联方法，最终在特征级联的融合方法中取得了较好的效果。虽然该方法利用特征级联的方式对端到端决策网络的精度进行了一定的提高，但是无论是该方法中提及的哪一种方法都缺乏合理性，且在该方法中对于空间特征的提取和对时间特征的提取仍然是两个分离的过程。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于视觉时空特征的智能车预测控制方法，采用卷积长短时记忆网络综合提取出前方道路图像的视觉时空特征，提高智能车方向盘转角预测的精度。为实现上述专利技术目的，本专利技术基于视觉时空特征的智能车预测控制方法包括以下步骤：S1：构建方向盘转角预测网络，包括空间特征提取网络、N个时空特征提取模块、时间特征图融合预测模块，其中：空间特征提取网络的输入为智能车所检测到的前方道路图像，将智能车当前时刻t检测到的前方道路图像和前K帧前方道路图像按时间先后依次输入至空间特征提取网络，将空间特征提取网络的最后N层的特征图分别输出至对应的第n个时空特征提取模块，记时刻t-k对应的倒数第n层的特征图为Ft-k,n，其中k＝0,1,…,K，n＝1,2,…,N；每个时空特征提取模块分别包括第一卷积层、卷积长短时记忆网络、第二卷积层和第三卷积层，其中：第一卷积层的卷积核大小为1×1，对所输入的特征图Ft-k,n进行降维后输出至卷积长短时记忆网络，记第一卷积层输出的特征图F′t-k,n大小为W×H×L；卷积长短时记忆网络的输入为一幅组合特征图，该组合特征图由特征图F′t-k,n和上一帧前方道路图像所对应的由卷积长短时记忆网络输出的特征图F″t-k-1,n拼接得到，其大小为W×H×2L，当t-k-1＜0时，特征图F″t-k-1,n中每个像素值均为0，卷积长短时记忆网络用于提取出组合特征图中的时空特征，输出特征图F″t-k-1,n；依次将K+1幅特征图F′t-k,n对应的组合特征图输入卷积长短时记忆网络，将当前时刻t对应的特征图F″t,n输出至第二卷积层；第二卷积层的卷积核大小为3×3，对所输入的特征图F″t,n进行卷积处理后输出至第三卷积层；第三卷积层的卷积核大小为3×3，对第二卷积层所输出的特征图进行卷积处理后，将所得到的特征图输出至特征图融合预测模块；时空特征图融合预测模块将N个时空特征提取模块输出的不同尺度的特征图进行融合，输出当前时刻t及未来M个时刻的方向盘转角预测值Vt+m，其中m＝0,1,…,M；S2：获取若干连续的智能车前方道路图像及对应的方向盘转角，将前方道路图像作为方向盘转角预测网络的输入，方向盘转角作为期望输出，对方向盘转角预测网络进行训练；S3：对于待预测时刻t′，将智能车在时刻t检测到的前方道路图像和前K帧前方道路图像按时间先后依次输入方向盘转角预测网络，将得到的M+1个方向盘转角预测值作为对应时刻的初始预测值Vt′+m；将前Q个时刻的方向盘转角最终预测值V′t′-q，q＝1,2,…,Q，和M+1个初始预测值Vt′+m按照时间先后排列，得到方向盘转角预测值序列，对该序列进行指数加权平均，将时刻t′+M经过指数加权平均得到的结果作为待预测时刻t′的方向盘转角最终预测值V′t′。本专利技术基于视觉时空特征的智能车预测控制方法，首先构建方向盘转角预测网络，包括空间特征提取网络、N个时空特征提取模块、时空特征图融合预测模块，由空间特征提取网络获取不同尺度不同时间步的特征图，由时空特征提取模块分别从每种尺度的特征图中提取出时空特征，再由时空特征图融合预测模块将不同尺度的时空特征融合一起进行方向盘转角的预测，对方向盘转角预测网络进行训练后，对待预测时刻进行预测，并将方向盘转角的预本文档来自技高网...

【技术保护点】
1.一种基于视觉时空特征的智能车预测控制方法，其特征在于，包括以下步骤：/nS1：构建方向盘转角预测网络，包括空间特征提取网络、N个时空特征提取模块、时空特征图融合预测模块，其中：/n空间特征提取网络的输入为智能车所检测到的前方道路图像，将智能车当前时刻t检测到的前方道路图像和前K帧前方道路图像按时间先后依次输入至空间特征提取网络，将空间特征提取网络的最后N层的特征图分别输出至对应的第n个时空特征提取模块，记时刻t-k对应的倒数第n层的特征图为F

【技术特征摘要】
1.一种基于视觉时空特征的智能车预测控制方法，其特征在于，包括以下步骤：
S1：构建方向盘转角预测网络，包括空间特征提取网络、N个时空特征提取模块、时空特征图融合预测模块，其中：
空间特征提取网络的输入为智能车所检测到的前方道路图像，将智能车当前时刻t检测到的前方道路图像和前K帧前方道路图像按时间先后依次输入至空间特征提取网络，将空间特征提取网络的最后N层的特征图分别输出至对应的第n个时空特征提取模块，记时刻t-k对应的倒数第n层的特征图为Ft-k,n，其中k＝0,1,…,K，n＝1,2,…,N；
每个时空特征提取模块分别包括第一卷积层、卷积长短时记忆网络、第二卷积层和第三卷积层，其中：
第一卷积层的卷积核大小为1×1，对所输入的特征图Ft-k,n进行降维后输出至长短时记忆网络，记第一卷积层输出的特征图F′t-k,n大小为W×H×L；
卷积长短时记忆网络的输入为一幅组合特征图，该组合特征图由特征图F′t-k,n和上一帧前方道路图像所对应的由卷积长短时记忆网络输出的特征图F″t-k-1,n拼接得到，其大小为W×H×2L，当t-k-1＜0时，特征图F″t-k-1,n中每个像素值均为0，卷积长短时记忆网络用于提取出组合特征图中的时空特征，输出特征图F″t-k-1,n；依次将K+1幅特征图F′t-k,n对应的组合特征图输入卷积长短时记忆网络，将当前时刻t对应的特征图F″t,n输出至第二卷积层；
第二卷积层的卷积核大小为3×3，对所输入的特征图F″t,n进行卷积处理后输出至第三卷积层；
第三卷积层的卷积核大小为3×3，对第二卷积层所输出的特征图进行卷积处理后，将所得到的特征图输出至特征图融合预测模块；
时空特征图融合预测模块将N个时空特征提取模块输出的不同尺度的特征图进行融合，输出当前时刻t及未来M个时刻的方向盘转角预测值Vt+m，其中m＝0,1,…,M；
S2：获取若干连续的智能车前方道路图像及对应的方向盘转角，将前方道路图像作为方向盘转角预测...

【专利技术属性】
技术研发人员：吴天昊，程洪，黄瑞，詹惠琴，周润发，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51