一种面向自动驾驶的平行规划方法、设备及存储介质技术

本发明专利技术涉及一种面向自动驾驶的平行规划方法、设备及存储介质，方法包括：获取虚拟驾驶场景数据和真实驾驶场景数据，并基于所述虚拟驾驶场景数据和真实驾驶场景数据建立联合数据集；构建端到端的自动驾驶运动规划模型；构建用于预测各种虚拟未来驾驶场景的平行时空视频生成模型；采用所述联合数据集对所述自动驾驶运动规划模型和平行时空视频生成模型进行训练，以得到平行规划模型；采用所述平行规划模型对各种虚拟未来驾驶场景进行平行规划。本发明专利技术解决了目前自动驾驶领域中规划算法无法应对紧急驾驶场景的问题。

【技术实现步骤摘要】
一种面向自动驾驶的平行规划方法、设备及存储介质
本专利技术涉及自动驾驶
，尤其涉及一种面向自动驾驶的平行规划方法、设备及存储介质。
技术介绍
运动规划是自动驾驶领域的一个重要研究方向，而运动规划的本质是持续感知的序列数据到运动操控参数的映射。公开号为CN105487537A的中国专利申请中提出了一种车辆运动规划方法和无人车，该方法将实际路径转换为概率表示，并根据车辆的状态信息计算转换到对应栅格的概率，提高了路径搜索效率；公开号为CN111665853A的中国专利申请中提出了一种面向规划控制联合优化的无人车辆运动规划方法，将车辆动力学模型引入规划算法中，提高规划效率，保证规划与控制的一致性。这类基于规则的运动规划方法，在规则之内的场景能够做出很好的规划结果，对于规则之外的场景却难以取得理想的效果，并且不具备自主学习的能力，难以应对自动驾驶中不断变化的复杂场景。将深度学习技术引入运动规划领域，可以实现从感知数据到运动参数的端到端的运动规划，让算法具备学习能力。然而深度学习强烈依赖于大规模标记的数据集，样本数通常在百万级或以上才能够覆盖足够大的特征空间。对于自动驾驶运动规划，获取大量多样化的交通数据，是一个极为耗费人力和物力、时间和金钱成本的过程，并且具有一定危险性，特别是对于一些紧急驾驶场景。此外，目前自动驾驶运动规划算法都是针对当前场景进行规划，并未考虑潜在的紧急事件，存在一定的安全隐患。
技术实现思路
有鉴于此，有必要提供一种面向自动驾驶的平行规划方法、设备及存储介质，用以解决目前自动驾驶领域中规划算法无法应对紧急驾驶场景的问题。第一方面，本专利技术提供一种面向自动驾驶的平行规划方法，包括如下步骤：获取虚拟驾驶场景数据和真实驾驶场景数据，并基于所述虚拟驾驶场景数据和真实驾驶场景数据建立联合数据集；构建端到端的自动驾驶运动规划模型；构建用于预测各种虚拟未来驾驶场景的平行时空视频生成模型；采用所述联合数据集对所述自动驾驶运动规划模型和平行时空视频生成模型进行训练，以得到平行规划模型；采用所述平行规划模型对各种虚拟未来驾驶场景进行平行规划。优选的，所述的面向自动驾驶的平行规划方法中，所述自动驾驶运动规划模型的基础模型为深度强化模型，其中，所述深度强化模型采用深度Q网络与Actor-Critic框架融合的算法建立，Actor网络采用分层的结构，高层决策输出为驾驶行为，低层决策输出为具体的规划指令；Critic网络输出Q值，用于评价动作的好坏和计算梯度，更新网络。优选的，所述的面向自动驾驶的平行规划方法中，所述自动驾驶运动规划模型的状态提取网络由卷积神经网络与长短时记忆网络级联构成。优选的，所述的面向自动驾驶的平行规划方法中，所述自动驾驶运动规划模型的输入为自动驾驶汽车中左、中、右三个前向RGB车载相机采集的序列图像，所述自动驾驶运动规划模型的输出包括高层输出和低层输出，其中，所述高层输出为驾驶决策，所述低层输出为具体的规划指令。优选的，所述的面向自动驾驶的平行规划方法中，所述平行时空视频生成模型由改进的条件生成对抗网络构成。优选的，所述的面向自动驾驶的平行规划方法中，所述改进的条件生成对抗网络由生成器、判别器和分类器构成，其中，所述生成器用于生成多个未来驾驶场景的视频片段，所述判别器用于判别输入的视频片段是训练所用的真实视频片段还是生成器生成的视频片段，所述分类器用于对不同类别的紧急事件视频片段进行分类。优选的，所述的面向自动驾驶的平行规划方法中，利用监督学习的方法，并结合迁移学习的思想训练所述自动驾驶运动规划模型中的状态提取网络，利用强化学习的方法在虚拟场景中训练端到端的自动驾驶运动规划模型；采用对抗学习的方法训练所述平行时空视频生成模型，所述平行规划模型包括训练完成的端到端的自动驾驶运动规划模型和训练完成的平行时空视频生成模型。优选的，所述的面向自动驾驶的平行规划方法中，所述采用所述平行规划模型对各种虚拟未来驾驶场景进行平行规划的步骤具体包括：利用训练完成的平行时空视频生成模型预测出多种未来的虚拟驾驶场景视频片段；利用训练完成的端到端的自动驾驶运动规划模型对各个未来的虚拟驾驶场景视频片段进行规划，以得到多个规划结果；通过场景匹配选出合适的规划结果。第二方面，本专利技术还提供一种面向自动驾驶的平行规划设备，包括：处理器和存储器；所述存储器上存储有可被所述处理器执行的计算机可读程序；所述处理器执行所述计算机可读程序时实现如上所述的面向自动驾驶的平行规划方法中的步骤。第三方面，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的面向自动驾驶的平行规划方法中的步骤。相较于现有技术，本专利技术提供的面向自动驾驶的平行规划方法、设备及存储介质，通过构建端到端的自动驾驶运动规划模型和预测多种虚拟未来场景的平行时空视频生成模型，利用虚拟驾驶场景和真实驾驶场景联合训练规划模型和平行时空视频生成器，让规划模型能够针对不同驾驶场景提前规划，因此规划算法能应对紧急和复杂的驾驶场景，其可靠性和安全性更高。附图说明图1为本专利技术提供的面向自动驾驶的平行规划方法的一较佳实施例的流程图；图2为本专利技术提供的面向自动驾驶的平行规划方法中，所述端到端的自动驾驶运动规划模型的一较佳实施例的示意图；图3为本专利技术提供的面向自动驾驶的平行规划方法中，所述平行时空视频生成模型的一较佳实施例的示意图；图4为本专利技术提供的面向自动驾驶的平行规划方法中，联合数据集构建和模型训练的一较佳实施例的示意图；图5为本专利技术提供的面向自动驾驶的平行规划方法中，平行规划的一较佳实施例的示意图；图6为本专利技术面向自动驾驶的平行规划程序的较佳实施例的运行环境示意图。具体实施方式下面结合附图来具体描述本专利技术的优选实施例，其中，附图构成本申请一部分，并与本专利技术的实施例一起用于阐释本专利技术的原理，并非用于限定本专利技术的范围。S100、获取虚拟驾驶场景数据和真实驾驶场景数据，并基于所述虚拟驾驶场景数据和真实驾驶场景数据建立联合数据集。本实施例中，所述虚拟驾驶场景数据来源于驾驶模拟器，在具体实施时，可利用现有的驾驶模拟器，如Carla、GTA5、ETS2等，设置左、中、右3个相机参数的参数，并且设计和构建所需的虚拟场景，模拟真实场景中可能出现的多种场景和事件，例如前车紧急制动、前车突然变道、“鬼探头”等场景和事件；在虚拟场景中控制车辆行驶，通过虚拟相机采集行驶的序列图像，同时采集同步的方向盘转向角、油门和刹车数据作为模拟人工的标注信息，以实现虚拟驾驶场景数据的获取。所述真实驾驶场景数据来源于公开数据集和自主采集的真是道路场景。在真是车辆中安装有左、中、右三个标定好的前向相机，利用真实车辆、驾驶控制器、车载相机等设备获取真实场景的感知数据，以及同步的人工驾驶运本文档来自技高网...

【技术保护点】
1.一种面向自动驾驶的平行规划方法，其特征在于，包括如下步骤：/n获取虚拟驾驶场景数据和真实驾驶场景数据，并基于所述虚拟驾驶场景数据和真实驾驶场景数据建立联合数据集；/n构建端到端的自动驾驶运动规划模型；/n构建用于预测各种虚拟未来驾驶场景的平行时空视频生成模型；/n采用所述联合数据集对所述自动驾驶运动规划模型和平行时空视频生成模型进行训练，以得到平行规划模型；/n采用所述平行规划模型对各种虚拟未来驾驶场景进行平行规划。/n

【技术特征摘要】
1.一种面向自动驾驶的平行规划方法，其特征在于，包括如下步骤：
获取虚拟驾驶场景数据和真实驾驶场景数据，并基于所述虚拟驾驶场景数据和真实驾驶场景数据建立联合数据集；
构建端到端的自动驾驶运动规划模型；
构建用于预测各种虚拟未来驾驶场景的平行时空视频生成模型；
采用所述联合数据集对所述自动驾驶运动规划模型和平行时空视频生成模型进行训练，以得到平行规划模型；
采用所述平行规划模型对各种虚拟未来驾驶场景进行平行规划。


2.根据权利要求1所述的面向自动驾驶的平行规划方法，其特征在于，所述自动驾驶运动规划模型的基础模型为深度强化模型，其中，所述深度强化模型采用深度Q网络与Actor-Critic框架融合的算法建立，Actor网络采用分层的结构，高层决策输出为驾驶行为，低层决策输出为具体的规划指令；Critic网络输出Q值，用于评价动作的好坏和计算梯度，更新网络。


3.根据权利要求2所述的面向自动驾驶的平行规划方法，其特征在于，所述自动驾驶运动规划模型的状态提取网络由卷积神经网络与长短时记忆网络级联构成。


4.根据权利要求3所述的面向自动驾驶的平行规划方法，其特征在于，所述自动驾驶运动规划模型的输入为自动驾驶汽车中左、中、右三个前向RGB车载相机采集的序列图像，所述自动驾驶运动规划模型的输出包括高层输出和低层输出，其中，所述高层输出为驾驶决策，所述低层输出为具体的规划指令。


5.根据权利要求1所述的面向自动驾驶的平行规划方法，其特征在于，所述平行时空视频生成模型由改进的条件生成对抗网络构成。


6.根据权利要求5所述的面向自动驾驶的平行规划方法，其特征在于，所述...

【专利技术属性】
技术研发人员：胡学敏，陈龙，
申请(专利权)人：湖北大学，
类型：发明
国别省市：湖北;42