一种基于个性化驾驶员模型的自动驾驶测试场景生成方法技术

本发明专利技术涉及一种基于个性化驾驶员模型的自动驾驶测试场景生成方法，包括：基于遗传与进化思想、结合强化学习，模拟人类驾驶员在驾驶经历中的各个阶段，逐级训练得到不同成长阶段的驾驶员模型，包括新手驾驶员模型、经验驾驶员模型和熟练驾驶员模型；基于不同成长阶段的驾驶员模型，根据人类驾驶员的不同个性化驾驶特性，进一步训练得到个性化驾驶员模型，包括激进型驾驶员模型、保守型驾驶员模型、挑衅型驾驶员模型和合作型驾驶员模型；根据测试需求，将不同成长阶段的驾驶员模型和不同的个性化驾驶员模型按对应的需求比例，组合生成相应的目标测试场景。与现有技术相比，本发明专利技术能够有效提高生成测试场景的真实性和复杂性、提升测试效果和准确性。测试效果和准确性。测试效果和准确性。

【技术实现步骤摘要】
一种基于个性化驾驶员模型的自动驾驶测试场景生成方法


[0001]本专利技术涉及自动驾驶
，尤其是涉及一种基于个性化驾驶员模型的自动驾驶测试场景生成方法。

技术介绍

[0002]随着自动驾驶等级的提高，面向传统汽车的测试工具与测试方法已不能满足自动驾驶汽车测试的需要。基于场景的虚拟测试方法在测试效率、测试成本等方面具有巨大的技术优势，是未来自动驾驶汽车测试验证的重要手段，已成为当前的研究热点。
[0003]目前自动驾驶车辆测试有实车测试和虚拟仿真测试两种，实车测试需要花费大量的人力和时间，随着驾驶自动化水平的提高，实车测试的局限性越来越明显，人们开始将更多的目光投向虚拟仿真测试，虚拟仿真测试能够高效地测试自动驾驶系统的安全性能，但现有的虚拟仿真技术生成的测试场景往往是固定的，场景中其他车辆的行为也都是固定的，车辆之间缺乏交互性，这就使得通过测试的自动驾驶系统可能只对特定的测试行为有正确的反应，导致测试结果可信度不高、测试准确性较低。

技术实现思路

[0004]本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于个性化驾驶员模型的自动驾驶测试场景生成方法，其特征在于，包括以下步骤：S1、基于遗传与进化思想、结合强化学习，模拟人类驾驶员在驾驶经历中的各个阶段，逐级训练得到不同成长阶段的驾驶员模型，所述不同成长阶段的驾驶员模型包括新手驾驶员模型、经验驾驶员模型和熟练驾驶员模型；S2、基于不同成长阶段的驾驶员模型，根据人类驾驶员的不同个性化驾驶特性，进一步训练得到个性化驾驶员模型，所述个性化驾驶员模型包括激进型驾驶员模型、保守型驾驶员模型、挑衅型驾驶员模型和合作型驾驶员模型；S3、根据测试需求，将不同成长阶段的驾驶员模型和不同的个性化驾驶员模型按照对应的需求比例，以组合生成相应的目标测试场景。2.根据权利要求1所述的一种基于个性化驾驶员模型的自动驾驶测试场景生成方法，其特征在于，所述步骤S1具体包括以下步骤：S11、定义并构建安全型驾驶员模型；S12、根据安全型驾驶员模型，基于遗传与进化思想、结合强化学习，逐级训练得到新手驾驶员模型、经验驾驶员模型以及熟练驾驶员模型。3.根据权利要求2所述的一种基于个性化驾驶员模型的自动驾驶测试场景生成方法，其特征在于，所述安全型驾驶员模型的驾驶策略具体为：当时，自车采取“急减速”动作；当时，自车采取“减速”动作；当时，自车采取“减速”动作；其中，d
rel_front
为自车与同车道前车的相对距离，v
rel_front
为自车与同车道前车的相对速度、v
ego
为自车速度。4.根据权利要求3所述的一种基于个性化驾驶员模型的自动驾驶测试场景生成方法，其特征在于，所述新手驾驶员模型的动作空间只有纵向动作，包括：纵向匀速、纵向加速、纵向急加速、纵向减速以及纵向急减速共五种动作；所述新手驾驶员模型根据自车与他车的纵向相对距离d
rel
、纵向相对速度v
rel
、自车速度v
ego
以及车道信息来定义状态集，所述他车包括与本车处于不同车道的车，当他车在自车前方时，他车的纵向速度记为v
f
，当他车在自车后方时，他车的纵向速度记为v
r
，则纵向相对速度定义如下：其中，d
rel
包括d
rel_front
、d
rel_crear
、d
rel_left_front
、d
rel_left_rear
、d
rel_rigth_front
和d
rel_right_rear
，它们分别为本车与同车道前方车辆的相对距离、本车与同车道后方车辆的相对距离、本车与左侧车道前方车辆的相对距离、本车与左侧车道后方车辆的相对距离、本车与右侧车道前方车辆的相对距离以及本车与右侧车道后方车辆的相对距离；v
rel
包括
v
rel_front
、v
rel_crear
、v
rel_left_front
、v
rel_left_rear
、v
rel_rigth_front
和v
rel_right_rear
，它们分别为本车与同车道前方车辆的相对速度、本车与同车道后方车辆的相对速度、本车与左侧车道前方车辆的相对速度、本车与左侧车道后方车辆的相对速度、本车与右侧车道前方车辆的相对速度以及本车与右侧车道后方车辆的相对速度；所述新手驾驶员模型根据所在车道来定义车道编号line_id，根据自车的速度与前车的相对距离计算得到并将其分为三个状态，具体包括：并将其分为三个状态，具体包括：并将其分为三个状态，具体包括：根据自车速度与相对速度来计算并将其分为三个状态，具体包括：并将其分为三个状态，具体包括：并将其分为三个状态，具体包括：所述新手驾驶员模型中，自车在车道内相对车道中心线的偏移量被量化为：“偏左”，即自车位于车道中心线左侧；“居中”，即自车位于车道中心线上；“偏右”，即自车位于车道中心线右侧。5.根据权利要求4所述的一种基于个性化驾驶员模型的自动驾驶测试场景生成方法，其特征在于，所述步骤S12中训练新手驾驶员模型的具体过程为：首先建立车辆随时间的运动模型，并选取合适的时间步，同时初始化参数、生成仿真环境，其中，所述初始化参数包括仿真车辆总数n
c
、允许的最大初始化距离以及仿真时长t
f
；再利用安全型驾驶员模型作为背景车进行训练，得到新手驾驶员模型雏形；然后以新手驾驶员模型雏形代替安全型驾驶员模型作为背景车进行训练，得到新手驾驶员模型；所述新手驾驶员模型训练过程中的奖励函数具体为：R1＝ω
s
R
safety
+ω
e
R
efficiency
其中，ω
s
为安全性因素的权重，ω
e
为通行效率因素的权重；R
safety
为考虑安全性的奖励函数，该部分奖励函数的设计需要考虑责任判别机制和跟车距离，所述责任判别机制具体为：当发生车辆碰撞时，若两辆车均无变道，则前车无交通
事故责任，而后车担负全部交通事故责任；若一车有变道行为，则具有变道行为的车负全责；若两车均变道，则两车均摊责任；R
efficiency
为考虑通行效率的奖励函数；在训练过程中，新手驾驶员模型通过与环境交互，获取环境信息，新手驾驶员模型在获得当前时刻t的状态量s
t
之后，选择一个和当前状态量s
t
对应的最具价值动作具体训练时新手驾驶员模型在s
t
状态下，根据选择执行的动作a
t
之后，得到一个奖励r
t+1
，并进入下一个状态s
t+1
，根据下一个状态的对应的和r
t+1
来更新Q(s
t
，a
t
)，通过不断迭代训练，使新手驾驶员模型最终可以做出对应于当前环境状态下的最优动作。6.根据权利要求4所述的一种基于个性化驾驶员模型的自动驾驶测试场景生成方法，其特征在于，所述经验驾驶员模型的动作空间遗传有新手驾驶员模型的五种动作，并将横向匀速与五种纵向动作组合进化得到新的五种变道动作，包括：纵向匀速、纵向加速、纵向急加速、纵向减速、纵向急减速、纵向匀速横向匀速、纵向加速横向匀速、纵向急加速横向匀速、纵向减速横向匀速以及纵向急减速横向匀速共十种动作；所述经验驾驶员模型的状态集与新手驾驶员模型的状态集相一致；所述步骤S12中训练检验驾驶员模型的具体过程为：首先用安全型驾驶员模型作为背景车进行训练，得到经验驾驶员模型雏形；然后用已训练的新手驾驶员模型和经验驾驶员模型雏形等比例代替安全型驾驶员模型，以作为背景车进行训练，得到经验驾驶员模型；所述经验驾驶员模型训练过程中的奖励函数具体为：R2=ω
s
R
safety
+ω
e
R
efficiency
+ω
r
R
riding_...

【专利技术属性】
技术研发人员：陈君毅，马依宁，吴建峰，吴靖宇，熊璐，
申请(专利权)人：同济大学，
类型：发明
国别省市：