一种面向自动驾驶系统的加速测试系统技术方案

本发明专利技术涉及一种面向自动驾驶系统的加速测试系统，该系统包括场景构建模块、仿真模块、加速测试模块以及仿真流程管理模块，场景构建模块提供面向自动驾驶系统具体测试需求的功能场景、逻辑场景以及特定场景格式的具体场景，仿真模块支持自动驾驶系统在相应的仿真场景中运行并返回原始仿真结果，加速测试模块基于原始仿真结果计算评价指标，并通过优化搜索算法探索场景参数空间，仿真流程管理模块根据具体场景配置仿真场景、控制每轮仿真实验的生存周期以及整体加速测试的终止时机并使对应测试过程自动化进行。本发明专利技术可以帮助寻找决策规划系统的设计缺陷，提高系统安全性和可靠性，可以帮助寻找系统的性能边界，减少场景测试的时间，提高测试效率。

【技术实现步骤摘要】
一种面向自动驾驶系统的加速测试系统
本专利技术涉及自动驾驶仿真场景测试
，尤其是涉及一种面向自动驾驶系统的加速测试系统。
技术介绍
在自动驾驶测试过程中，基于仿真的场景测试方法已成为国内外研究热点。通过构建在环仿真平台可以方便快捷地为自动驾驶系统配置各种场景，进行大规模测试。且通过针对性的测试场景设计，可以提高测试效率。但在使用基于场景的测试方法时，理论上所有的测试影响因素组合都必须被测试，以验证系统安全性。如果系统的影响因素具有连续定义域，则可以生成无限数量的具体测试场景，完整地测试这些场景需要消耗大量的时间成本。如何提高对开发和测试更具意义的关键场景的生成效率，加速自动驾驶测试过程是一个关键难题。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种面向自动驾驶系统的加速测试系统。本专利技术的目的可以通过以下技术方案来实现：一种面向自动驾驶系统的加速测试系统，该系统包括场景构建模块、仿真模块、加速测试模块以及仿真流程管理模块。其中，所述场景构建模块，用于提供面向自动驾驶系统具体测试需求的功能场景、逻辑场景以及特定场景格式的具体场景；所述仿真模块，用于在配置的具体仿真场景中，运行被测自动驾驶系统并获取原始仿真结果；所述加速测试模块，用于根据原始仿真结果计算评价指标，对被测自动驾驶系统在该场景下的表现进行评估，并根据加速算法生成优先待评估的场景参数组合；所述仿真流程管理模块，用于根据具体场景配置仿真场景、控制每轮仿真实验的生存周期以及整体加速测试的终止时机并使整个加速测试过程自动化进行。进一步地，所述的场景构建模块包括面向特定自动驾驶系统具体测试需求的功能场景元素库、统一的功能场景描述格式、场景元素的参数范围库及约束条件库以及以特定场景格式为载体的具体场景。进一步地，所述的仿真模块包括自动驾驶仿真软件、被测自动驾驶系统以及其他可选的实时测量硬件等在环仿真管理设备。进一步地，所述的加速测试模块包括面向不同评价维度的原始仿真结果计算模块以及用于生成优先待评估的场景参数组合的优化搜索算法模块。进一步地，所述的仿真流程管理模块包括仿真场景配置模块、单轮仿真实验生存周期控制模块、整体加速测试终止时机控制模块以及自动化测试模块。进一步地，所述的功能场景元素库包括道路、交通设施、临时变动、静动态实体、环境和数字信息的主要分类以及相互关系；所述的功能场景描述格式包括标准化的高级自然语言格式以及JSON、XML、SDL等序列化语言格式；所述的特定元素参数范围包括离散型参数的可选值集合以及连续型参数的上下限和分布；所述的约束条件包括不同元素的值约束条件和关系约束条件等；所述的以特定场景格式为载体的具体场景包括以OpenSCENARIO和OpenDRIVE、GeoSCENARIO和Lanelet为核心的专用自动驾驶具体场景格式，以及以Python脚本、Protobuf等为核心的自定义自动驾驶具体场景格式。进一步地，所述的自动驾驶仿真软件包括开源自动驾驶仿真软件CARLA、AirSim以及LGSVL等，商业自动驾驶仿真软件ViresTestDrive以及PreScan等，机器人仿真软件Gazebo以及V-REP等；所述的被测自动驾驶系统从属性角度包括模型、软件、硬件以及实车，从完整程度上包括全栈自动驾驶系统以及感知、决策规划、控制执行等自动驾驶子系统，从算法实现角度包括模块化的自动驾驶系统以及端到端的自动驾驶系统；所述的在环仿真设备包括PXI、dSPACE、ETAS等品牌的实时测量硬件。进一步地，所述的原始仿真结果计算模块所涉及的评价维度包括安全性评价指标、鲁棒性评价指标、舒适性评价指标、经济性评价指标等；所述的优化搜索算法模块包括启发式搜索算法、贝叶斯优化算法、强化学习搜索算法以及各种优化搜索算法的组合等。进一步地，所述的仿真场景配置模块用于依据静态场景参数生成道路拓扑以及建筑物等基本仿真环境，依据动态场景参数控制各仿真对象的行为逻辑等；所述的单轮仿真实验生存周期控制模块主要包括基于时间触发、基于地点触发、基于事件触发的生存周期控制方法；所述的整体加速测试终止模块则包括消耗完预先分配的仿真时间、达到预先设定的实验迭代轮数、仿真实验结果收敛等终止条件；所述的自动化测试模块管理以上流程自动化进行。进一步地，所述的安全性评价指标包括碰撞时间(TimeToCollision，TTC)、车头时距(TimeHeadway，TH)等；所述的鲁棒性评价指标包括时序逻辑的违反程度等；所述的舒适性评价指标包括最大、最小加速度以及加速度变化率等；所述的经济性评价指标包括系统处理特定场景所需时间以及计算力消耗等。本专利技术还提供了一种面向自动驾驶系统的加速测试系统的整体应用流程，包括如下步骤：S1、依据被测自动驾驶系统的特性和测试需求从功能场景元素库中选取功能场景元素；S2、选择功能场景的描述格式；S3、在选定的功能场景元素的基础上，选择关键场景参数的参数取值范围和需考虑的约束条件类型；S4、选择生成的具体场景格式，生成以特定场景格式为载体的具体场景；S5、构建基于自动驾驶仿真软件、被测自动驾驶系统以及可选的相关仿真设备的在环仿真测试系统；S6、选择评价维度以及具体优化算法，设计具体评价指标的计算方式，选择具体优化算法的模型参数；S7、选择单轮仿真实验终止条件、加速测试终止条件；S8、单轮仿真实验开始，在仿真测试系统中根据具体场景参数构建并运行自动驾驶仿真场景；S9、在仿真实验中，通过仿真数据接口不断获取并保存用以计算评价指标以及与仿真实验终止条件相关的原始仿真结果，并计算是否满足仿真实验终止条件，满足时终止当前轮次仿真实验；S10、根据原始仿真结果计算评价指标，度量被测自动驾驶系统在当前场景下的表现；S11、优化算法基于获取的场景参数和评价指标，生成优先待评估的新的场景参数组合；S12、计算是否满足加速测试终止条件；S13、重复S8-S12，直到满足加速测试终止条件时退出。与现有技术相比，本专利技术具有以下优点：(1)本专利技术系统利用仿真平台和优化算法，将基于场景测试的加速测试问题转化为数学上的黑箱优化问题，降低了分析问题的复杂性，提高了场景测试效率，加速了自动驾驶测试过程。(2)本专利技术系统支持自动化运行整个加速测试过程：通过预先分析设定单轮仿真实验的终止条件、加速测试的终止条件以及基于场景的仿真实验配置方法，使整个加速过程自动化进行，减少了手动操作的时间成本。(3)本专利技术系统通过提高面向自动驾驶系统的关键场景生成效率，在系统开发过程中，可以帮助开发人员寻找决策规划系统的设计缺陷，从而更有效地迭代算法，进而提高系统的安全性，保障系统的可靠性。在系统验证过程中，可以帮助测试人员寻找系统的性能边界，减少场景测试的时间，进而提高测试效率。(4)本专利技术系统具有完备的场景加速测试流程支持：系统支持多维度场景、不同评价维度、不同加速算法。...

【技术保护点】
1.一种面向自动驾驶系统的加速测试系统，其特征在于，该系统包括场景构建模块、仿真模块、加速测试模块以及仿真流程管理模块，其中：/n所述场景构建模块，用于提供面向自动驾驶系统具体测试需求的功能场景、逻辑场景与特定场景格式的具体场景；/n所述仿真模块，用于在配置的具体仿真场景中运行被测自动驾驶系统，并获取原始仿真结果；/n所述加速测试模块，用于根据原始仿真结果计算评价指标，对被测自动驾驶系统在该场景下的表现进行评估，并根据加速算法生成优先待评估的场景参数组合；/n所述仿真流程管理模块，用于配置仿真场景，控制单轮仿真实验的生存周期以及整个加速测试过程的终止时机，并使对应过程自动化进行。/n

【技术特征摘要】
1.一种面向自动驾驶系统的加速测试系统，其特征在于，该系统包括场景构建模块、仿真模块、加速测试模块以及仿真流程管理模块，其中：
所述场景构建模块，用于提供面向自动驾驶系统具体测试需求的功能场景、逻辑场景与特定场景格式的具体场景；
所述仿真模块，用于在配置的具体仿真场景中运行被测自动驾驶系统，并获取原始仿真结果；
所述加速测试模块，用于根据原始仿真结果计算评价指标，对被测自动驾驶系统在该场景下的表现进行评估，并根据加速算法生成优先待评估的场景参数组合；
所述仿真流程管理模块，用于配置仿真场景，控制单轮仿真实验的生存周期以及整个加速测试过程的终止时机，并使对应过程自动化进行。


2.根据权利要求1所述的一种面向自动驾驶系统的加速测试系统，其特征在于，所述的场景构建模块包括面向特定自动驾驶系统具体测试需求的功能场景元素库、统一的功能场景描述格式、场景元素的参数范围库及约束条件库以及以特定场景格式为载体的具体场景。


3.根据权利要求1所述的一种面向自动驾驶系统的加速测试系统，其特征在于，所述的仿真模块包括自动驾驶仿真软件、被测自动驾驶系统以及可选的在环仿真管理设备。


4.根据权利要求1所述的一种面向自动驾驶系统的加速测试系统，其特征在于，所述的加速测试模块包括面向不同评价维度的原始仿真结果计算模块以及用于生成优先待评估的场景参数组合的优化搜索算法模块。


5.根据权利要求1所述的一种面向自动驾驶系统的加速测试系统，其特征在于，所述的仿真流程管理模块包括用于依据静态场景参数生成基本仿真环境，依据动态场景参数控制各仿真对象的行为逻辑的仿真场景配置模块、单轮仿真实验生存周期控制模块、整体加速测试终止时机控制模块以及用于使对应过程自动化进行的自动化测试模块。


6.根据权利要求2所述的一种面向自动驾驶系统的加速测试系统，其特征在于，所述的功能场景元素库包括道路、交通设施、临时变动、静动态实体、环境和数字信息的分类及相关关系；所述的功能场景描述格式包括自然语言格式和序列化语言格式；所述的参数...

【专利技术属性】
技术研发人员：陈君毅，冯天悦，吴旭阳，刘力豪，邢星宇，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海;31