一种基于错误注入器的自动驾驶性能局限测试系统及方法技术方案

本发明专利技术涉及一种基于错误注入器的自动驾驶性能局限测试系统，用于对自动驾驶系统进行安全鲁棒性的测试，包括错误搜索器、结果监视器以及依次连接的错误模型库、错误生成器和错误注入器；所述的错误模型库内存储原子错误类型和错误模式；所述的错误生成器获取错误模式和错误参数，并生成错误数据；所述的错误注入器将错误数据注入到被测自动驾驶系统中；所述的结果监视器收集被测自动驾驶系统的测试结果并进行数据处理；所述的错误搜索器根据测试结果和错误模式对关键错误进行搜索，得到优化后的错误参数，与现有技术相比，本发明专利技术具有提高自动驾驶汽车在实际使用环境中的安全性等优点。

【技术实现步骤摘要】
一种基于错误注入器的自动驾驶性能局限测试系统及方法
本专利技术涉及自动驾驶和智能交通领域，尤其是涉及一种基于错误注入器的自动驾驶性能局限测试系统及方法。
技术介绍
自动驾驶汽车的首要目标是安全性，对自动驾驶汽车进行测试是保证其安全性的必要途径。现有安全标准ISO26262和标准草案ISO21448要求对自动驾驶汽车在不确定外部环境因素和系统内部错误下的表现进行测试和评估。针对自动驾驶系统进行的测试，按照使用的测试工具可以分为道路测试和仿真测试两大类。其中道路测试的真实度高，但成本高、灵活度低、效率低。仿真测试使用计算机模拟测试环境，在适当牺牲真实度的情况下，大幅提高了测试效率、测试灵活性以及测试过程中的安全性，是对自动驾驶系统进行试验的有效途径。仿真测试按照模拟的成分可以分为整车在环测试(VIL)、硬件在环测试(HIL)、软件在环测试(SIL)以及模型在环测试(MIL)。目前，针对自动驾驶系统开展的在环仿真测试几乎全为功能性测试，即只关注系统在理想条件下是否能安全高效地完成指定驾驶任务。而在实际使用环境中，自动驾驶汽车面临极端天气(雨雪、雷暴、大风等)和极端环境(电磁、高温、高压、高湿度等)的影响，系统内部精密的电子元部件也可能发生随机失效；同时，自动驾驶系统对环境信息的测量和处理总是存在一定误差，并且部分环境信息如交通参与者的意图无法直接观测得到，需进行预测。自动驾驶系统通过感知系统对环境信息进行测量和处理，得到感知结果；通过决策系统接收感知结果作为输入，决策出安全合理的驾驶行为；通过控制系统执行决策规划的结果，控制车辆运动。但现有技术无法保证得到完全准确的结果，所以需要自动驾驶系统能够对错误具有一定鲁棒性，以保证安全行驶。仅对自动驾驶系统进行功能性测试无法验证其在实际运行环境中的安全性，因此开发过程中需要对其在不确定性条件下的表现，即其鲁棒性进行单独测试。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供一种基于错误注入器的自动驾驶性能局限测试系统及方法，能够对自动驾驶系统在不确定性条件下或者内部随机错误情况下，对其鲁棒性进行单独测试，提高自动驾驶汽车在实际使用环境中的安全性。本专利技术的目的可以通过以下技术方案来实现：一种基于错误注入器的自动驾驶性能局限测试系统，用于对自动驾驶系统进行安全鲁棒性的测试，包括错误搜索器、结果监视器以及依次连接的错误模型库、错误生成器和错误注入器，所述的错误搜索器分别与错误生成器和结果监视器连接，所述的结果监视器通过被测自动驾驶系统与错误注入器连接；所述的错误模型库内存储原子错误类型和错误模式；所述的错误生成器获取错误模式和错误参数，并生成错误数据；所述的错误注入器将错误数据注入到被测自动驾驶系统中；所述的结果监视器收集被测自动驾驶系统的测试结果并进行数据处理；所述的错误搜索器根据测试结果和错误模式对关键错误进行搜索，得到优化后的错误参数。该系统还包括测试流程管理框架，所述的测试流程管理框架分别与结果监视器和自动驾驶系统连接，包括测试用例配置器、测试用例执行器和自动化测试器，所述的测试用例配置器用于配置自动驾驶系统仿真环境中的测试用例参数，所述的测试用例执行器用于根据设定的起始条件和结束条件，控制自动驾驶系统自动开始和结束单轮仿真试验，所述的自动化测试器用于根据设定测试用例参数空间，通过采样连续生成测试用例。进一步地，所述的测试用例参数包括路网文件、交通信号、各交通参与者属性、各交通参与者动态行为、天气环境和V2X环境，所述的测试用例配置器和测试用例执行器分别通过被测自动驾驶系统提供的接口进行测试用例参数配置和仿真试验控制。进一步地，所述的原子错误类型为无法继续分割的错误类型，例如数值错误、类别错误、开始时间错误、结束时间错误等，所述的错误模式为原子错误类型按照设定的规则组合得到的结构，组合规则可以根据领域知识得到，例如对常用传感器如摄像头、激光雷达等进行环境影响因素分析，也可以采用完全随机的方式。进一步地，所述的错误生成器包括错误参数配置器和错误数据生成器，所述的错误参数配置器用于从错误模型库中获取错误模式，并配置错误模式的参数，可配置的错误模式参数包括但不限于允许误差值大小、采样间隔、统计分布规律等，所述的错误数据生成器用于从完成参数配置的错误模式中，采样得到错误数据，并将错误数据封装成被测自动驾驶系统对应的格式，采样的方式可以选择定点采样、蒙特卡洛采样、网格采样等。进一步地，所述的错误注入器通过错误注入接口与被测自动驾驶系统连接，所述的错误注入接口中包括被测对象输入通道和被测对象内部状态，所述的被测对象输入通道包括感知输入通道(相机RGB数据、激光雷达点云数据、GNSS定位数据等)、V2X输入通道(V2X消息等)、决策输入通道(交通参与者或障碍物位置、姿态、速度、预测行为等)、规划输入通道(目标点，速度约束等)、控制输入通道(目标轨迹、目标速度、目标转向角等)和执行输入通道(制动液压力大小、油门开度、方向盘转角等)，所述的被测对象内部状态包括被测自动驾驶系统内存和寄存器中的变量。进一步地，所述的结果监视器包括结果记录器、结果分析器和结果可视化工具，所述的结果记录器获取被测自动驾驶系统试验过程中的测试结果，测试结果包括但不限于自车和交通参与者的位置、姿态、速度和加速度、虚拟相机和激光雷达传感器的RGB图、深度图和点云数据以及碰撞检测传感器的撞击能量、撞击速度等，所述的结果分析器对测试结果进行数据处理得到分析指标，分析指标可用安全性、舒适性、高效性等方面的典型指标，包括但不限于前碰撞时间(TTC,TimeToCollision)、后侵入时间(PET，PostEncroachmentTime)、计权加速度均方根值等，所述的结果可视化工具提供GUI工具，分别与结果记录器和结果分析器连接，用于将测试结果信息可视化展示，可视化展示包括但不限于图表、提示、动画等，可是实时或离线进行展示。进一步地，所述的错误搜索器分别与错误数据生成器和结果分析器连接，所述的错误搜索器获取结果分析器处理得到的分析指标和错误数据生成器生成的错误数据，进行关键错误的搜索，优化算法可以使用包括但不限于贝叶斯优化、遗传算法、蚁群算法、贝叶斯网络、深度神经网络等。更进一步地，所述的错误搜索器对关键错误进行搜索的方法具体包括：获取错误数据生成器的错误数据作为自变量，获取模块结果分析器处理得到的分析指标，并在分析指标的基础上构建目标函数，然后通过优化算法对错误参数进行优化，使得目标函数取极值或满足给定条件，得到关键错误。一种如所述的基于错误注入器的自动驾驶性能局限测试系统的测试方法，包括以下步骤：S1：错误生成器获取错误模型库的错误模式和错误搜索器优化的错误参数，并生成错误数据；S2：错误注入器将错误数据注入到被测自动驾驶系统中；S3：被测自动驾驶系统根据测试用例进行单轮试验，生成测试结果；S4：结果监视器收集被测自动驾驶系统的测试结果本文档来自技高网...

【技术保护点】
1.一种基于错误注入器的自动驾驶性能局限测试系统，用于对自动驾驶系统进行安全鲁棒性的测试，其特征在于，包括错误搜索器(5)、结果监视器(4)以及依次连接的错误模型库(1)、错误生成器(2)和错误注入器(3)，所述的错误搜索器(5)分别与错误生成器(2)和结果监视器(4)连接，所述的结果监视器(4)通过被测自动驾驶系统与错误注入器(3)连接；/n所述的错误模型库(1)内存储原子错误类型和错误模式；/n所述的错误生成器(2)获取错误模式和错误参数，并生成错误数据；/n所述的错误注入器(3)将错误数据注入到被测自动驾驶系统中；/n所述的结果监视器(4)收集被测自动驾驶系统的测试结果并进行数据处理；/n所述的错误搜索器(5)根据测试结果和错误模式对关键错误进行搜索，得到优化后的错误参数。/n

【技术特征摘要】
1.一种基于错误注入器的自动驾驶性能局限测试系统，用于对自动驾驶系统进行安全鲁棒性的测试，其特征在于，包括错误搜索器(5)、结果监视器(4)以及依次连接的错误模型库(1)、错误生成器(2)和错误注入器(3)，所述的错误搜索器(5)分别与错误生成器(2)和结果监视器(4)连接，所述的结果监视器(4)通过被测自动驾驶系统与错误注入器(3)连接；
所述的错误模型库(1)内存储原子错误类型和错误模式；
所述的错误生成器(2)获取错误模式和错误参数，并生成错误数据；
所述的错误注入器(3)将错误数据注入到被测自动驾驶系统中；
所述的结果监视器(4)收集被测自动驾驶系统的测试结果并进行数据处理；
所述的错误搜索器(5)根据测试结果和错误模式对关键错误进行搜索，得到优化后的错误参数。


2.根据权利要求1所述的一种基于错误注入器的自动驾驶性能局限测试系统，其特征在于，该系统还包括测试流程管理框架(6)，所述的测试流程管理框架(6)分别与结果监视器(4)和自动驾驶系统连接，包括测试用例配置器(61)、测试用例执行器(62)和自动化测试器(63)，所述的测试用例配置器(61)用于配置自动驾驶系统仿真环境中的测试用例参数，所述的测试用例执行器(62)用于根据设定的起始条件和结束条件，控制自动驾驶系统自动开始和结束单轮仿真试验，所述的自动化测试器(63)用于根据设定测试用例参数空间，通过采样连续生成测试用例。


3.根据权利要求1或2所述的一种基于错误注入器的自动驾驶性能局限测试系统，其特征在于，所述的原子错误类型为无法继续分割的错误类型，所述的错误模式为原子错误类型按照设定的规则组合得到的结构。


4.根据权利要求1或2所述的一种基于错误注入器的自动驾驶性能局限测试系统，其特征在于，所述的错误生成器(2)包括错误参数配置器(21)和错误数据生成器(22)，所述的错误参数配置器(21)用于从错误模型库(1)中获取错误模式，并配置错误模式的参数，述的错误数据生成器(22)用于从完成参数配置的错误模式中，采样得到错误数据，并将错误数据封装成被测自动驾驶系统对应的格式。


5.根据权利要求4所述的一种基于错误注入器的自动驾驶性能局限测试系统，其特征在于，所述的错误注入器(3)通过错误注入接口与被测自动驾驶系统连接，所述的错误注入接口中包括被测对象输入通道和被测对象内部状态，所述的被测对象输入通道包括感知输入通道、V2X输入通道、决策输入通道、规划输入通道、控制输入通道和执行输入通道，所述的被测对象内部状态包括...

【专利技术属性】
技术研发人员：陈君毅，刘力豪，吴旭阳，冯天悦，邢星宇，
申请(专利权)人：同济大学，
类型：发明
国别省市：上海;31