自动驾驶算法的性能评估方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及自动驾驶测试技术领域，公开了一种自动驾驶算法的性能评估方法、装置、设备及存储介质，用于提升性能评估准确度，缩短算法迭代周期和提升开发效率。该方法通过获取自动驾驶系统中各自动驾驶算法的仿真测试数据，并对仿真测试数据进行分析，得到异常指标和对应的场景数据，确定异常指标的类别，基于类别从预先构建的指标诊断逻辑表中匹配对应的决策树，按照决策树中各节点对应的评估内容，对对应的场景数据进行评估，并基于评估的结果生成自动驾驶算法的仿真测试报告。成自动驾驶算法的仿真测试报告。成自动驾驶算法的仿真测试报告。

【技术实现步骤摘要】
自动驾驶算法的性能评估方法、装置、设备及存储介质


[0001]本专利技术涉及自动驾驶测试
，尤其涉及一种自动驾驶算法的性能评估方法、装置、设备及存储介质。

技术介绍

[0002]随着人工智能技术的发展，尤其是在汽车自动驾驶方向的研究，通过开发自动控制程序来对车辆中的各个器件进行自动控制，而在应用自动驾驶技术的过程中，要处理的场景非常复杂多样，因此需要通过在大量测试场景中进行仿真测试，对比主车在测试场景中新算法与原算法行为表现，以此来评估新算法性能的变化。
[0003]目前，通过各种评估指标来评估主车在测试场景的表现，如安全性，舒适性，变道完成度等。在对比时，重点关注评估指标有重要变化的场景，通过诊断找出主车行为确实变好/变坏的场景，而该场景的寻找标注主要是采用人工来实现，这样的实现方式效率低。

技术实现思路

[0004]本专利技术提供了一种自动驾驶算法的性能评估方法、装置、设备及存储介质，主要目的在于解决现有的算法仿真结果诊断流程需要大量的人工接入，导致诊断评估时间过长且精准度低，不利于算法迭代开发的问题。
...

【技术保护点】

【技术特征摘要】
1.一种自动驾驶算法的性能评估方法，其特征在于，所述自动驾驶算法的性能评估方法包括：获取自动驾驶系统中各自动驾驶算法的仿真测试数据，并对所述仿真测试数据进行分析，得到异常指标和对应的场景数据；确定所述异常指标的类别，基于所述类别从预先构建的指标诊断逻辑表中匹配对应的决策树，其中所述决策树包含至少一个节点，每个节点对应指标的不同评估内容；按照所述决策树中各节点对应的评估内容，对对应的场景数据进行评估，并基于评估的结果生成所述自动驾驶算法的仿真测试报告。2.根据权利要求1所述的自动驾驶算法的性能评估方法，其特征在于，所述获取自动驾驶系统中各自动驾驶算法的仿真测试数据，并对所述仿真测试数据进行分析，得到异常指标和对应的场景数据，包括：确定待评估的自动驾驶算法；基于所述自动驾驶算法，分别从自动驾驶系统和算法仿真平台中采集对应的真实驾驶数据和仿真测试数据；将所述真实驾驶数据与所述仿真测试数据进行比对，并基于比对的结果从所述仿真测试数据中提取对应的场景数据；对所述场景数据进行指标的解析，得到异常指标。3.根据权利要求2所述的自动驾驶算法的性能评估方法，其特征在于，所述对所述场景数据进行指标的解析，得到异常指标，包括：识别所述场景数据中的主车行驶轨迹和行驶过程中的控制数据；将所述主车行驶轨迹和所述控制数据与预设的场景定义信息进行匹配，基于匹配的结果确定场景类型；根据所述场景类型，从所述控制数据提取与场景相关的性能参数，并基于所述性能参数确定异常指标。4.根据权利要求3所述的自动驾驶算法的性能评估方法，其特征在于，所述确定所述异常指标的类别，基于所述类别从预先构建的指标诊断逻辑表中匹配对应的决策树，包括：根据场景类型与各指标之间的对应关系，确定所述异常指标在所述场景类型下的场景中的类别；根据所述场景类型确定对应的场景相关问题，并基于所述场景相关问题确定对应的标注信息，其中所述场景相关问题为用于评估所述自动驾驶算法在对应的场景下的控制性能的评估项；基于所述标注信息，从预先构建的的指标诊断逻辑表中匹配出对应的决策树，其中所述指标诊断逻辑表中包含有用于评估不同指标的决策树。5.根据权利要求3所述的自动驾驶算法的性能评估方法，其特征在于，所述按照所述决策树中各节点对应的评估内容，对对应的场景数据进行评估，并基于评估的结果生成所述自动驾驶算法的仿真测试报告，包括：解析所述决策树中各树干的评估项，以及所述评估项下的各节点的评估内容；基于所述评估项，提取所述控制数据中的车辆控...

【专利技术属性】
技术研发人员：孙佳晶，韩旭，
申请(专利权)人：广州文远知行科技有限公司，
类型：发明
国别省市：