【技术实现步骤摘要】
本专利技术属于自动驾驶测试，涉及一种目标检测系统的测试方法及系统，具体涉及一种基于对象替换的自动驾驶目标检测系统锐变测试方法及系统。
技术介绍
1、自动驾驶系统中的目标检测系统负责对摄像头接收的图片数据做处理，从中识别重要的对象，包括行人、其他车辆、交通标志等。目标检测系统属于自动驾驶系统中的感知模块，其功能依赖于预训练的深度神经网络，是自动驾驶系统的关键模块，目标检测系统的可靠性和鲁棒性对于实现安全、高效的自动驾驶至关重要，因此需要完善的测试技术验证其鲁棒性。
2、已有的方法广泛地使用蜕变测试来合成驾驶场景图片来测试感知模块，通常对于视觉感知模块的输入图片做变异，例如在全图增加噪声、向背景中增加额外对象、使用生成对抗网络生成不同外观的图片，期望自动驾驶系统能在这些变异图片上作出符合要求的决策。然而目前使用蜕变操作生成的测试用例往往质量不高，比如全局的改动方式(增加噪声)会造成无效的场景；使用向背景中插入任意对象的方式会造成不真实的场景。
3、目前的方法存在局限性，因为它们没有关注场景图片中的关键像素，即待识别对象。现有基于图片的测试自动驾驶感知模块的方法主要有两种：全场景变换和向背景中插入对象。1.全场景变换方式：deeproad使用生成对抗网络来生成具有不同天气状况的驾驶场景。这种生成的测试用例通常用于测试自动驾驶系统的决策能力，而不适用于目标检测系统的测试。2.对象插入方式：其中两个代表性方法是semimfuzz和metaod。semimfuzz将对象原始位置直接插入到图像中，不进行额外的仿射变换，
4、自动驾驶目标检测系统的蜕变测试涉及以下几个技术背景：
5、1、基于深度神经网络的目标检测算法：包括两阶段目标检测算法(如faster-rcnn、mask-rcnn)和单阶段目标检测算法(如yolo、retinanet)。
6、2、数据集：用于训练和测试目标检测系统的数据集，例如cityscapes、kitti和apollo等。
7、3、测试用例生成技术：通过处理原始驾驶场景图片来生成新的测试用例。常见方法包括对抗样本生成、蜕变操作以及基于生成对抗网络的生成。
8、4、测试结果评估方式：经典评估方式是基于边界框交并比面积计算平均精确度(ap)，需要计算构成精确率召回率曲线下方面积的精确率和召回率。
技术实现思路
1、针对自动驾驶场景下目标检测系统测试用例生成和评估方式的不足，本专利技术提供了一种基于对象替换的自动驾驶目标检测系统锐变测试方法及系统。
2、本专利技术的方法采用的技术方案是：一种基于对象替换的自动驾驶目标检测系统测试方法，包括以下步骤：
3、步骤1：采集实例级别标注的原始自动驾驶场景数据，构建原始自动驾驶场景数据集；将原始自动驾驶场景数据集中图片进行处理，一部分作为原始场景图片，另一部分构建为对象池，作为可识别对象提取来源图片；将原始场景图片作为待测目标检测系统的输入得到原始场景图片上的目标检测结果；
4、步骤2：定义自动驾驶场景下目标检测系统的蜕变关系，基于对象替换的方式从原始场景图片中生成派生测试用例，派生测试用例包括生成的新场景图片和被替换对象位置记录信息；
5、步骤3：将生成的新场景图片作为待测目标检测系统的输入进行处理，得到对于新场景的目标检测结果，根据预定义的蜕变关系计算新场景的目标检测结果与原始场景图片的目标检测结果的完全交并比矩阵，从而判断目标检测系统是否出现了不符合预期的错误输出；
6、步骤4：使用最优匹配方法从完全交并比矩阵中筛选出错误预测边界框，同时考虑预测边界框与真值边界框的几何关系、位置、类别、交并比的特征，精确定位具体的目标检测错误。
7、作为优选，步骤1中，对象池中对象来源于不同的行车场景，包括不同的天气、光照和城市街道风光。
8、作为优选，步骤1中，在对象池的构建过程中，对于面积小于阈值的低质量对象进行筛除。
9、作为优选，步骤2中，所述蜕变关系定义为：场景中的某个对象的检测结果不受其他对象的影响，即场景中对象的检测结果是上下文无关的；所述蜕变关系基于相似外形的对象进行替换，以模拟真实自动驾驶场景中的对象变化。
10、作为优选，步骤2中，所述基于对象替换的方式从原始场景图片中生成派生测试用例，是基于实例级别的标注，获得原始场景中的原始对象的语义分割掩码，通过迭代对象池中的已提取对象，比较原始对象和已提取对象的外形相似度，选取相似程度高于阈值的对象与原始场景中的对象进行替换；对于原始场景图片中的某个对象进行替换后，生成派生测试用例，派生测试用例中所包含的对象数量与原始场景图片一致，并且不破坏场景像素，仅将被替换对象的像素变更为来自对象池中的某个匹配对象。
11、作为优选，对象匹配阶段计算外形相似度，涉及待匹配对象的仿射变换，包括掩码放缩、平移和对称处理；选取经过仿射变换达到外接边界框重合时的最大语义掩码交并比值作为两个待替换对象的外形相似度。
12、作为优选，步骤3中所述完全交并比为：
13、
14、
15、其中，iou是通过计算检测边界框之间的交集面积和并集面积的比例来衡量两个边界框的重叠程度；b表示预测边界框；bgt表示真值边界框；ρ2表示两个边界框的中心点欧几里得距离；c表示两个待匹配边界框的最小外接矩形的对角线距离；v用来衡量两个边界框的长宽比相似度，两个边界框b和bgt的长度、宽度分别记为w,h和wgt,hgt。
16、作为优选，步骤4中，使用最优匹配的方法从完全交并比矩阵中筛选出错误预测边界框，首先按置信度从高到低评估预测边界框，再优先选取与某个真值边界框完全交并比值最大的真值边界框做比较，根据预先定义的两个阈值cioulow和ciouhigh，0<＝cioulow<ciouhigh<＝1，判断预测边界框的错误类型；根据预测边界框的错误类型，获得目标检测错误类型，包括分类错误、定位错误、识别错误或未识别错误；
17、所述分类错误，为最优匹配的预测边界框与真值边界框的预测类别不一致，但ciou值超过阈值ciouhigh；
18、所述定位错误，为最优匹配的预测边界框与真值边界框的预测类别一致，但是ciou值在ciouhigh和cioulow之间；
19、所述识别错误，为冗余的预测边界框；
20、所述未识别错误，为某个真值边界框没有匹配的预测边界框。
21、本发本文档来自技高网...
【技术保护点】
1.一种基于对象替换的自动驾驶目标检测系统测试方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于对象替换的自动驾驶目标检测系统测试方法，其特征在于：步骤1中，对象池中对象来源于不同的行车场景，包括不同的天气、光照和城市街道风光。
3.根据权利要求1所述的基于对象替换的自动驾驶目标检测系统测试方法，其特征在于：步骤1中，在对象池的构建过程中，对于面积小于阈值的低质量对象进行筛除。
4.根据权利要求1所述的基于对象替换的自动驾驶目标检测系统测试方法，其特征在于：步骤2中，所述蜕变关系定义为：场景中的某个对象的检测结果不受其他对象的影响，即场景中对象的检测结果是上下文无关的；所述蜕变关系基于相似外形的对象进行替换，以模拟真实自动驾驶场景中的对象变化。
5.根据权利要求1所述的基于对象替换的自动驾驶目标检测系统测试方法，其特征在于：步骤2中，所述基于对象替换的方式从原始场景图片中生成派生测试用例，是基于实例级别的标注，获得原始场景中的原始对象的语义分割掩码，通过迭代对象池中的已提取对象，比较原始对象和已提取对象的外形相似度，选取
6.根据权利要求4所述的基于对象替换的自动驾驶目标检测系统测试方法，其特征在于：对象匹配阶段计算外形相似度，涉及待匹配对象的仿射变换，包括掩码放缩、平移和对称处理；选取经过仿射变换达到外接边界框重合时的最大语义掩码交并比值作为两个待替换对象的外形相似度。
7.根据权利要求1所述的基于对象替换的自动驾驶目标检测系统测试方法，其特征在于，步骤3中所述完全交并比为：
8.根据权利要求1-7任一项所述的基于对象替换的自动驾驶目标检测系统测试方法，其特征在于：步骤4中，使用最优匹配的方法从完全交并比矩阵中筛选出错误预测边界框，首先按置信度从高到低评估预测边界框，再优先选取与某个真值边界框完全交并比值最大的真值边界框做比较，根据预先定义的两个阈值CIoULow和CIoUHigh，0<＝CIoULow<CIoUHigh<＝1，判断预测边界框的错误类型；根据预测边界框的错误类型，获得目标检测错误类型，包括分类错误、定位错误、识别错误或未识别错误；
9.一种基于对象替换的自动驾驶目标检测系统测试系统，其特征在于，包括：
...【技术特征摘要】
1.一种基于对象替换的自动驾驶目标检测系统测试方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于对象替换的自动驾驶目标检测系统测试方法，其特征在于：步骤1中，对象池中对象来源于不同的行车场景，包括不同的天气、光照和城市街道风光。
3.根据权利要求1所述的基于对象替换的自动驾驶目标检测系统测试方法，其特征在于：步骤1中，在对象池的构建过程中，对于面积小于阈值的低质量对象进行筛除。
4.根据权利要求1所述的基于对象替换的自动驾驶目标检测系统测试方法，其特征在于：步骤2中，所述蜕变关系定义为：场景中的某个对象的检测结果不受其他对象的影响，即场景中对象的检测结果是上下文无关的；所述蜕变关系基于相似外形的对象进行替换，以模拟真实自动驾驶场景中的对象变化。
5.根据权利要求1所述的基于对象替换的自动驾驶目标检测系统测试方法，其特征在于：步骤2中，所述基于对象替换的方式从原始场景图片中生成派生测试用例，是基于实例级别的标注，获得原始场景中的原始对象的语义分割掩码，通过迭代对象池中的已提取对象，比较原始对象和已提取对象的外形相似度，选取相似程度高于阈值的对象与原始场景中的对象进行替换；对于原始场景图片中的某个对象进行替换后，生成派生测试用例，派...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。