一种交通灯识别模型错误行为检测与增强的方法技术

本发明专利技术属于软件工程技术领域，具体为基于道路场景图像扩增的交通灯识别模型错误行为检测与增强方法。本发明专利技术方法包括，基于现实道路场景图像，通过对天气环境、相机属性和交通灯属性的系统理解，设计了两类蜕变关系和三类图像变换方法，生成扩增后的现实道路场景图像；通过两类蜕变关系，使用扩增后的道路场景图像来检测交通灯识别模型的错误行为；通过重训练来提升交通灯识别模型的性能。训练来提升交通灯识别模型的性能。训练来提升交通灯识别模型的性能。

【技术实现步骤摘要】
一种交通灯识别模型错误行为检测与增强的方法


[0001]本专利技术属于软件工程
，具体涉及一种交通灯识别模型错误行为检测与增强的方法。

技术介绍

[0002]近年来，自动驾驶汽车技术得到了越来越多的重视。传感器和计算技术的最新进展，使得自动驾驶技术有了长足的进步。自动驾驶汽车的自动化系统(ADS)，通常分为两个子系统，即感知系统和决策系统。感知系统使用车载传感器(如相机、激光雷达、雷达和GPS)捕获的数据来确定车辆自身和周围环境的状态，与此同时决策系统将车辆从初始位置导航到用户指定的最终目的地。
[0003]对于自动驾驶系统，确保其准确性和鲁棒性非常重要。由于现实世界的驾驶环境是复杂且多样的，ADS很容易受到现实极端情况的影响，从而表现出错误的行为。而这些错误的行为可能会导致灾难性后果和不可挽回的损失。因此众多公司尽可能的进行足够多的道路测试来保证ADS的质量安全。然而，在现实世界环境中复现极端情况并进一步进行测试是困难且昂贵的，因此企业广泛地采用模拟的方法进行测试。
[0004]为了保证ADS的准确性和鲁棒性，软件工程界开发了许多测试方法。其中一项主要工作是尝试应用基于搜索的方法来检测ADS的安全违规行为。该方法将测试场景公式化为变量(例如，车速和雾浓度)，并应用算法搜索违反安全要求的测试场景。另一个主要工作重点则是测试在ADS中基于DNN(深度神经网络)的模块。例如使用变换的方法来生成现实驾驶场景的图像和或点云，将其用于测试ADS中相应的DNN模块，找出模块表现出的错误行为。
[0005]尽管在测试ADS的各个模块中的错误行为方面取得了一些进展，但很少有人关注ADS中交通灯检测模型的测试。交通信号灯用于控制交通车辆的移动，因此在确保交通安全方面发挥着重要作用。ADS通常采用交通灯检测模型来检测一个或多个交通灯在驾驶场景中的位置，并识别它们的状态(例如，红色、绿色和黄色)。当ADS不能正确检测并识别交通灯时，可能会导致严重的交通事故。因此在ADS中专门测试交通灯检测的模型至关重要。
[0006]交通灯检测的测试在很大程度上依赖于标记的交通灯数据(即交通灯图像)，这些数据通常是人工收集的，即通过道路测试的摄像头捕捉交通信号灯的图像。然而收集和标注在不同的驾驶环境下的道路场景数据需要消耗大量资源成本，并且难以覆盖所有的现实场景。

技术实现思路

[0007]本专利技术的目的在于提供一种基于道路场景图像扩增的交通灯识别模型错误行为检测与增强的方法，以提升交通灯识别模型的性能。
[0008]本专利技术提供的基于道路场景图像扩增的交通灯识别模型错误行为检测与增强的方法，以自动批量生成标记的交通灯图像，用于测试ADS中的交通灯检测模型。基于现实道路场景图像，通过对天气环境、相机属性和交通灯属性的系统理解，设计两类蜕变关系和三
类图像变换方法，生成扩增后的现实道路场景图像；通过两类蜕变关系，使用扩增后的道路场景图像来检测交通灯识别模型的错误行为；通过重训练来提升交通灯识别模型的性能。
[0009]本专利技术提供的基于道路场景图像扩增的交通灯识别模型错误行为检测与增强的方法，具体分为基于图像变换的数据扩增方法、基于蜕变关系的模型错误行为检测方法、以及基于重训练的模型性能增强方法，步骤如下：
[0010](1)基于图像变换的数据扩增
[0011]基于现实世界标记的交通灯图像，通过对天气环境、相机属性以及交通灯属性的研究，分析了它们对相机在现实环境中捕获的交通灯图像的影响，设计并实施十二种转换，以在短时间内生成接近现实世界数据的合成数据；这些变换包括雨(RN)、雪(SW)、雾(FG)、镜头光晕(LF)、曝光过度(OE)、曝光不足(UE)、运动模糊(MB)、改变红绿灯颜色(CC)、移动红绿灯位置(MP)、添加红绿灯(AD)、旋转红绿灯(RT)、缩放红绿灯(SC)；这些变换分为三类，即天气变换(模拟不同天气环境的效果)、相机变换(模拟不同的相机效果)和交通灯变换(丰富交通灯的不同位置和状态)；具体包括以下步骤：
[0012](1.1)根据对现实道路场景中红绿灯图像在不同天气环境、相机属性和交通灯属性下如何成像的理解，设计出3类图像变换方法，即天气变换、相机变换和交通灯变换；
[0013](1.2)实现天气变化，模拟不同的天气环境，即雨(RN)、雪(SW)、雾(FG)和镜头光晕(LF)；首先使用Python库imgaug来实现RN、SW和FG；具体来说就是在图像的每个像素上生成并叠加一层扰动，以模拟雨点，雪花和浓雾遮盖的天气状况；此外，使用Adobe Photoshop实现LF，模拟相机捕捉到的炫光效果；具体来说，在现实世界交通灯图像上合成了一个由Adobe Photoshop提供的镜头光晕层并自动调整图像亮度和对比度；
[0014](1.3)实现相机变换，模拟不同相机拍摄效果，即过度曝光(OE)、曝光不足(UE)和运动模糊(MB)；与天气变换类似，使用Python库imgaug来实现OE、UE和MB；对于OE和UE，通过在HSL色彩空间中调整亮度来线性调整图像亮度，分别模拟曝光过度和曝光不足；对于MB，使用内核大小k＝15的卷积核控制模糊程度(即使用15
×
15像素的卷积核)；
[0015](1.4)实现交通灯变换，以丰富图像中红绿灯位置和状态的多样性，包括改变红绿灯颜色(CC)、移动红绿灯位置(MP)、添加红绿灯(AD)、旋转红绿灯(RT)和缩放红绿灯(SC)；具体来时通过以下方式实现。
[0016]改变红绿灯颜色(CC)：首先随机选择图像中的部分红绿灯，根据其标签中边界框的位置信息定位并提取红绿灯；然后将原红绿灯位置处的空白部分用临近像素点进行图像补足；其次使用HSV颜色空间来改变提取的交通灯的色调，使红色变成绿色，绿色变成红色，并相应地改变其对应标签中的状态；之后，将提取的红绿灯翻转，以确保红色灯泡在红绿灯的顶部或左侧。最后，使用图像融合算法(例如，泊松混合)将变换后的交通灯粘贴回原始区域。
[0017]移动红绿灯位置(MP)：首先随机选择图像中的部分红绿灯，根据其标签中边界框的位置信息定位并提取红绿灯；然后将原红绿灯位置处的空白部分用临近像素点进行图像补足；其次，将提取出的红绿灯按照一定的偏移量移动并融合到新的位置(这里设置为原边界框的宽度)；最后，修改标签文件中对应的边界框坐标。
[0018]添加红绿灯(AD)：首先随机选择图像中的部分红绿灯，根据其标签中边界框的位置信息定位并提取红绿灯；然后将提取出的红绿灯按照一定的偏移量移动并融合到新的位
置(这里设置为原边界框的宽度)；最后，在标签文件中增加新增红绿的边界框坐标和状态信息。
[0019]旋转红绿灯(RT)：首先随机选择图像中的部分红绿灯，根据其标签中边界框的位置信息定位并提取红绿灯；然后将原红绿灯位置处的空白部分用临近像素点进行图像补足；其次，将提取出的红绿灯按照规则绕红绿灯中心点顺时针或者逆时针旋转90度，以保证旋转后红色灯泡在红绿灯的顶部本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于道路场景图像扩增的交通灯识别模型错误行为检测与增强的方法，其特征在于，具体步骤如下：(1)基于图像变换的数据扩增基于现实世界的交通道路场景图像、以及对应的交通灯标记，通过对天气环境、相机属性以及交通灯属性的研究，分析它们对相机在现实环境中捕获的交通灯图像的影响，设计并实施12种转换，以在短时间内生成接近现实世界数据的合成数据；所述变换分为三类：天气变换，模拟不同天气环境的效果；相机变换，模拟不同的相机效果交通灯变换，丰富交通灯的不同位置和状态；12种变换具体为，雨(RN)、雪(SW)、雾(FG)、镜头光晕(LF)、曝光过度(OE)、曝光不足(UE)、运动模糊(MB)、改变红绿灯颜色(CC)、移动红绿灯位置(MP)、添加红绿灯(AD)、旋转红绿灯(RT)、缩放红绿灯(SC)；(2)基于蜕变关系的模型错误行为检测被测对象为使用原始现实世界的交通灯图像为训练数据集训练的交通灯识别模型；准备测试数据集，使用步骤(1)方法进行扩增，以扩增生成的图像为测试用例；将测试用例输入给模型进行识别，输出识别交通灯目标结果，根据步骤(1)定义的原始现实世界图像和变换的图像之间的蜕变关系来检测交通灯识别模型的错误行为；(3)基于重训练的模型性能增强将步骤(1)方法扩增原始训练数据集得到扩增后的数据集，并将扩增数据集用于重新训练交通灯识别模型，达到增强模型的识别能力、增大模型识别范围、识别更多复杂场景交通灯的目标。2.根据权利要求1诉述的基于道路场景图像扩增的交通灯识别模型错误行为检测与增强的方法，其特征在于，步骤(1)所述基于图像变换的数据扩增，具体包括以下子步骤：(1.1)根据对现实道路场景中红绿灯图像在不同天气环境、相机属性和交通灯属性下如何成像的理解，设计三类图像变换，即天气变换、相机变换和交通灯变换；(1.2)天气变换，模拟不同的天气环境，即雨(RN)、雪(SW)、雾(FG)和镜头光晕(LF)；首先使用Python库imgaug来实现RN、SW和FG；具体是在图像的每个像素上生成并叠加一层扰动，以模拟雨点，雪花和浓雾遮盖的天气状况；使用Adobe Photoshop实现LF，模拟相机捕捉到的炫光效果，具体是在现实世界交通灯图像上合成一个由Adobe Photoshop提供的镜头光晕层并自动调整图像亮度和对比度；(1.3)相机变换，模拟不同相机拍摄效果，即过度曝光(OE)、曝光不足(UE)和运动模糊(MB)；与天气变换类似，使用Python库imgaug来实现OE、UE和MB；对于OE和UE，通过在HSL色彩空间中调整亮度来线性调整图像亮度，分别模拟曝光过度和曝光不足；对于MB，使用内核大小k＝15的卷积核控制模糊程度，即使用15
×
15像素的卷积核；(1.4)交通灯变换，以丰富图像中红绿灯位置和状态的多样性，包括改变红绿灯颜色(CC)、移动红绿灯位置(MP)、添加红绿灯(AD)、旋转红绿灯(RT)和缩放红绿灯(SC)；具体通过以下方式实现：改变红绿灯颜色(CC)：首先随机选择图像中的部分红绿灯，根据其标签中边界框的位置信息定位并提取红绿灯；然后将原红绿灯位置处的空...

【专利技术属性】
技术研发人员：陈碧欢，黄凯锋，王粞宇，鲁游，彭鑫，赵文耘，
申请(专利权)人：复旦大学，
类型：发明
国别省市：