【技术实现步骤摘要】
本申请涉及自动驾驶，尤其涉及一种检测交通灯闪烁的方法、装置、汽车和介质。
技术介绍
1、在自动驾驶或辅助驾驶技术中，汽车除了需要识别出道路上的交通灯，还需要准确地识别出对应的语义信息，例如交通灯颜色、形状、亮灭等非时序特征，以及交通灯是否闪烁等时序特征，进而保障自动驾驶的车辆遵守交通规则，进而保持安全行驶。
2、在红绿灯识别中，将由车载摄像头采集到的单帧rgb图像作为输入，使用卷积神经网络识别出红绿灯的颜色、方向、亮灭等属性，但卷积神经网络无法直接利用时序特征来确定红绿灯的闪烁频率。针对于红绿灯的闪烁检测，相关技术中，常见的是结合卷积神经网络的多个输出，对多个输出采用复杂的后处理算法(例如匈牙利匹配和卡尔曼滤波)来完成交通灯的闪烁检测。然而，若想要检测红绿灯的闪烁频率，受限于卷积神经网络的检测性能，一方面在卷积神经网络出现漏检或误检时后处理算法无法很好地进行检测，另一方面，后处理算法需要结合多个输出，会在一定程度上造成闪烁信号的滞后输出，并不利于车辆进行实时决策。
技术实现思路
1、为解决或部分解决相关技术中存在的问题，本申请提供一种检测交通灯闪烁的方法、装置、汽车和介质，能够在交通灯闪烁检测中避免复杂的后处理计算，减少闪烁结果输出的时间延迟，可以实现对交通灯闪烁的实时检测。
2、本申请第一方面提供一种检测交通灯闪烁的方法，包括：
3、获取多帧连续的第二图像；
4、将获取的所有帧第二图像输入训练好的时空预测网络，得到各帧第二图像上交通
5、其中，所述时空预测网络基于多组训练样本训练得到，所述训练样本包括多帧连续的第一图像和各帧第一图像的真值标签，所述第一图像的真值标签表征该第一图像上交通灯的闪烁结果。
6、在一实施方式中，在所述得到各帧第二图像上交通灯的闪烁结果之后，还包括：
7、输出尾帧第二图像上交通灯的闪烁结果。
8、在一实施方式中，在所述将获取的所有帧第二图像输入训练好的时空预测网络之前，还包括：
9、在获取多帧连续的第一图像之后，根据获取的所有帧第一图像确定各帧第一图像的闪烁结果，并将各帧第一图像的闪烁结果作为一一对应的第一图像的真值标签。
10、在一实施方式中，所述根据获取的所有帧第一图像确定各帧第一图像的闪烁结果，包括：
11、识别各帧第一图像上交通灯中的各个单灯，并对识别出的同一单灯进行跟踪，得到每帧第一图像上各个单灯的闪烁结果，所述闪烁结果还包括单灯的id、位置、颜色、形状、亮灭状态。
12、在一实施方式中，所述识别各帧第一图像上交通灯中的各个单灯，并对识别出的同一单灯进行目标跟踪，包括：
13、使用卷积神经网络识别每帧第一图像上交通灯中各个单灯的位置、颜色、形状和亮灭状态；
14、采用跟踪算法对识别出的同一单灯进行跟踪，确定同一单灯的id和闪烁频率。
15、在一实施方式中，采用sort算法对识别出的同一单灯进行跟踪。
16、在一实施方式中，在所述将获取的所有帧第二图像输入训练好的时空预测网络之前，还包括：
17、基于多组所述训练样本对所述时空预测网络进行训练。
18、在一实施方式中，所述时空预测网络包括convlstm。
19、在一实施方式中，所述获取多帧连续的第二图像，包括：
20、通过车辆的图像采集设备对所述车辆的前端环境按照设定采集频率进行采集，得到多帧连续的第二图像。
21、本申请第二方面提供一种检测交通灯闪烁的方法，包括：
22、获取当前帧第二图像；
23、获取与所述当前帧第二图像连续的多个历史帧第二图像；
24、将所述当前帧第二图像和所有所述历史帧第二图像输入训练好的时空预测网络，输出所述当前帧第二图像上交通灯的闪烁结果，所述闪烁结果包括闪烁频率；
25、其中，所述时空预测网络基于多组训练样本训练得到，所述训练样本包括多帧连续的第一图像和各帧第一图像的真值标签，所述第一图像的真值标签表征该第一图像上交通灯的闪烁结果。
26、本申请第三方面提供一种检测交通灯闪烁的装置，包括：
27、获取模块，其被配置为获取多帧连续的第二图像；
28、检测模块，其被配置为将获取的所有帧第二图像输入训练好的时空预测网络，得到各帧第二图像上交通灯的闪烁结果，所述闪烁结果包括闪烁频率；
29、其中，所述时空预测网络基于多组训练样本训练得到，所述训练样本包括多帧连续的第一图像和各帧第一图像的真值标签，所述第一图像的真值标签表征该第一图像上交通灯的闪烁结果。
30、本申请第四方面提供一种汽车，包括：
31、处理器；以及
32、存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
33、本申请第五方面提供一种计算机可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
34、本申请提供的技术方案可以包括以下有益效果：
35、本申请的技术方案，通过训练好的时空预测网络对输入的多帧连续的第二图像进行交通灯闪烁检测，得到各帧第二图像上交通灯对应的闪烁结果，例如交通灯的闪烁频率，相较于相关技术中使用卷积神经网络的方式而言，本申请的技术方案可以很好地利用到多帧第二图像之间的时序和空间特征，能够在交通灯闪烁检测中避免复杂的后处理计算，减少闪烁结果输出的时间延迟，进而实现对交通灯闪烁的实时检测。
36、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
本文档来自技高网...【技术保护点】
1.一种检测交通灯闪烁的方法，其特征在于，包括：
2.根据权利要求1所述的检测交通灯闪烁的方法，其特征在于，在所述得到各帧第二图像上交通灯的闪烁结果之后，还包括：
3.根据权利要求1所述的检测交通灯闪烁的方法，其特征在于，在所述将获取的所有帧第二图像输入训练好的时空预测网络之前，还包括：
4.根据权利要求3所述的检测交通灯闪烁的方法，其特征在于，所述根据获取的所有帧第一图像确定各帧第一图像的闪烁结果，包括：
5.根据权利要求4所述的检测交通灯闪烁的方法，其特征在于，所述识别各帧第一图像上交通灯中的各个单灯，并对识别出的同一单灯进行目标跟踪，包括：
6.根据权利要求4或5所述的检测交通灯闪烁的方法，其特征在于，采用SORT算法对识别出的同一单灯进行跟踪。
7.根据权利要求1所述的检测交通灯闪烁的方法，其特征在于，在所述将获取的所有帧第二图像输入训练好的时空预测网络之前，还包括：
8.根据权利要求1或7所述的检测交通灯闪烁的方法，其特征在于，所述时空预测网络包括ConvLSTM。
9.根据
10.一种检测交通灯闪烁的方法，其特征在于，包括：
11.一种检测交通灯闪烁的装置，其特征在于，包括：
12.一种汽车，其特征在于，包括：
13.一种计算机可读存储介质，其特征在于，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如权利要求1至10中任一项所述的方法。
...【技术特征摘要】
1.一种检测交通灯闪烁的方法，其特征在于，包括：
2.根据权利要求1所述的检测交通灯闪烁的方法，其特征在于，在所述得到各帧第二图像上交通灯的闪烁结果之后，还包括：
3.根据权利要求1所述的检测交通灯闪烁的方法，其特征在于，在所述将获取的所有帧第二图像输入训练好的时空预测网络之前，还包括：
4.根据权利要求3所述的检测交通灯闪烁的方法，其特征在于，所述根据获取的所有帧第一图像确定各帧第一图像的闪烁结果，包括：
5.根据权利要求4所述的检测交通灯闪烁的方法，其特征在于，所述识别各帧第一图像上交通灯中的各个单灯，并对识别出的同一单灯进行目标跟踪，包括：
6.根据权利要求4或5所述的检测交通灯闪烁的方法，其特征在于，采用sort算法对识别出的同一单灯进行...
【专利技术属性】
技术研发人员：张广滔，周俊豪，杨轶林，秦雨青，冯谢星，蒋毅，汪琦，梁康正，刘汉鹏，吉皓瑞，郭睿，
申请(专利权)人：广州小鹏自动驾驶科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。