一种基于时序的红绿灯检测结果处理方法和装置制造方法及图纸

本发明专利技术公开了一种基于时序的红绿灯检测结果处理方法和装置，涉及自动驾驶技术领域。该方法的一具体实施方式包括：将车辆采集的若干帧图像输入目标检测模型中，获得各帧图像的检测结果，根据车辆所在路口红绿灯的位置，确定红绿灯在图像中的投影点，根据投影点和预设的匹配算法，确定投影点与其所在图像的检测结果是否匹配，若否，更新投影点所在图像的检测结果，针对各帧图像，基于红绿灯转移过程中的时序关系，确定当前帧图像的检测结果中红绿灯状态是否需要修正，若是，根据其他帧图像的检测结果中红绿灯状态，修正当前帧图像的检测结果中红绿灯状态。该实施方式解决了误检测结果修正后的红绿灯状态无法满足时序关系的问题。修正后的红绿灯状态无法满足时序关系的问题。修正后的红绿灯状态无法满足时序关系的问题。

【技术实现步骤摘要】
一种基于时序的红绿灯检测结果处理方法和装置


[0001]本专利技术涉及自动驾驶
，尤其涉及一种基于时序的红绿灯检测结果处理方法和装置。

技术介绍

[0002]自动驾驶系统中交通信号灯的检测和识别是非常重要的一部分，根据检测到的红绿灯状态可以帮助车辆做出正确的行驶决策。检测结果会受到扰动的影响，发生误检测的情况。
[0003]针对误检测的情况，现有技术通常采用最大值平滑的方法，取最近若干帧的检测结果，分别统计最近若干帧中各红绿灯状态的数目，选出数目最大的红绿灯状态当作当前帧平滑后的红绿灯状态，该方法并未考虑到红绿灯转移过程中的时序关系，无法有效处理连续多帧不符合转移时序的误检测。
[0004]鉴于此，亟需一种基于时序的红绿灯检测结果处理方法，以解决修正后的红绿灯状态无法满足时序关系的问题。

技术实现思路

[0005]有鉴于此，本专利技术实施例提供一种基于时序的红绿灯检测结果处理方法，能够基于红绿灯转移过程中的时序关系，修正误检测的红绿灯状态。
[0006]第一方面，本专利技术实施例提供了一种基于时序的红绿灯检测结果处理方法，包括：
[0007]将车辆采集的若干帧图像输入预先训练好的目标检测模型，获得各帧所述图像的检测结果；
[0008]根据所述车辆所在路口红绿灯的位置，确定所述红绿灯在所述图像中的投影点；
[0009]针对各个所述投影点：确定所述投影点与其所在图像的检测结果是否匹配，如果否，更新所述投影点所在图像的检测结果；
[0010]针对包含所述红绿灯的各帧图像：基于红绿灯状态转移过程中的时序关系，确定当前帧图像的检测结果中红绿灯状态是否需要修正，如果是，根据其他帧图像的检测结果中红绿灯状态，修正所述当前帧图像的检测结果中红绿灯状态。
[0011]第二方面，本专利技术实施例提供了一种基于时序的红绿灯检测结果处理装置，包括：
[0012]检测模块，配置为将车辆采集的若干帧图像输入预先训练好的目标检测模型，获得各帧所述图像的检测结果；
[0013]投影模块，配置为根据所述车辆所在路口红绿灯的位置，确定所述红绿灯在所述图像中的投影点；
[0014]匹配模块，配置为针对各个所述投影点：确定所述投影点与其所在图像的检测结果是否匹配，如果否，更新所述投影点所在图像的检测结果；
[0015]修正模块，配置为针对包含所述红绿灯的各帧图像：基于红绿灯状态转移过程中的时序关系，确定当前帧图像的检测结果中红绿灯状态是否需要修正，如果是，根据其他帧
图像的检测结果中红绿灯状态，修正所述当前帧图像的检测结果中红绿灯状态。
[0016]第三方面，本专利技术实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如上述任一实施例所述的方法。
[0017]第四方面，本专利技术实施例提供了一种计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如上述任一实施例所述的方法。
[0018]上述专利技术中的一个实施例具有如下优点或有益效果：将车辆采集的若干帧图像输入目标检测模型中，获得各帧图像的检测结果，根据车辆所在路口红绿灯的位置，确定红绿灯在图像中的投影点，根据投影点和预设的匹配算法，确定投影点与其所在图像的检测结果是否匹配，若不匹配，更新投影点所在图像的检测结果，针对各帧图像，基于红绿灯转移过程中的时序关系，确定当前帧图像的检测结果中红绿灯状态是否需要修正，如果需要修正，根据其他帧图像的检测结果中红绿灯状态，修正当前帧图像的检测结果中红绿灯状态，经该方法修正后的红绿灯状态满足红绿灯转移过程中的时序关系，解决了误检测结果修正后的红绿灯状态无法满足时序关系的问题，提高了自动驾驶的安全性。
[0019]上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
附图说明
[0020]附图用于更好地理解本专利技术，不构成对本专利技术的不当限定。其中：
[0021]图1是本专利技术的一个实施例提供的一种基于时序的红绿灯检测结果处理方法的流程图；
[0022]图2是本专利技术的一个实施例提供的一种基于时序的红绿灯检测结果处理装置的示意图；
[0023]图3是适于用来实现本专利技术实施例的终端设备或服务器的计算机系统的结构示意图。
具体实施方式
[0024]以下结合附图对本专利技术的示范性实施例做出说明，其中包括本专利技术实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本专利技术的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0025]交通信号灯的检测和识别是自动驾驶系统中重要的组成部分，由于检测的干扰因素存在，检测结果经常会出现误检测的情况，目前针对误检测情况的红绿灯状态修正方法为最大值平滑算法，由于该方法未能考虑红绿灯转移过程中的时序关系，所以该方法不能有效处理连续多帧不符合时序转移的误检测。
[0026]鉴于此，根据图1，本专利技术实施例提供了一种基于时序的红绿灯检测结果处理方法，包括：
[0027]步骤101，将车辆采集的若干帧图像输入预先训练好的目标检测模型，获得各帧所述图像的检测结果。
[0028]图像由车辆传感器采集得到，传感器包括相机、激光雷达等，目标检测模型选用常见的一般模型，如YOLOV3、YOLOV5、Faster
‑
Rcnn等，将若干帧图像输入到目标检测模型中，得到各帧图像的检测结果，其中，检测结果包括红绿灯的位置和红绿灯的状态信息。
[0029]步骤102，根据车辆所在路口红绿灯的位置，确定红绿灯在图像中的投影点。
[0030]结合地图的拓扑信息，从地图中得到车辆所在路口某一预设的半径范围内的全部红绿灯的位置信息，并将红绿灯的位置信息投影至各帧图像所在的坐标系中，获得投影点。
[0031]步骤103，针对各个投影点：确定投影点与其所在图像的检测结果是否匹配，当投影点与其所在图像的检测结果不匹配时，更新投影点所在图像的检测结果。
[0032]针对各个投影点，根据预设的匹配算法对投影点和图像的检测结果进行匹配，对于某一帧图像中未匹配的投影点，通过其他帧图像中与该投影点匹配的检测结果更新该帧图像的检测结果。其中，预设的匹配算法可以选用KM算法(Kuhn
‑
Munkres Algorithm)、匈牙利算法(Hungarian Algorithm)等匹配算法，本专利技术实施例中优选KM算法。
[0033]步骤104，针对包含所述红绿灯的各帧图像：基于红绿灯状态转移过程中的时序关系，确定当前帧图像的检测结果中红绿灯状态是否需要修正，当所述红绿灯状态需要修正时，根据其他帧图像的检测结果中红绿灯状态，修正当前帧图像的检测结果中红绿灯状态。
[0034]红绿灯状态转移过程中有严格的时序关系，如由红灯转换成绿灯，绿灯转本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时序的红绿灯检测结果处理方法，其特征在于，将车辆采集的若干帧图像输入预先训练好的目标检测模型，获得各帧所述图像的检测结果；根据所述车辆所在路口红绿灯的位置，确定所述红绿灯在所述图像中的投影点；针对各个所述投影点：确定所述投影点与其所在图像的检测结果是否匹配，如果否，更新所述投影点所在图像的检测结果；针对包含所述红绿灯的各帧图像：基于红绿灯状态转移过程中的时序关系，确定当前帧图像的检测结果中红绿灯状态是否需要修正，如果是，根据其他帧图像的检测结果中红绿灯状态，修正所述当前帧图像的检测结果中红绿灯状态。2.如权利要求1所述的方法，其特征在于，所述检测结果包括：检测框信息；确定所述投影点与其所在图像的检测结果是否匹配，包括：根据所述检测框信息，获取检测框的中心点；根据预设的匹配算法，确定所述投影点与所述中心点是否匹配。3.如权利要求2所述的方法，其特征在于，根据预设的匹配算法，确定所述投影点与所述中心点是否匹配，包括：计算所述投影点与所述中心点的距离，若所述距离大于设定的阈值，则所述投影点与所述中心点不匹配。4.如权利要求3所述的方法，其特征在于，进一步包括：若所述距离不大于所述设定的阈值，则根据所述投影点与所述中心点生成匹配组合；根据所述匹配组合，生成若干匹配方案；从所述若干匹配方案中，筛选出具有未匹配的投影点最少的目标匹配方案；根据所述目标匹配方案，确定与所述投影点匹配的中心点、未匹配的投影点。5.如权利要求4所述的方法，其特征在于，进一步包括：根据所述投影点与所述中心点的匹配关系，获取所述投影点对应的红绿灯的转向信息；将所述转向信息添加到所述投影点所在图像的检测结果中。6.如权利要求1所述的方法，其特征在于，更新所述投影点所在图像的检测结果，包括：确定其他帧图像是否具有与所述投影点匹配的检测框，如果是，则根据其他帧图像的检测框，预测所述投影点所在的当前帧图像的检测框，根据所述当前帧图像的检测框提取检测图像，将所述检测图像转换至HSV空间，根据所述检测图像中像素点在所述HSV空间中的取值，确定所述当前帧图像中红绿灯状态；所述当前帧图像的检测框和红绿灯状态，构成更新后所述当前帧图像的检测结果。7.如权利要求...

【专利技术属性】
技术研发人员：高强，
申请(专利权)人：九识苏州智能科技有限公司，
类型：发明
国别省市：