交通信号灯的跟踪方法、装置、设备及存储介质制造方法及图纸

本申请公开了交通信号灯的跟踪方法、装置、设备及存储介质，涉及辅助驾驶、自动驾驶和智能交通技术领域。具体实现方案为：通过在车辆行驶过程中通过图像采集设备实时采集车辆周围的图像；识别当前时刻采集的图像中包括的目标交通信号灯；创建目标交通信号灯对应的虚拟跟踪器，所述虚拟跟踪器用于记录所述目标交通信号灯的属性信息；基于所述目标交通信号灯的世界坐标，通过所述虚拟跟踪器在后续采集的图像中对所述目标交通信号灯进行跟踪，以根据跟踪结果对所述车辆进行行为决策。通过创建虚拟跟踪器对车辆行驶过程中实时采集的图像中包含的交通信号灯进行跟踪，具有较强的针对性，且准确性和跟踪效率较高，能够为车辆的行为决策提供基础。

【技术实现步骤摘要】
交通信号灯的跟踪方法、装置、设备及存储介质
本申请涉及图像处理
，尤其涉及辅助驾驶、自动驾驶和智能交通技术。
技术介绍
在高级驾驶辅助系统(AdvancedDrivingAssistanceSystem，ADAS)和自动驾驶领域中，交通信号是必不可少需要自动化检测和识别的道路信息。其中交通信号灯(如红绿灯)又是其中最为重要的交通信号标识，正确的检测和识别交通信号灯，能够帮助车辆做出准确的符合交通规则的行为决策，避免交通事故的发生。现有的交通信号灯的识别过程通常是基于单帧图像进行的，也即通过图像处理过程检测单帧图像中包含的交通信号灯，存在一定程度的漏检和误检问题，且无法通过时序图像来跟踪交通信号灯，也即无法缓解漏检和误检问题，导致交通信号灯的识别不够准确、不够高效。
技术实现思路
本申请提供一种交通信号灯的跟踪方法、装置、设备及存储介质，以实现车辆对交通信号灯的跟踪，提高对信号灯识别的准确性。本申请第一个方面提供一种交通信号灯的跟踪方法，包括：在车辆行驶过程中通过图像采集设备实时采集车辆周围的图像；识别当前时刻采集的图像中包括的目标交通信号灯；创建所述目标交通信号灯对应的虚拟跟踪器，所述虚拟跟踪器用于记录所述目标交通信号灯的属性信息；基于所述目标交通信号灯的世界坐标，通过所述虚拟跟踪器在后续采集的图像中对所述目标交通信号灯进行跟踪，以根据跟踪结果对所述车辆进行行为决策。本实施例中通过创建虚拟跟踪器对车辆行驶过程中实时采集的图像中包含的交通信号灯进行跟踪，具有较强的针对性，且准确性和跟踪效率较高，能够为车辆的行为决策提供基础。在一种可能的设计中，所述识别所述图像中包括的目标交通信号灯，包括：通过预设检测模型检测所述图像中包括的候选交通信号灯，并获取每一所述候选交通信号灯的世界坐标；根据所述候选交通信号灯的世界坐标以及预设地图，将所述候选交通信号灯与车辆前方的路口信息进行匹配；删除世界坐标处于车辆前方的路口的预定范围外的候选交通信号灯，将世界坐标处于车辆前方的路口的预定范围内的候选交通信号灯作为所述目标交通信号灯。在一种可能的设计中，所述获取每一所述候选交通信号灯的世界坐标，包括：根据任一所述候选交通信号灯在图像中的尺寸、所述图像采集设备的内参、所述图像采集设备相对所述车辆的外参以及所述车辆的位姿，获取所述候选交通信号灯的世界坐标。在一种可能的设计中，所述图像采集设备有多个，所述识别当前时刻采集的图像中包括的目标交通信号灯，包括：根据各图像采集设备的焦距长短信息、车辆距离路口距离信息以及路口范围信息中的至少一项，对当前时刻各图像采集设备采集的多个图像进行筛选；识别筛选的图像中包括的目标交通信号灯。在一种可能的设计中，所述目标交通信号灯的属性信息包括所述目标交通信号灯的标识、所述目标交通信号灯的世界坐标、所述目标交通信号灯关联的路口信息、检测次数、漏检次数、连续漏检次数中的至少一项。在一种可能的设计中，所述基于所述目标交通信号灯的世界坐标，通过所述虚拟跟踪器在后续采集的图像中对所述目标交通信号灯进行跟踪，包括：根据所述虚拟跟踪器将所述目标交通信号灯投影到任意帧的后续采集的图像中，并将所述目标交通信号灯的投影与该后续采集的图像中识别到的候选交通信号灯进行匹配；若所述目标交通信号灯的投影能够与该后续采集的图像中识别到的候选交通信号灯匹配，则跟踪成功；若所述目标交通信号灯的投影不能够与该后续采集的图像中识别到的候选交通信号灯匹配，确定所述虚拟跟踪器漏检。在一种可能的设计中，所述根据所述虚拟跟踪器将所述目标交通信号灯投影到任意帧的后续采集的图像中，包括：通过所述虚拟跟踪器，根据所述目标交通信号灯的世界坐标、以及该后续采集的图像对应的所述图像采集设备的内参、所述图像采集设备相对所述车辆的外参以及所述车辆的位姿，将所述目标交通信号灯投影到该后续采集的图像中。在一种可能的设计中，所述将所述目标交通信号灯的投影与该后续采集的图像中识别到的候选交通信号灯进行匹配，包括：根据所述目标交通信号灯和该后续采集的图像中识别到的候选交通信号灯的属性信息、以及在图像中的位置和/或面积，获取所述目标交通信号灯的投影与该后续采集的图像中识别到的候选交通信号灯之间的匹配得分；若所述匹配得分满足预设条件，则确定所述目标交通信号灯的投影能够与该后续采集的图像中识别到的候选交通信号灯匹配。在一种可能的设计中，所述跟踪成功后，还包括：根据所有能够与所述目标交通信号灯的投影匹配的图像重新获取所述目标交通信号灯的世界坐标，对所述虚拟跟踪器记录的所述目标交通信号灯的世界坐标进行更新。在一种可能的设计中，所述将所述目标交通信号灯的投影与该后续采集的图像中识别到的候选交通信号灯进行匹配后，还包括：若该后续采集的图像中出现新目标交通信号灯、且不能与已有的虚拟跟踪器匹配，创建所述新目标交通信号灯对应的虚拟跟踪器。在一种可能的设计中，所述方法还包括：若确定所述虚拟跟踪器漏检，且在所述虚拟跟踪器连续漏检次数达到预设次数时，删除所述虚拟跟踪器；或者根据所述车辆的位姿、以及所述目标交通信号灯或与所述目标交通信号灯关联的路口的世界坐标，确定所述车辆已经通过所述目标交通信号灯，删除所述虚拟跟踪器；或者所述匹配得分的时序平均值低于预设阈值，删除所述虚拟跟踪器。本申请第二个方面提供一种交通信号灯的跟踪装置，包括：采集模块，用于在车辆行驶过程中通过图像采集设备实时采集车辆周围的图像；识别模块，用于识别当前时刻采集的图像中包括的目标交通信号灯，并获取所述目标交通信号灯的世界坐标；创建模块，用于创建所述目标交通信号灯对应的虚拟跟踪器，所述虚拟跟踪器用于记录所述目标交通信号灯的属性信息；跟踪模块，用于基于所述目标交通信号灯的世界坐标，通过所述虚拟跟踪器在后续采集的图像中对所述目标交通信号灯进行跟踪，以根据跟踪结果对所述车辆进行行为决策。在一种可能的设计中，所述识别模块在识别所述图像中包括的目标交通信号灯时，用于：通过预设检测模型检测所述图像中包括的候选交通信号灯，并获取每一所述候选交通信号灯的世界坐标；根据所述候选交通信号灯的世界坐标以及预设地图，将所述候选交通信号灯与车辆前方的路口信息进行匹配；删除世界坐标处于车辆前方的路口的预定范围外的候选交通信号灯，将世界坐标处于车辆前方的路口的预定范围内的候选交通信号灯作为所述目标交通信号灯。在一种可能的设计中，所述识别模块在获取每一所述候选交通信号灯的世界坐标时，用于：根据任一所述候选交通信号灯在图像中的尺寸、所述图像采集设备的内参、所述图像采集设备相对所述车辆的外参以及所述车辆的位姿，获取所述候选交通信号灯的世界坐标。在一种可能的设计中，所述图像采集设备有多个，所述识别模块在识别当前时刻采集的图像中包括的本文档来自技高网...

【技术保护点】
1.一种交通信号灯的跟踪方法，其特征在于，包括：/n在车辆行驶过程中通过图像采集设备实时采集车辆周围的图像；/n识别当前时刻采集的图像中包括的目标交通信号灯，并获取所述目标交通信号灯的世界坐标；/n创建所述目标交通信号灯对应的虚拟跟踪器，所述虚拟跟踪器用于记录所述目标交通信号灯的属性信息；/n基于所述目标交通信号灯的世界坐标，通过所述虚拟跟踪器在后续采集的图像中对所述目标交通信号灯进行跟踪，以根据跟踪结果对所述车辆进行行为决策。/n

【技术特征摘要】
1.一种交通信号灯的跟踪方法，其特征在于，包括：
在车辆行驶过程中通过图像采集设备实时采集车辆周围的图像；
识别当前时刻采集的图像中包括的目标交通信号灯，并获取所述目标交通信号灯的世界坐标；
创建所述目标交通信号灯对应的虚拟跟踪器，所述虚拟跟踪器用于记录所述目标交通信号灯的属性信息；
基于所述目标交通信号灯的世界坐标，通过所述虚拟跟踪器在后续采集的图像中对所述目标交通信号灯进行跟踪，以根据跟踪结果对所述车辆进行行为决策。


2.根据权利要求1所述的方法，其特征在于，所述识别所述图像中包括的目标交通信号灯，包括：
通过预设检测模型检测所述图像中包括的候选交通信号灯，并获取每一所述候选交通信号灯的世界坐标；
根据所述候选交通信号灯的世界坐标以及预设地图，将所述候选交通信号灯与车辆前方的路口信息进行匹配；
删除世界坐标处于车辆前方的路口的预定范围外的候选交通信号灯，将世界坐标处于车辆前方的路口的预定范围内的候选交通信号灯作为所述目标交通信号灯。


3.根据权利要求2所述的方法，其特征在于，所述获取每一所述候选交通信号灯的世界坐标，包括：
根据任一所述候选交通信号灯在图像中的尺寸、所述图像采集设备的内参、所述图像采集设备相对所述车辆的外参以及所述车辆的位姿，获取所述候选交通信号灯的世界坐标。


4.根据权利要求1-3任一项所述的方法，其特征在于，所述图像采集设备有多个，所述识别当前时刻采集的图像中包括的目标交通信号灯，包括：
根据各图像采集设备的焦距长短信息、车辆距离路口距离信息以及路口范围信息中的至少一项，对当前时刻各图像采集设备采集的多个图像进行筛选；
识别筛选的图像中包括的目标交通信号灯。


5.根据权利要求2或3所述的方法，其特征在于，所述目标交通信号灯的属性信息包括所述目标交通信号灯的标识、所述目标交通信号灯的世界坐标、所述目标交通信号灯关联的路口信息、检测次数、漏检次数、连续漏检次数中的至少一项。


6.根据权利要求5所述的方法，其特征在于，所述基于所述目标交通信号灯的世界坐标，通过所述虚拟跟踪器在后续采集的图像中对所述目标交通信号灯进行跟踪，包括：
根据所述虚拟跟踪器将所述目标交通信号灯投影到任意帧的后续采集的图像中，并将所述目标交通信号灯的投影与该后续采集的图像中识别到的候选交通信号灯进行匹配；
若所述目标交通信号灯的投影能够与该后续采集的图像中识别到的候选交通信号灯匹配，则跟踪成功；
若所述目标交通信号灯的投影不能够与该后续采集的图像中识别到的候选交通信号灯匹配，确定所述虚拟跟踪器漏检。


7.根据权利要求6所述的方法，其特征在于，所述根据所述虚拟跟踪器将所述目标交通信号灯投影到任意帧的后续采集的图像中，包括：
通过所述虚拟跟踪器，根据所述目标交通信号灯的世界坐标、以及该后续采集的图像对应的所述图像采集设备的内参、所述图像采集设备相对所述车辆的外参以及所述车辆的位姿，将所述目标交通信号灯投影到该后续采集的图像中。


8.根据权利要求6所述的方法，其特征在于，所述将所述目标交通信号灯的投影与该后续采集的图像中识别到的候选交通信号灯进行匹配，包括：
根据所述目标交通信号灯和该后续采集的图像中识别到的候选交通信号灯的属性信息、以及在图像中的位置和/或面积，获取所述目标交通信号灯的投影与该后续采集的图像中识别到的候选交通信号灯之间的匹配得分；
若所述匹配得分满足预设条件，则确定所述目标交通信号灯的投影能够与该后续采集的图像中识别到的候选交通信号灯匹配。


9.根据权利要求6所述的方法，其特征在于，所述跟踪成功后，还包括：
根据所有能够与所述目标交通信号灯的投影匹配的图像重新获取所述目标交通信号灯的世界坐标，对所述虚拟跟踪器记录的所述目标交通信号灯的世界坐标进行更新。


10.根据权利要求6所述的方法，其特征在于，所述将所述目标交通信号灯的投影与该后续采集的图像中识别到的候选交通信号灯进行匹配后，还包括：
若该后续采集的图像中出现新目标交通信号灯、且不能与已有的虚拟跟踪器匹配，创建所述新目标交通信号灯对应的虚拟跟踪器。


11.根据权利要求6所述的方法，其特征在于，还包括：
若确定所述虚拟跟踪器漏检，且在所述虚拟跟踪器连续漏检次数达到预设次数时，删除所述虚拟跟踪器；或者
根据所述车辆的位姿、以及所述目标交通信号灯或与所述目标交通信号灯关联的路口的世界坐标，确定所述车辆已经通过所述目标交通信号灯，删除所述虚拟跟踪器；或者
所述匹配得分的时序平均值低于预设阈值，删除所述虚拟跟踪器。


12.一种交通信号灯的跟踪装置，其特征在于，包括：
采集模块，用于在车辆行驶过程中通过图像采集设备实时采集车辆周围的图像；
识别模块，用于识别当前时刻采集的图像中包括的目标交通信号灯，并获取所述目标交通信号灯的世界坐标；
创建模块，用于创建所述目标交通信号灯...

【专利技术属性】
技术研发人员：周珣，王昊，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京;11