信号灯识别并分组的方法、装置、电子设备及存储介质制造方法及图纸

本申请涉及一种信号灯识别并分组的方法、装置、电子设备及存储介质。该方法包括：获取多张待识别的连续帧信号灯图像，作为循环神经网络模型的输入，得到每帧信号灯图像中的每个待识别信号灯的每个角点的位置热图和嵌入向量；确定每帧信号灯图像中每个待识别信号灯的四个角点；根据每个待识别信号灯的四个角点和嵌入向量，确定多张待识别的连续帧信号灯图像中属于同一待识别信号灯的信号灯区域。本申请实施例采用四个不同的损失函数，对角点进行识别，确定同一帧图像中属于同一信号灯的四个角点以及不同帧图像中属于同一信号灯的信号灯区域，能够准确识别信号灯的同时，还能够对连续帧中的信号灯进行分组，识别效果好，识别效率高。率高。率高。

【技术实现步骤摘要】
信号灯识别并分组的方法、装置、电子设备及存储介质


[0001]本申请涉及图像处理
，尤其涉及一种信号灯识别并分组的方法、装置、电子设备及存储介质。

技术介绍

[0002]随着自动驾驶技术的发展，自动驾驶车辆的自动程度越来越高，出于安全和导航的考虑，自动驾驶车辆对信号灯识别的准确性要求更高。
[0003]在相关技术方案中，一般都是采用神经网络识别单张道路图片中的信号灯，然后用匈牙利算法或者提取特征点的方法来对多张图片的信号做匹配，由于信号灯目标较小，不易匹配，这样消耗时间长且，识别与匹配效果也较差，或者使用连续帧的图片来识别信号灯，然后再用最优匹配灯等算法来匹配信号灯，但是该种方法对信号灯的匹配分组效果也不理想，需要改进。

技术实现思路

[0004]为解决或部分解决相关技术中存在的问题，本申请提供一种信号灯识别并分组的方法、装置、电子设备及存储介质，能够准确识别连续帧图像中的信号灯，并对不同图像中的同一个信号灯进行匹配分组。
[0005]本申请第一方面提供一种信号灯识别并分组的方法，包括：
[0006]获取多张待识别的连续帧信号灯图像，所述信号灯图像中至少包括一个待识别信号灯；
[0007]将所述多张待识别的连续帧信号灯图像作为循环神经网络模型的输入，对每帧信号灯图像中的每个待识别信号灯的角点进行识别，得到每帧信号灯图像中的每个待识别信号灯的每个角点的位置热图和嵌入向量；
[0008]基于所述每帧信号灯图像中的每个待识别信号灯的每个角点的位置热图和嵌入向量确定所述每帧信号灯图像中每个待识别信号灯的四个角点；
[0009]根据所述每个待识别信号灯的四个角点和所述嵌入向量，确定所述多张待识别的连续帧信号灯图像中属于同一待识别信号灯的信号灯区域。
[0010]作为本申请一种可能的实施方式，在该实施方式中，所述循环神经网络模型为双向门循环单元模型，所述将所述多张待识别的连续帧信号灯图像作为循环神经网络模型的输入，对每帧信号灯图像中的每个待识别信号灯的角点进行识别，得到每帧信号灯图像中的每个待识别信号灯的每个角点的位置热图和嵌入向量，包括：
[0011]将所述多张待识别的连续帧信号灯图像输入至所述双向门循环单元模型；
[0012]识别各待识别信号灯图像中各待识别信号灯的角点，基于各待识别信号灯的各个角点的位置生成角点的位置热图，其中，所述角点的位置热图为4张，每张所述角点位置的热图中记录有所述多张待识别的连续帧信号灯图像中所有待识别信号灯的一个方位的角点位置；
[0013]基于所述角点的位置热图，生成各待识别信号灯的各个角点的嵌入向量。
[0014]作为本申请一种可能的实施方式，在该实施方式中，所述基于所述每帧信号灯图像中的每个待识别信号灯的每个角点的位置热图和嵌入向量确定所述每帧信号灯图像中每个待识别信号灯的四个角点，包括：
[0015]采用第一损失函数计算每帧信号灯图像中各信号灯角点的嵌入向量之间的第一向量距离，其中，所述第一损失函数为
[0016][0017]其中，L_pull1为第一损失函数的值，e
k
为第k个角点的嵌入向量，e
center
为同一待识别信号灯中四个角点的嵌入向量的平均值；
[0018]采用第二损失函数计算每帧信号灯图像中各信号灯角点的嵌入向量之间的第二向量距离，其中，所述第二损失函数为
[0019][0020]其中，L_push为第二损失函数的值，N为每帧信号灯图像中待识别信号灯的数量，e
centeri
为第i个待识别信号灯的四个角点的嵌入向量的平均值，e
centerj
为第j个待识别信号灯的四个角点的嵌入向量的平均值，Δ为常数1；
[0021]根据所述第一损失函数和第二损失函数，确定每帧信号灯图像中属于同一待识别信号灯的四个角点，其中，每帧信号灯图像中同一待识别信号的四个角点的第一向量距离最近，每帧的信号灯图像中不同待识别信号灯的四个角点的第二向量距离不是最近。
[0022]作为本申请一种可能的实施方式，在该实施方式中，所述根据所述每个待识别信号灯的四个角点和所述嵌入向量，确定所述多张待识别的连续帧信号灯图像中属于同一待识别信号灯的信号灯区域，包括：
[0023]采用第三损失函数计算多张待识别的连续帧信号灯图像中各待识别信号灯的第三向量距离，其中，所述第三损失函数为
[0024][0025]其中，L_pull2为第三损失函数的值，X和Y表示Y张待识别的连续帧信号灯图像中都有X个待识别的信号灯，为第y张信号灯图像中的第x个待识别信号灯的四个角点的嵌入向量的平均值，为第1张信号灯图像中的第x个待识别信号灯的四个角点的嵌入向量的平均值；
[0026]基于所述第三损失函数，确定所述多张待识别的连续帧信号灯图像中属于同一待识别信号灯的信号灯区域，其中，不同信号灯图像中属于同一待识别信号灯的角点之间的第三向量距离最小。
[0027]作为本申请一种可能的实施方式，在该实施方式中，所述基于所述角点的位置热图，生成各待识别信号灯的各个角点的嵌入向量，包括：
[0028]获取所述角点的位置热图中各待识别信号灯的各个角点的像素值；
[0029]基于所述像素值生成各个角点的嵌入向量。
[0030]本申请第二方面提供了一种信号灯识别并分组的装置，包括：
[0031]图像获取模块，用于获取多张待识别的连续帧信号灯图像，所述信号灯图像中至少包括一个待识别信号灯；
[0032]模型识别模块，用于将所述多张待识别的连续帧信号灯图像作为循环神经网络模型的输入，对每帧信号灯图像中的每个待识别信号灯的角点进行识别，得到每帧信号灯图像中的每个待识别信号灯的每个角点的位置热图和嵌入向量；
[0033]信号灯识别模块，用于基于所述每帧信号灯图像中的每个待识别信号灯的每个角点的位置热图和嵌入向量确定所述每帧信号灯图像中每个待识别信号灯的四个角点；
[0034]信号灯分组模块，用于根据所述每个待识别信号灯的四个角点和所述嵌入向量，确定所述多张待识别的连续帧信号灯图像中属于同一待识别信号灯的信号灯区域。
[0035]作为本申请一种可能的实施方式，在该实施方式中，所述信号灯识别模块用于：
[0036]采用第一损失函数计算每帧信号灯图像中各信号灯角点的嵌入向量之间的第一向量距离，其中，所述第一损失函数为
[0037][0038]其中，L_pull1为第一损失函数的值，e
k
为第k个角点的嵌入向量，e
center
为同一待识别信号灯中四个角点的嵌入向量的平均值；
[0039]采用第二损失函数计算每帧信号灯图像中各信号灯角点的嵌入向量之间的第二向量距离，其中，所述第二损失函数为
[0040][0041]其中，L_push为第二损失函数的值，N为每帧信号灯图像中待识别信号灯的数量，e
centeri本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信号灯识别并分组的方法，其特征在于，包括：获取多张待识别的连续帧信号灯图像，所述信号灯图像中至少包括一个待识别信号灯；将所述多张待识别的连续帧信号灯图像作为循环神经网络模型的输入，对每帧信号灯图像中的每个待识别信号灯的角点进行识别，得到每帧信号灯图像中的每个待识别信号灯的每个角点的位置热图和嵌入向量；基于所述每帧信号灯图像中的每个待识别信号灯的每个角点的位置热图和嵌入向量确定所述每帧信号灯图像中每个待识别信号灯的四个角点；根据所述每个待识别信号灯的四个角点和所述嵌入向量，确定所述多张待识别的连续帧信号灯图像中属于同一待识别信号灯的信号灯区域。2.根据权利要求1所述的信号灯识别并分组的方法，其特征在于，所述循环神经网络模型为双向门循环单元模型，所述将所述多张待识别的连续帧信号灯图像作为循环神经网络模型的输入，对每帧信号灯图像中的每个待识别信号灯的角点进行识别，得到每帧信号灯图像中的每个待识别信号灯的每个角点的位置热图和嵌入向量，包括：将所述多张待识别的连续帧信号灯图像输入至所述双向门循环单元模型；识别各待识别信号灯图像中各待识别信号灯的角点，基于各待识别信号灯的各个角点的位置生成角点的位置热图，其中，所述角点的位置热图为4张，每张所述角点位置的热图中记录有所述多张待识别的连续帧信号灯图像中所有待识别信号灯的一个方位的角点位置；基于所述角点的位置热图，生成各待识别信号灯的各个角点的嵌入向量。3.根据权利要求2所述的信号灯识别并分组的方法，其特征在于，所述基于所述每帧信号灯图像中的每个待识别信号灯的每个角点的位置热图和嵌入向量确定所述每帧信号灯图像中每个待识别信号灯的四个角点，包括：采用第一损失函数计算每帧信号灯图像中各信号灯角点的嵌入向量之间的第一向量距离，其中，所述第一损失函数为其中，L_pull1为第一损失函数的值，e
k
为第k个角点的嵌入向量，e
center
为同一待识别信号灯中四个角点的嵌入向量的平均值；采用第二损失函数计算每帧信号灯图像中各信号灯角点的嵌入向量之间的第二向量距离，其中，所述第二损失函数为其中，L_push为第二损失函数的值，N为每帧信号灯图像中待识别信号灯的数量，e
centeri
为第i个待识别信号灯的四个角点的嵌入向量的平均值，e
centerj
为第j个待识别信号灯的四个角点的嵌入向量的平均值，Δ为常数1；根据所述第一损失函数和第二损失函数，确定每帧信号灯图像中属于同一待识别信号灯的四个角点，其中，每帧信号灯图像中同一待识别信号的四个角点的第一向量距离最近，
每帧的信号灯图像中不同待识别信号灯的四个角点的第二向量距离不是最近。4.根据权利要求3所述的信号灯识别并分组的方法，其特征在于，所述根据所述每个待识别信号灯的四个角点和所述嵌入向量，确定所述多张待识别的连续帧信号灯图像中属于同一待识别信号灯的信号灯区域，包括：采用第三损失函数计算多张待识别的连续帧信号灯图像中各待识别信号灯的第三向量距离，其中，所述第三损失函数为其中，L_pull2为第三损失函数的值，X和Y表示Y张待识别的连续帧信号灯图像中都有X个待识别的信号灯，为第y张信号灯图像中的第x个待识别信号灯的四个角点的嵌入向量的平均值，为第1张信号灯图像中的第x个待识别信号灯的四个角点的嵌入向量的平均值；基于所述第三损失函数，确定所述多张待识别的连续帧信号灯图像中属于同一待识...

【专利技术属性】
技术研发人员：李耀萍，李正旭，贾双成，朱磊，
申请(专利权)人：智道网联科技北京有限公司，
类型：发明
国别省市：