基于heatmap提取关键点的交通信号灯的识别方法、装置、介质制造方法及图纸

本发明专利技术公开了一种基于heatmap提取关键点的交通信号灯的识别方法、装置、介质。本发明专利技术提出的基于heatmap提取关键点的交通信号灯的识别方法，会对输入图片经过特征提取之后进行反卷积来增加分辨率得到下采样的heatmap，使得网络的感受野变得更加精确,即使是小目标也更为敏感。其次，分配的锚点仅仅是放在位置上，没有尺寸框，不需要手动设置阈值区分前后景。最后从heatmap中提取目标，不需要像yolo3在预测时使用非极大值抑制算法(NMS)，进一步减少了计算量，从而提升了预测速度。在同一验证集上的预测结果表明，就准确率而言，Yolo3准确率为87.67％，本发明专利技术为95.48％。

【技术实现步骤摘要】
基于heatmap提取关键点的交通信号灯的识别方法、装置、介质
本专利技术属于图像识别领域，具体涉及基于heatmap提取关键点的交通信号灯的识别方法。
技术介绍
如何正确地识别交通信号灯是高级辅助驾驶领域、无人驾驶领域和智能交通领域中至关重要的一环。在实际的城市驾驶环境下，光线强弱的变化、车辆行人的运动模糊等效应都会给信号灯检测带来新的问题。而传统数字图像处理技术对于红绿灯检测主要采用边缘分割、直方图变换等方式，可能在某种实际驾驶环境良好的情况下可以有着不错的表现，但是一旦在光照环境复杂、强光或逆光等情况下，传统数字图像处理技术的识别准确率就很低了，不具备泛化能力。随着人工智能的快速发展，深度学习技术广泛应用于计算机视觉的诸多方面，在图片分类、目标定位、图像分割、图像增强等领域发展迅速。基于深度学习的目标检测算法，主要分为两阶段网络算法和单阶段网络算法。两阶段网络首先从一张图像中生成稀疏的候选区域，并对候选区域进行二分类和初步定位，再将稀疏的候选区域送入分类和回归网络中进一步分类和定位得到最后的检测结果。单阶段网络不生成候选区域，直接对图片上固定位置的锚点框(anchor)进行分类和定位。但是现有的深度网络无法很好地完成交通信号灯的提取工作。以Yolo3为例，Yolo3目标识别网络是一个经典的单阶段网络，通常情况下，该网络需要对输入的训练图片下采样32倍，因为交通信号灯通常具有比较小的尺寸，这样做的直接结果就是可能丢失了小目标，在预测锚框时出错。因此，如何将人工智能技术应用于图像中交通信号灯的准确提取，是目前亟待解决的技术问题。
技术实现思路
本专利技术的目的在于解决现有技术中存在的问题，并提供一种基于heatmap提取关键点的交通信号灯的识别方法。本专利技术提出的基于heatmap提取关键点的交通信号灯的识别方法属于anchor-free(无锚框)类型的目标检测算法，同时还具备对小目标检测(尤其是交通信号灯)有着很高的识别准确率和很快的识别速度。本专利技术所采用的具体技术方案如下：第一方面，本专利技术提供了一种基于heatmap提取关键点的交通信号灯的识别方法，其步骤如下：S1、获取由包含红绿灯的图片样本组成的图像数据集，每一张图片样本均具有标注，所述标注包括红绿灯的外包矩形框以及红绿灯指示方向类别；S2、以resnet50网络作为骨架网络构建交通信号灯识别模型，resnet50网络的输出的第一特征图经过连续三层反卷积后输出第二特征图，第二特征图分别输入第一输出网络、第二输出网络和第三输出网络中；所述第一输出网络将第二特征图连续通过两个卷积层后得到heatmap，heatmap由所有红绿灯指示方向类别各自的热图组成；所述第二输出网络将第二特征图连续通过两个卷积层后输出每个红绿灯外包矩形框中心点的偏移量；所述第三输出网络将第二特征图连续通过两个卷积层后输出每个红绿灯外包矩形框的高度和宽度；S3：利用所述图像数据集，通过最小化总损失函数对所述交通信号灯识别模型进行训练；单个图片样本的总损失函数Ldet为：Ldet＝Lk+αoffLoff+αsizeLsize其中：αoff和αsize为权重系数；Lk为外包矩形框中心点的损失，且：Ln为外包矩形框n的损失：式中：N表示图片样本中红绿灯的外包矩形框n的个数，为热图中第一输出网络预测得到的红绿灯外包矩形框中心点所在位置的预测值，Yn为热图中第一输出网络预测得到的红绿灯外包矩形框中心点所在位置的实际值，和Yn取值范围均为[0，1]，值代表该点属于红绿灯外包矩形框中心点的概率，0表示该点不是中心点，1表示该点是中心点；α、β是超参数；Loff为外包矩形框中心点偏移量损失，且：式中：为所述第二输出网络输出的红绿灯外包矩形框n的中心点偏移量估计值，为红绿灯外包矩形框n的中心点偏移量实际值；表示向量空间，W和H分别为每一张图片样本的宽度和高度，R表示第二特征图相对于图片样本的下采样倍数；Lsize为外包矩形框大小损失，且：式中：是红绿灯外包矩形框n经过R倍下采样后的高度和宽度估计值，sn是红绿灯外包矩形框n的经过R倍下采样后的高度和宽度实际值；S4、将含有交通信号灯的待识别图片输入所述交通信号灯识别模型中，由所述第一输出网络输出不同红绿灯指示方向类别的红绿灯外包矩形框中心点，由所述第二输出网络输出每个红绿灯外包矩形框中心点的偏移量，由所述第三输出网络输出每个红绿灯外包矩形框的高度和宽度；在heatmap中，根据输出的红绿灯外包矩形框的中心点、偏移量以及高度和宽度，得到红绿灯外包矩形框的标定框，并将标定框重新映射至待识别图片中。作为优选，所述S1中，图片样本为汽车行驶过程中由行车记录仪拍摄到的包含红绿灯的图片或者由路口监控摄像头拍摄到的包含红绿灯的图片。作为优选，所述S1中，每个图片样本的标注内容为(c，x1，y1，x2，y2)，c表示红绿灯指示方向类别，(x1，y1)和(x2，y2)分别表示红绿灯外包矩形框的左上角坐标和右下角坐标。作为优选，所述S2中，交通信号灯识别模型内各网络层的参数如下：所述resnet_50网络的输入图片大小为512*512*3，输出的第一特征图大小为16*16*2048；所述第一特征图经过连续三层反卷积后输出的第二特征图大小为128*128*64；所述第一输出网络输出的heatmap大小为128*128*C；C表示红绿灯指示方向类别标签个数；最大池化层的窗口大小为3×3；所述第二输出网络输出的每个红绿灯外包矩形框中心点的偏移量特征大小为128*128*2；所述第三输出网络输出的每个红绿灯外包矩形框的高度和宽度特征大小为128*128*2。作为优选，所述S3中，红绿灯外包矩形框n的中心点偏移量实际值计算公司为：其中：表示图片样本中红绿灯外包矩形框n的中心点p经过R倍下采样后的浮点型坐标，中心点表示红绿灯外包矩形框的中心点p经过R倍下采样后的整型坐标。作为优选，所述S4中，heatmap中红绿灯外包矩形框的标定框为：其中：(x1，y1)、(x2，y2)分别表示标定框的左上角和右下角坐标，是由所述第一输出网络输出heatmap中一个红绿灯外包矩形框的中心点X坐标，是由所述第二输出网络输出的红绿灯外包矩形框中心点X的偏移量，是由所述第三输出网络输出的红绿灯外包矩形框X的高度和宽度。作为优选，所述权重系数αoff和αsize分别设置为1和0.1。作为优选，所述超参数α、β分别设置为2和4。第二方面，本专利技术提供了一种基于heatmap提取关键点的交通信号灯的识别装置，其包括存储器和处理器；所述存储器，用于存储计算机程序；所述处理器，用于当执行所述计算机程序时，实现如第一方面中任一项所述的基于heatmap提取关键点的交通信号灯的识别方法。第三方面，本专利技术提供了一种本文档来自技高网...

【技术保护点】
1.一种基于heatmap提取关键点的交通信号灯的识别方法，其特征在于，步骤如下：/nS1、获取由包含红绿灯的图片样本组成的图像数据集，每一张图片样本均具有标注，所述标注包括红绿灯的外包矩形框以及红绿灯指示方向类别；/nS2、以resnet_50网络作为骨架网络构建交通信号灯识别模型，resnet_50网络的输出的第一特征图经过连续三层反卷积后输出第二特征图，第二特征图分别输入第一输出网络、第二输出网络和第三输出网络中；所述第一输出网络将第二特征图连续通过两个卷积层后得到heatmap，所述heatmap由所有红绿灯指示方向类别各自的热图组成，提取heatmap中每一个红绿灯指示方向类别的热图，判断热图中每一个位置的值是否不小于周围的八个近邻位置，若满足则将其作为一个热点；针对每一个红绿灯指示方向类别的热图中的热点，通过设置阈值筛除热点位置的值小于阈值的热点，剩余的热点作为该红绿灯指示方向类别的热图中的红绿灯外包矩形框中心点进行输出；所述第二输出网络将第二特征图连续通过两个卷积层后输出每个红绿灯外包矩形框中心点的偏移量；所述第三输出网络将第二特征图连续通过两个卷积层后输出每个红绿灯外包矩形框的高度和宽度；/nS3：利用所述图像数据集，通过最小化总损失函数对所述交通信号灯识别模型进行训练；单个图片样本的总损失函数L...

【技术特征摘要】
1.一种基于heatmap提取关键点的交通信号灯的识别方法，其特征在于，步骤如下：
S1、获取由包含红绿灯的图片样本组成的图像数据集，每一张图片样本均具有标注，所述标注包括红绿灯的外包矩形框以及红绿灯指示方向类别；
S2、以resnet_50网络作为骨架网络构建交通信号灯识别模型，resnet_50网络的输出的第一特征图经过连续三层反卷积后输出第二特征图，第二特征图分别输入第一输出网络、第二输出网络和第三输出网络中；所述第一输出网络将第二特征图连续通过两个卷积层后得到heatmap，所述heatmap由所有红绿灯指示方向类别各自的热图组成，提取heatmap中每一个红绿灯指示方向类别的热图，判断热图中每一个位置的值是否不小于周围的八个近邻位置，若满足则将其作为一个热点；针对每一个红绿灯指示方向类别的热图中的热点，通过设置阈值筛除热点位置的值小于阈值的热点，剩余的热点作为该红绿灯指示方向类别的热图中的红绿灯外包矩形框中心点进行输出；所述第二输出网络将第二特征图连续通过两个卷积层后输出每个红绿灯外包矩形框中心点的偏移量；所述第三输出网络将第二特征图连续通过两个卷积层后输出每个红绿灯外包矩形框的高度和宽度；
S3：利用所述图像数据集，通过最小化总损失函数对所述交通信号灯识别模型进行训练；单个图片样本的总损失函数Ldet为：
Ldet＝Lk+αoffLoff+αsizeLsize
其中：αoff和αsize为权重系数；
Lk为外包矩形框中心点的损失，且：



Ln为外包矩形框n的损失：



式中：N表示图片样本中红绿灯的外包矩形框n的个数，为热图中第一输出网络预测得到的红绿灯外包矩形框中心点所在位置的预测值，Yn为热图中第一输出网络预测得到的红绿灯外包矩形框中心点所在位置的实际值，和Yn取值范围均为[0，1]，值代表该点属于红绿灯外包矩形框中心点的概率，0表示该点不是中心点，1表示该点是中心点；α、β是超参数；
Loff为外包矩形框中心点偏移量损失，且：



式中：为所述第二输出网络输出的红绿灯外包矩形框n的中心点偏移量估计值，为红绿灯外包矩形框n的中心点偏移量实际值；表示向量空间，W和H分别为每一张图片样本的宽度和高度，R表示第二特征图相对于图片样本的下采样倍数；
Lsize为外包矩形框大小损失，且：



式中：是红绿灯外包矩形框n经过R倍下采样后的高度和宽度估计值，sn是红绿灯外包矩形框n的经过R倍下采样后的高度和宽度实际值；
S4、将含有交通信号灯的待识别图片输入所述交通信号灯识别模型中，由所述第一输出网络输出不同红绿灯指示方向类别的红绿灯外包矩形框中心点，由所述第二输出网络输出每个红绿灯外包矩形框中心点的偏移量，由所述第三输出网络输出每个红绿灯外包矩形框的高度和宽度；在heatmap中，根据输出的红绿灯外包矩形框的中心点、偏移量以及高度和宽度，得到红绿灯外包矩形框的标定框，并将标定框重新映射至待识别图片中。


2.如权利要求1所述的基于heatmap提取关键点的交通信号灯的识别方法，其特征在...

【专利技术属性】
技术研发人员：李万清，李华，刘俊，林永杰，袁友伟，
申请(专利权)人：杭州电子科技大学，
类型：发明
国别省市：浙江;33