一种交通信号灯定位识别方法、装置及系统制造方法及图纸

本发明专利技术公开了一种交通信号灯定位识别方法、装置及系统，其中，所述方法包括：获取待检测图像及基于卷积神经网络的目标检测识别模型；通过所述基于卷积神经网络的目标检测识别模型对所述待检测图像的交通信号灯检测区域进行交通信号灯识别；获取所述待检测图像中交通信号灯信息；所述交通信号灯信息包括：交通信号灯的颜色、坐标位置及置信度。采用本发明专利技术技术方案通过基于卷积神经网络的目标检测识别模型对交通信号灯信号进行定位识别，不但可以适应外围环境影响，且适用于任何形状交通信号灯信号的定位识别，从而提高交通信号灯信号的识别精度，降低误判率。

Method, device and system for locating and identifying traffic signal lamp

The invention discloses a traffic signal lamp positioning identification method, device and system, wherein, the method comprises: acquiring image detection and recognition model of convolutional neural network based target; through the detection and recognition model based on convolutional neural network to target the traffic lights detection image detection region traffic lights recognition; get the image information in the detection of traffic lights; the traffic lights information includes: the color of the traffic light, the position coordinates and confidence. The technical scheme of the invention through the detection and recognition model of convolutional neural network target recognition of traffic lights based on the signal, not only can adapt to the external environmental impact, identify the location and is suitable for any shape of traffic signal lamp signal, so as to improve the traffic signal recognition accuracy, reduce the misjudgment rate.

【技术实现步骤摘要】
一种交通信号灯定位识别方法、装置及系统
本专利技术涉及图像识别
，特别涉及一种交通信号灯定位识别方法、装置及系统。
技术介绍
随着经济水平和人民生活水平的不断提高，各大中小城市中车辆不断的增加。与此同时，随之而来的交通问题也越来越备受关注。在交通违法行为识别的过程中，自动准确的识别交通信号灯的尤为重要。传统的交通信号灯识别方案主要是利用像素变化，检测特定区域的颜色值变化，来确定交通信号灯的状态。例如用户划定固定的检测区域，如果该区域出现红色，则认为红灯亮。但是，这种交通信号灯的识别方案由于天气，季节的变化，和物体热胀冷缩的特性，交通信号灯的位置会发生上下，左右的移动，系统初始化时候设定的位置很多时候不是最终检测对应的灯的位置。同时，由于光照，成像技术的原因，事实上的红灯在成像上面可能显示为更接近黄灯的颜色，造成识别的错误。这种颜色失真现象在夜晚会更加明显。现有技术中识别交通信号灯的技术方案还有一种是利用交通信号灯的形状，如圆形，箭头等形状在特定区域进行模板匹配，并且对匹配的区域提取像素值，从而识别灯的颜色。但是，这种技术方案由于交通信号灯的形状各异，例如圆灯，箭头灯，而且图像采集的摄像头的安装位置以及交通信号灯的安装位置各有不同，导致不同位置间交通信号灯的大小不一，很难找到一个能够覆盖各种情况的通用模板。而且该方案也存在技术一中出现的光照、成像技术导致的颜色失真现象，无法精准的进行交通信号灯识别。因此，在专利技术人开发交通信号灯识别的过程中，发现现有技术中至少存在如下问题：现有技术中识别交通信号灯的技术方案识别精度不高，误判率高，且通用性差，受外界环境影响较大。
技术实现思路
鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的，本专利技术的技术方案是这样实现的：一方面，本专利技术提供了一种交通信号灯定位识别方法，包括：获取待检测图像及基于卷积神经网络的目标检测识别模型；通过所述基于卷积神经网络的目标检测识别模型对所述待检测图像的交通信号灯检测区域进行交通信号灯识别；获取所述待检测图像中交通信号灯信息；所述交通信号灯信息包括：交通信号灯的颜色、坐标位置及置信度。本专利技术还提供了一种交通信号灯定位识别装置，包括：信息获取单元，用于获取待检测图像及基于卷积神经网络的目标检测识别模型；识别单元，用于通过所述基于卷积神经网络的目标检测识别模型对所述待检测图像的交通信号灯检测区域进行交通信号灯识别；信息确定单元，用于获取所述待检测图像中交通信号灯信息；所述交通信号灯信息包括：交通信号灯的颜色、坐标位置及置信度。本专利技术还提供了一种交通信号灯定位识别系统，包括：如上所述交通信号灯定位识别装置。本专利技术的技术方案通过基于卷积神经网络的目标检测识别模型对所述待检测图像进行交通信号灯识别，并获取所述待检测图像中交通信号灯信息。由于所述基于卷积神经网络的目标检测识别模型能够学习到交通信号灯坐标位置及交通信号灯颜色，从而使得通过所述基于卷积神经网络的目标检测识别模型识别出来的待检测图像中的交通信号灯信息，即包含了交通信号灯的颜色、坐标位置及置信度。因此通过基于卷积神经网络的目标检测识别模型实现交通信号灯的定位识别，从而解决了现有技术中交通信号灯识别精度不高，误判率高，且通用性差，受外界环境影响较大的问题。附图说明图1为本专利技术实施例提供的一种交通信号灯定位识别方法流程图；图2为本专利技术实施例提供的另一种交通信号灯定位识别方法流程图；图3为本专利技术实施例提供的一种交通信号灯定位识别装置结构示意图；图4为本专利技术实施例提供的一种交通信号灯定位识别系统结构示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术实施方式作进一步地详细描述。基于卷积神经网络的算法。其中，快速区域卷积神经网络算法是目前最先进的用于目标检测的深度学习神经网络之一。所述快速区域卷积神经网络由两部分网络构成；一部分用于生成目标可能出现的区域，另一部分用于在所述目标区域对待检测目标进行精确定位并识别。如图1为所示为本专利技术实施例提供的一种交通信号灯定位识别方法流程图；该方法包括：101：获取待检测图像及基于卷积神经网络的目标检测识别模型；102：通过所述基于卷积神经网络的目标检测识别模型对所述待检测图像的交通信号灯检测区域进行交通信号灯识别；103：获取所述待检测图像中交通信号灯信息；所述交通信号灯信息包括：交通信号灯的颜色、坐标位置及置信度。基于以上实施例，如图2所示，为本专利技术实施例提供的另一种交通信号灯定位识别方法流程图；该方法包括：201：获取带标注的训练样本、待训练样本图像及配置参数；所述标注的训练样本带有交通信号灯框一个角点的坐标位置、灯框宽高值和当前灯的颜色；202：根据配置参数，生成所述待训练样本图像的候选推荐区域，并确定所述待训练样本图像的候选推荐区域中交通信号灯框的坐标位置及其置信度；该步骤具体实现过程如下：所述配置参数包括：交通信号灯框长宽比、及交通信号灯框标准信息；所述交通信号灯框标准信息包括待识别交通信号灯框坐标位置。S21:根据所述交通信号灯框长宽比，生成所述待训练样本图像的候选推荐区域；S22:根据所述交通信号灯框标准信息，确定所述待训练样本图像的候选推荐区域中交通信号灯框的坐标位置及其置信度。该步骤具体为：本专利技术技术方案采用基于区域的卷积神经网络快速检测模型FasterR-CNN的深度学习方法离线训练所述基于卷积神经网络的目标检测识别模型。例如：当交通信号灯框标准信息即训练样本中交通信号灯为三眼竖灯时，所述交通信号灯的宽高比接近1:3，可以利用这一特征对图像进行尺寸调整，确保宽高比为1:3，且大小为20x60。FasterR-CNN深度学习模型对目标尺寸的大小和宽高比没有严格的要求，能够检测到合理尺度范围的任何宽高比目标。根据交通信号灯框标准信息的先验知识，将其宽高比设为1:3，大小设为20x60,不但可以降低模型复杂度，从而能够在不牺牲检测精度的情况下提高检测效率。该模型除了能够输出灯框的位置，灯的颜色之外，还能够提供检测的置信度(0-1，0为最不确定，1为最确定)。在真实场景中，只要红绿灯灯框在20x60附近就可以检测到，并不严格要求大小为20x60。203：根据所述带标注的训练样本与所述待训练样本图像的候选推荐区域中交通信号灯框的坐标位置及其置信度，确定所述待训练样本图像的候选推荐区域的样本类型；所述样本类型包括：正样本或负样本；204：根据所述带标注的训练样本、所述待训练样本图像的候选推荐区域中交通信号灯框的坐标位置及其置信度和所述待训练样本图像的候选推荐区域的样本类型，获取所述基于卷积神经网络的目标检测识别模型。其中，所述基于卷积神经网络的目标检测识别模型包括：候选推荐区域检测器和交通信号灯分类定位器；该步骤具体实现过程如下：S41:根据所述带标注的训练样本、所述待训练样本图像的候选推荐区域中交通信号灯框的坐标位置及其置信度和所述待训练样本图像的候选推荐区域的样本类型，获取所述候选推荐区域检测器；S42：根据所述候选推荐区域检测器输出的所述待训练样本图像的候选推荐区域中交通信号灯框的坐标位置及其置信度和带标注的训练样本中标注的带有交通信号灯框一个角点的坐标位置、灯框宽高值和当前灯的本文档来自技高网...

【技术保护点】
一种交通信号灯定位识别方法，其特征在于，包括：获取待检测图像及基于卷积神经网络的目标检测识别模型；通过所述基于卷积神经网络的目标检测识别模型对所述待检测图像的交通信号灯检测区域进行交通信号灯识别；获取所述待检测图像中交通信号灯信息；所述交通信号灯信息包括：交通信号灯的颜色、坐标位置及置信度。

【技术特征摘要】
1.一种交通信号灯定位识别方法，其特征在于，包括：获取待检测图像及基于卷积神经网络的目标检测识别模型；通过所述基于卷积神经网络的目标检测识别模型对所述待检测图像的交通信号灯检测区域进行交通信号灯识别；获取所述待检测图像中交通信号灯信息；所述交通信号灯信息包括：交通信号灯的颜色、坐标位置及置信度。2.根据权利要求1所述的方法，其特征在于，该方法还包括：获取带标注的训练样本、待训练样本图像及配置参数；所述标注的训练样本带有交通信号灯框一个角点的坐标位置，灯框宽高值和当前灯的颜色；根据配置参数，生成所述待训练样本图像的候选推荐区域，并确定所述待训练样本图像的候选推荐区域中交通信号灯框的坐标位置及其置信度；根据所述带标注的训练样本与所述待训练样本图像的候选推荐区域中交通信号灯框的坐标位置及其置信度，确定所述待训练样本图像的候选推荐区域的样本类型；所述样本类型包括：正样本或负样本；根据所述带标注的训练样本、所述待训练样本图像的候选推荐区域中交通信号灯框的坐标位置及其置信度和所述待训练样本图像的候选推荐区域的样本类型，获取所述基于卷积神经网络的目标检测识别模型。3.根据权利要求2所述的方法，其特征在于，所述配置参数包括：交通信号灯框长宽比及交通信号灯框标准信息；所述根据配置参数，生成所述待训练样本图像的候选推荐区域，并确定所述待训练样本图像的候选推荐区域中交通信号灯框的坐标位置及其置信度步骤，具体包括：根据所述交通信号灯框长宽比，生成所述待训练样本图像的候选推荐区域；根据所述交通信号灯框标准信息，确定所述待训练样本图像的候选推荐区域中交通信号灯框的坐标位置及其置信度。4.根据权利要求3所述的方法，其特征在于，所述基于卷积神经网络的目标检测识别模型包括：候选推荐区域检测器和交通信号灯分类定位器；所述根据所述带标注的训练样本、所述待训练样本图像的候选推荐区域中交通信号灯框的坐标位置及所述待训练样本图像的候选推荐区域的样本类型，获取所述基于卷积神经网络的目标检测识别模型的步骤，具体包括：根据所述带标注的训练样本、所述待训练样本图像的候选推荐区域中交通信号灯框的坐标位置及其置信度和所述待训练样本图像的候选推荐区域的样本类型，获取所述候选推荐区域检测器；根据所述候选推荐区域检测器输出的所述待训练样本图像的候选推荐区域中交通信号灯框的坐标位置及其置信度和带标注的训练样本中标注的带有交通信号灯框一个角点的坐标位置、灯框宽高值和当前灯的颜色，获取所述交通信号灯分类定位器。5.根据权利要求1-4中任意项所述的方法，其特征在于，该方法还包括：预设置待检测图像的交通信号灯检测区域；所述通过所述基于卷积神经网络的目标检测识别模型对所述待检测图像的交通信号灯检测区域进行交通信号灯识别步骤包括：通过所述基于卷积神经网络的目标检测识别模型，确定所述待检测图像的交通信号灯检测区域内候选推荐区域；在候选推荐区域内进行交通信号灯识别，获取所述交通信号灯框一个角点的坐标位置、灯框宽高值，当前灯的颜色及其置信度；按照所述交通信号灯的坐标位置以及置信度，调整所述交通信号灯检测区域；所述调整后的交通信号灯检测区域将用于下一轮的交通信号灯识别，以便在后待检测图像的交通信号灯识别。6.根据权利要求5所述的方法，其特征在于，所述获取所述待检测图像中交通信号灯信息；所述交通信号灯信息包括：交通信号灯的颜色、...

【专利技术属性】
技术研发人员：陶海，李虹杰，曹松，郑翔，
申请(专利权)人：北京文安智能技术股份有限公司，
类型：发明
国别省市：北京,11