一种基于RGB室外道路场景图像的红绿灯识别方法技术

一种基于RGB室外道路场景图像的红绿灯识别方法，包括如下步骤：基于Nvidia Tx2平台，实时获取道路场景的RGB图片，归一化处理后输入CenterNet网络进行推理，从RGB原图片中抠取包含有红绿灯的目标区域；将得到的目标区域依次输入排除误检的自定义分类器、分类箭头方向的自定义分类器、分类指示灯颜色的自定义分类器中，依次剔除为背景的目标区域并分类，得到各红绿灯在RGB图片中的位置信息、红绿灯的方向信息、红绿灯的颜色信息等。本发明专利技术综合了检测网络CenterNet漏检少、速度快的优点，再通过各类自定义分类器，解决了因各种原因导致的误识别，提高了识别的准确率和效率。

【技术实现步骤摘要】
一种基于RGB室外道路场景图像的红绿灯识别方法
本专利技术涉及图像识别
，尤其涉及一种基于RGB室外道路场景图像的红绿灯识别方法。
技术介绍
无人驾驶、智能辅助驾驶、导航等技术中需要实时识别道路上的红绿灯，目前红绿灯识别一般采用实时目标检测网络，主流网络有基于候选区域的目标检测器或单次目标检测器。基于候选区域的目标检测器，会使用特征提取器对整图进行特征提取，再在特征图上创建候选区域ROI，将各个候选区域进行卷积和分类，得到检测结果；此方法虽然对红绿灯等小物体效果良好，但在开发端NVIDIATX2推理速度很慢，不能满足实时性要求，如FasterR-CNN等网络模型。单次目标检测器，会基于滑动窗口进行预测，同时预测anchors的边界框和类别，再提取特征进行卷积和分类，得到检测结果；此方法在开发端NVIDIATX2推理速度较快，但是对检测红绿灯等小物体检测效果很差，如YOLOV3、SSD等网络模型。
技术实现思路
本专利技术的目的是克服上述现有技术的缺点，结合主流网络模型的优缺点，采用一种新的方法--基于中心点的检测网络CenterNet，将检测目标定位到一个点，即检测矩形框的中心点，再卷积回归目标的类别位置等其他属性，得到检测结果；此方法对检测红绿灯等小物体效果良好，在开发端NVIDIATX2推理速度较快，能同时满足识别精度和实时性要求。本专利技术是通过以下技术方案来实现的：一种基于RGB室外道路场景图像的红绿灯识别方法，包括如下步骤：S1、基于NvidiaTx2平台，实时获取道路场景的RGB图片，对RGB图片进行归一化处理后，输入CenterNet网络进行推理，得到红绿灯的位置信息，所述红绿灯的位置信息包括各红绿灯的中心点坐标（在RGB图片中的坐标位置）、宽度和高度等；S2、依据上述步骤得到的各红绿灯的位置信息，从RGB原图片中抠取包含有红绿灯的目标区域，得到各个目标区域及其位置信息；S3、将步骤S2中得到的各目标区域依次输入排除误检的自定义分类器中，剔除目标区域为背景的目标区域（非红绿灯或关闭的红绿灯），保留目标区域为红绿灯正常显示的目标区域及其位置信息，所述目标区域为背景的目标区域包括红绿灯关闭的目标区域；S4、将步骤S3中保留的各目标区域依次输入分类箭头方向的自定义分类器中，剔除目标区域为背景的目标区域（非红绿灯，如非红绿灯的箭头或圆形），保留目标区域为向左箭头、向右箭头、向前箭头、掉头箭头或圆形指示灯的目标区域及其位置信息和箭头方向信息；S5、将步骤S4中保留的各目标区域依次输入分类指示灯颜色的自定义分类器中，剔除目标区域颜色为背景的目标区域（非红绿灯，分类出的目标区域中可能含有非红绿灯颜色的箭头圆形等），保留目标区域为红色、黄色或绿色的目标区域及其位置信息、箭头方向和颜色等；S6、将步骤S5中保留的各目标区域依次提取特征，得到RGB图片中能识别到的红绿灯信息，所述红绿灯信息包括各红绿灯在RGB图片中的位置信息、红绿灯的方向信息和红绿灯的颜色信息等。进一步地，所述S1步骤中的RGB图像由RGB摄像头获得。为提高识别效率，充分利用NvidiaTX2硬件平台性能，进一步地，所述S1步骤中CenterNet网络推理的步骤包括：基于NvidiaTX2硬件平台，将Pytorch训练好的网络模型转换成ONNX模型，再将ONNX模型通过TensorRT生成TRT加速模型，推理时直接加载TRT加速模型，提高了红绿灯检测和分类的速度，达到实时识别的效果。进一步地，所述S3步骤中排除误检的自定义分类器的网络模型包括输入层、隐藏层和输出层，分别如下：数据由输入层输入，分类器模型需要训练和验证，故需要准备一定数量的样本数据集，并将其随机分为训练样本集和测试样本集，本专利技术中，样本数据集为图片样本，输入层输入样本数据集，并将输入的样本数据集中的图片重定义尺寸大小为1*3*48*48，其中，用于训练和测试的样本数据集有两类：0类为正常显示的红绿灯图片，1类为与红绿灯类似的背景图片和指示灯关闭的红绿灯图片等；隐藏层共有六层，分别为：第一层：包括一个卷积层、一个归一化层、一个激活函数层和一个最大池化层；第二层：包括一个卷积层、一个归一化层、一个激活函数层和一个最大池化层；第三层：包括一个卷积层、一个归一化层、一个激活函数层和一个最大池化层；第四层：包括一个卷积层、一个归一化层、一个激活函数层和一个最大池化层；第五层：包括一个卷积层、一个归一化层和一个激活函数层；第六层：包括一个卷积层、一个归一化层和一个激活函数层；输出层为二分类分类器，输出两个类别：0表示输入图片为背景，1表示输入图片为红绿灯，可以根据分类器输出排除误检。进一步地，所述S4步骤中分类箭头方向的自定义分类器的网络模型包括输入层、隐藏层和输出层，分别如下：输入层输入样本数据集，并将输入的样本数据集中的图片重定义尺寸大小为1*3*48*48，其中，用于训练和测试的样本数据集有6类：0类为指示灯关闭的红绿灯图片，1类为箭头向左的红绿灯图片，2类为箭头向右的红绿灯图片，3类为箭头向前的红绿灯图片，4类为箭头方向为掉头的红绿灯图片，5类为指示灯为圆形的红绿灯图片；隐藏层共有六层，分别为：第一层：包括一个卷积层、一个归一化层、一个激活函数层和一个最大池化层；第二层：包括一个卷积层、一个归一化层、一个激活函数层和一个最大池化层；第三层：包括一个卷积层、一个归一化层、一个激活函数层和一个最大池化层；第四层：包括一个卷积层、一个归一化层、一个激活函数层和一个最大池化层；第五层：包括一个卷积层、一个归一化层和一个激活函数层；第六层：包括一个卷积层、一个归一化层和一个激活函数层；输出层为多分类分类器，输出六个类别：0表示背景，1表示向左箭头，2表示向右箭头，3表示向前箭头，4表示掉头箭头，5表示圆形指示灯。进一步地，所述S5步骤中分类指示灯颜色的自定义分类器的网络模型包括输入层、隐藏层和输出层，分别如下：输入层输入样本数据集，并将输入的样本数据集中的图片重定义尺寸大小为1*3*48*48，其中，用于训练和测试的样本数据集有4类：0类为指示灯颜色是背景色的红绿灯图片，1类为指示灯颜色是红色的红绿灯图片，2类为指示灯颜色是黄色的红绿灯图片，3类为指示灯颜色是绿色的红绿灯图片；隐藏层共有六层，分别为：第一层：包括一个卷积层、一个归一化层、一个激活函数层和一个最大池化层；第二层：包括一个卷积层、一个归一化层、一个激活函数层和一个最大池化层；第三层：包括一个卷积层、一个归一化层、一个激活函数层和一个最大池化层；第四层：包括一个卷积层、一个归一化层、一个激活函数层和一个最大池化层；第五层：包括一个卷积层、一个归一化层和一个激活函数层；第六层：包括一个卷积层、一个归一化层和一个激活函数层；输出层为多分类分类器，输出4本文档来自技高网...

【技术保护点】
1.一种基于RGB室外道路场景图像的红绿灯识别方法，其特征在于，包括如下步骤：/nS1、基于Nvidia Tx2平台，实时获取道路场景的RGB图片，对RGB图片进行归一化处理后，输入CenterNet网络进行推理，得到各红绿灯的位置信息，所述红绿灯的位置信息包括各红绿灯的中心点坐标、宽度和高度；/nS2、依据步骤S1中得到的各红绿灯的位置信息，从RGB原图片中抠取包含有红绿灯的目标区域，得到各个目标区域及其位置信息；/nS3、将步骤S2中得到的各目标区域依次输入排除误检的自定义分类器中，剔除目标区域为背景的目标区域，保留目标区域为红绿灯正常显示的目标区域及其位置信息，所述目标区域为背景的目标区域包括红绿灯关闭的目标区域；/nS4、将步骤S3中保留的各目标区域依次输入分类箭头方向的自定义分类器中，剔除目标区域为背景的目标区域，保留目标区域为向左箭头、向右箭头、向前箭头、掉头箭头或圆形指示灯的目标区域及其位置信息和箭头方向信息；/nS5、将步骤S4中保留的各目标区域依次输入分类指示灯颜色的自定义分类器中，剔除目标区域颜色为背景的目标区域，保留目标区域为红色、黄色或绿色的目标区域及其位置信息、箭头方向和颜色；/nS6、将步骤S5中保留的各目标区域依次提取特征，得到RGB图片中能识别到的红绿灯信息，所述红绿灯信息包括各红绿灯在RGB图片中的位置信息、红绿灯的方向信息和红绿灯的颜色信息。/n...

【技术特征摘要】
1.一种基于RGB室外道路场景图像的红绿灯识别方法，其特征在于，包括如下步骤：
S1、基于NvidiaTx2平台，实时获取道路场景的RGB图片，对RGB图片进行归一化处理后，输入CenterNet网络进行推理，得到各红绿灯的位置信息，所述红绿灯的位置信息包括各红绿灯的中心点坐标、宽度和高度；
S2、依据步骤S1中得到的各红绿灯的位置信息，从RGB原图片中抠取包含有红绿灯的目标区域，得到各个目标区域及其位置信息；
S3、将步骤S2中得到的各目标区域依次输入排除误检的自定义分类器中，剔除目标区域为背景的目标区域，保留目标区域为红绿灯正常显示的目标区域及其位置信息，所述目标区域为背景的目标区域包括红绿灯关闭的目标区域；
S4、将步骤S3中保留的各目标区域依次输入分类箭头方向的自定义分类器中，剔除目标区域为背景的目标区域，保留目标区域为向左箭头、向右箭头、向前箭头、掉头箭头或圆形指示灯的目标区域及其位置信息和箭头方向信息；
S5、将步骤S4中保留的各目标区域依次输入分类指示灯颜色的自定义分类器中，剔除目标区域颜色为背景的目标区域，保留目标区域为红色、黄色或绿色的目标区域及其位置信息、箭头方向和颜色；
S6、将步骤S5中保留的各目标区域依次提取特征，得到RGB图片中能识别到的红绿灯信息，所述红绿灯信息包括各红绿灯在RGB图片中的位置信息、红绿灯的方向信息和红绿灯的颜色信息。


2.根据权利要求1所述的一种基于RGB室外道路场景图像的红绿灯识别方法，其特征在于，所述S1步骤中CenterNet网络推理的步骤包括：基于NvidiaTX2硬件平台，将Pytorch训练好的网络模型转换成ONNX模型，再将ONNX模型通过TensorRT生成TRT加速模型，推理时直接加载TRT加速模型。


3.根据权利要求1所述的一种基于RGB室外道路场景图像的红绿灯识别方法，其特征在于，所述S3步骤中排除误检的自定义分类器的网络模型包括输入层、隐藏层和输出层，分别如下：
输入层输入样本数据集，并将输入的样本数据集中的图片重定义尺寸大小为1*3*48*48，其中，用于训练和测试的样本数据集有两类：0类为正常显示的红绿灯图片，1类为与红绿灯类似的背景图片和指示灯关闭的红绿灯图片；
隐藏层共有六层，分别为：
第一层：包括一个卷积层、一个归一化层、一个激活函数层和一个最大池化层；
第二层：包括一个卷积层、一个归一化层、一个激活函数层和一个最大池化层；
第三层：包括一个卷积层、一个归一化层、一个激活函数层和一个最大池化层；
第四层：包括一个卷积层、一个归一化层、一个激活函数层和一个最大池化层；
第五层：包括一个卷积层、一个归一化层和一个激活函数层；
第六层：包括一个卷积层、一个归一化层和一个激活函数层；
输出层为二分类分类器，输出两个类别：0表示输入图片为背景，1表示输入图片为红绿灯，根据分类器输出排除误检。


4.根据权利要求1所述的一种基于RGB室外道路场景图像的红绿灯识别方法，其特征在于，所述S4步骤中分类箭头方向的自定义分类器的网络模型包括输入层、隐藏层和输出层，分别如下：
输入层输入样本数据集，并将输入的样本数据集中的图片重定义尺寸大小为1*3*48*48，其中，用于训练和测试的样本数据集有6类：0类为...

【专利技术属性】
技术研发人员：周东开，步宏飞，赖志林，杨晓东，
申请(专利权)人：广州赛特智能科技有限公司，
类型：发明
国别省市：广东;44