一种基于路口先验知识的交通信号灯识别方法及系统技术方案

本发明专利技术提供一种基于路口先验知识的交通信号灯识别方法及系统，其中方法包括输入交通场景图像，还包括以下步骤：根据采集的离线标注数据，构建特定区域的交通信号灯模型；训练卷积神经网络对交通信号灯的识别；输出识别结果。本发明专利技术利用路口的先验信息辅助交通信号灯的定位，能够快速获得交通信号灯的候选区域，然后再利用深度模型进行交通信号灯的识别。具有处理速度快，准确度高的特点。

【技术实现步骤摘要】
一种基于路口先验知识的交通信号灯识别方法及系统
本专利技术涉及图像视觉的
，特别是一种基于路口先验知识的交通信号灯识别方法及系统。
技术介绍
道路环境感知是影响车辆驾驶的重要因素，其中交通信号灯能够使车辆在十字路口有序、安全通行，大幅度提高路口的通行效率。因此，准确高效的信号灯识别系统是智能车辆环境感知不可或缺的组成部分。国内外学者已进行了多年交通信号灯识别的研究，取得不少进展及成果。已有的交通信号灯的识别方法主要分为基于图像处理的方法和基于网络信息传输的方法两类。基于图像处理的方法通常是使用摄像头采集车辆前方的视频图像，然后依靠颜色、形状等信息检测感兴趣区域并提取特征进行类别判定，从而得到交通信号灯的状况。根据交通信号灯的特征属性，信号灯的检测可以分为基于颜色空间的检测方法、基于形状特征的检测方法以及其他一些综合类方法。基于颜色空间检测的算法实时性较好，是目前交通信号灯检测方法中采用较多的方法之一。此种方法对于环境对比强烈、颜色明显的图像能取得比较好的结果，然而单单依靠颜色信息无法应对复杂背景下的信号灯检测。形状检测方法能克服颜色模糊、光照不均匀等问题的影响，但若复杂背景下存在形状相似的干扰物，则会导致信号灯检测的失败。另有一些研究方法将颜色和形状综合考虑。相比于单独利用某种特征，此种方式能进一步减少识别错误率，但在夜晚、恶劣天气等情况下仍无法达到系统的实时性和鲁棒性要求。公开号为CN108764216A的专利技术专利公开了一种基于视觉的交通信号灯识别方法及装置，其中，识别方法包括三步，第一步判定交通信号灯类型，第二步图像预处理，第三步深度学习识别模型。该专利中提及的交通信号灯识别方法，输入的图像是交通信号灯局部区域图像，再通过阈值判断是什么类型的信号灯(横、竖)，然后经验阈值进行分割，最后再对分割后的图像进行交通信号类别的识别。该方法依赖于经验阈值，很难在实际应用中实施，且该方法没有提及如何对交通信号灯区域进行定位这一关键步骤，更增加了对最后识别结果的不确定性。
技术实现思路
为了解决上述的技术问题，本专利技术提出一种基于路口先验知识的交通信号灯识别方法及系统，本专利技术利用路口的先验信息辅助交通信号灯的定位，能够快速获得交通信号灯的候选区域，然后再利用深度模型进行交通信号灯的识别。具有处理速度快，准确度高的特点。本专利技术的第一目的是提供一种基于路口先验知识的交通信号灯识别方法，包括输入交通场景图像，还包括以下步骤：步骤1：根据采集的离线标注数据，构建特定区域的交通信号灯模型；步骤2：训练卷积神经网络对交通信号灯的识别；步骤3：输出识别结果。优选的是，所述离线标注数据的采集方法包括以下步骤：步骤01：从距离路口N米开始，车辆在车道内开始采集GPS数据和图像数据，其中，N为自然数；步骤02：每隔Tms采集一帧图像并记录下图像采集时刻的差分GPS点坐标数据和车道信息，其中，T为自然数；步骤03：从道路最右侧机动车道向左进行编号，记录当前车辆所在车道编号信息。在上述任一方案中优选的是，采集所述离线标注数据需要满足如下要求：1)采集每一条车道的离线标注数据；2)在采集过程中，车辆行驶需在车道的中心位置且行驶速度小于等于速度阈值。在上述任一方案中优选的是，所述离线标注数据的标注方法包括以下步骤：步骤11：根据采集的数据，对于每帧图像进行标注，在图像中用矩形框标注出图像中的感兴趣区域；步骤12：将标注的矩形框坐标与图像对应采集时刻的GPS点坐标信息整合成一个7元组，[①，②，③，④，⑤，⑥，⑦]。在上述任一方案中优选的是，所述感兴趣的区域为矩形框，包括四个坐标点分别对应矩形框的左上、左下、右上和右下点坐标。在上述任一方案中优选的是，所述矩形框需覆盖图像中的交通信号灯区域，并且在边缘区域有一定的盈余空间。在上述任一方案中优选的是，在所述7元组中，①和②用于存储经纬度坐标点，③用于存储车道编号信息，④、⑤、⑥和⑦用于存储矩形框坐标。在上述任一方案中优选的是，所述离线标注数据的存储格式为每个路口根据机动车道数量，生成以车道信息命名的存储文件，所述存储文件中的每一行对应存放着所述7元组数据，代表在对应车道内车辆GPS坐标下视野中的感兴趣区域位置。在上述任一方案中优选的是，所述离线标注数据的应用方法为当智能车辆接近路口时，根据车辆定位系统定位的GPS信息，在已经采集的离线数据中匹配最近的点，获得对应的感兴趣区域的矩形框位置。在上述任一方案中优选的是，所述交通信号灯模型中的颜色转换公式为：V＝Cmax其中：R’＝R/255，G’＝G/255，B’＝B/255，Cmax＝max(R’，G’，B’)，Cmin＝min(R’，G’，B’)，Δ＝Cmax-Cmin，R’表示归一化的红色分量，R表示红色分量，G’表示归一化的绿色分量，G表示绿色分量，B’表示归一化的蓝色分量，B表示蓝色分量，Cmax表示归一化后R’，G’，B’的最大者，Cmin表示归一化后R’，G’，B’的最小者，Δ表示最大者和最小者之差。在上述任一方案中优选的是，所述步骤2包括根据所述交通信号灯模型提取红、绿和黄颜色区域。在上述任一方案中优选的是，所述信号灯的识别方法包括以下步骤：步骤21：使用GPS定位获得对应的交通信号区域；步骤22：所述交通信号区域内利用滑动窗口方法进行检测，不同的滑动窗口大小会得到不同的矩形框；步骤23：利用非极大抑制方法对重叠的所述矩形框进行筛选在上述任一方案中优选的是，所述非极大抑制方法包括以下步骤：步骤231：在所有找出的边界框输出中，剔除pc≤0.6的边界框，pc表示......；步骤232：选出此时最大的pc对应的边界框，输出该边界框，并删除该边界框；步骤233：再次选出此时最大的pc对应的边界框，与输出的边界框进行loU的计算，如果loU的结果≥0.5，则不输出边界框；否则输出边界框，并删除该边界框；步骤234：重复步骤233，直到处理完所有的边界框。本专利技术的第二目的是提供一种基于路口先验知识的交通信号灯识别系统，包括摄像头和图像输入模块，还包括以下模块：信号识别模块：用于根据输入的图像，对交通信号灯进行识别。输出模块：输出识别结果；所述系统按照权利要求1所述的方法实施。优选的是，所述信号识别模块用于根据采集的离线标注数据，构建特定区域的交通信号灯模型。在上述任一方案中优选的是，所述离线标注数据的采集方法包括以下步骤：步骤01：从距离路口N米开始，车辆在车道内开始采集GPS数据和图像数据，其中，N为自然数；步骤02：每隔Tms采集一帧图像并记录下图像采集时刻的差分GPS点坐标数据和车道信息，其中，T为自然数；步骤03：从道路最右侧机动车道向左进行编号，记录当前车辆所在车道编号信息。在上述任一方案中优选的是，采集所述离线标注数据需要满足如下要求：1)采集每一条车道的离线标注数据；2)在采集过程中，车辆行驶需在车道的中心位置且行驶速度小于等于速度阈值。在上述任一方案中优选的是，所述离线标注数据的标注方法包括以下步骤：步骤11：根据采集的数据，对于每帧图像进行标注，在图像中用矩形框标注出图像中的感兴趣区域；步骤12：将标注的矩形框坐标与图像对应采集时刻的GPS点坐标信息整合成一个7元组，[①，②，③，④，⑤，⑥，⑦]。在上述任一方案中本文档来自技高网...

【技术保护点】
1.一种基于路口先验知识的交通信号灯识别方法，包括输入交通场景图像，其特征在于，还包括以下步骤：步骤1：根据采集的离线标注数据，构建特定区域的交通信号灯模型；步骤2：训练卷积神经网络对交通信号灯的识别；步骤3：输出识别结果。

【技术特征摘要】
1.一种基于路口先验知识的交通信号灯识别方法，包括输入交通场景图像，其特征在于，还包括以下步骤：步骤1：根据采集的离线标注数据，构建特定区域的交通信号灯模型；步骤2：训练卷积神经网络对交通信号灯的识别；步骤3：输出识别结果。2.如权利要求1所述的基于路口先验知识的交通信号灯识别方法，其特征在于，所述离线标注数据的采集方法包括以下步骤：步骤01：从距离路口N米开始，车辆在车道内开始采集GPS数据和图像数据，其中，N为自然数；步骤02：每隔Tms采集一帧图像并记录下图像采集时刻的差分GPS点坐标数据和车道信息，其中，T为自然数；步骤03：从道路最右侧机动车道向左进行编号，记录当前车辆所在车道编号信息。3.如权利要求2所述的基于路口先验知识的交通信号灯识别方法，其特征在于，采集所述离线标注数据需要满足如下要求：1)采集每一条车道的离线标注数据；2)在采集过程中，车辆行驶需在车道的中心位置且行驶速度小于等于速度阈值。4.如权利要求3所述的基于路口先验知识的交通信号灯识别方法，其特征在于，所述离线标注数据的标注方法包括以下步骤：步骤11：根据采集的数据，对于每帧图像进行标注，在图像中用矩形框标注出图像中的感兴趣区域；步骤12：将标注的矩形框坐标与图像对应采集时刻的GPS点坐标信息整合成一个7元组，[①，②，③，④，⑤，⑥，⑦]。5.如权利要求4所述的基于路口先验知识的交通信号灯识别方法，其特征在于，所述感兴趣的区域为矩形框，包括四个坐标点分别对应矩形框的左上、左下、右上和右下点坐标。6.如权利要求...

【专利技术属性】
技术研发人员：潘卫国，
申请(专利权)人：北京联合大学，
类型：发明
国别省市：北京,11