基于计算机视觉的交叉口标志标线与信号灯智能感知方法技术

本发明专利技术公开了一种基于计算机视觉的交叉口标志标线与信号灯智能感知方法，车载摄像头拍摄路况信息视频；分帧处理拍摄到的视频；对分帧图片预处理，排除非感兴趣区域；使用颜色特征和形状特征定位分割交通标志牌，并基于改进的SIFT算法检测并识别；基于圆形度和背景板信息提取交通信号灯；根据倒计时器与信号灯位置关系和其背景板特征分离信号灯倒计时器，使用SVM分类器识别倒计时器上的数字和箭头信号灯信息；用颜色直方图对色调H进行分布统计，识别交通信号灯颜色；提取车辆前方车道线，采用逆透视变换方法和设置 ROI 感兴趣区域消除透视形变的影响，模板匹配方法识别车道线类型；根据信号灯的安装方法，结合车道线标志牌底色和形状分离车道线标志牌，并基于改进的SIFT算法检测并识别。

【技术实现步骤摘要】
基于计算机视觉的交叉口标志标线与信号灯智能感知方法
本专利技术属于智慧交通安全预警
，具体是一种基于计算机视觉的对交叉口标志标线与信号灯智能感知的方法。
技术介绍
科技迅速发展，人们对无人驾驶技术的呼声日益增大。无人驾驶汽车是通过车载传感系统感知道路环境，而无人驾驶的一项关键技术就在于对道路信号灯与标志牌的正确快速识别,自动规划行车路线并控制车辆到达预定目标的智能汽车，即道路状况的检测至关重要。同时加强道路的安全预警与事故防范是我们交通人的一项研究重点,机器视觉不仅仅是人眼的延伸，更通过实际检测和控制反馈，具备人脑判断安全的功能。提前预报车辆前方道路交通信号灯状态、标志牌与道路方向，有利于驾驶员做出正确及时的驾驶判断，利于安全、更加智能驾驶。
技术实现思路
本专利技术的目的在于提供一种基于计算机视觉的交叉口标志标线与信号灯智能感知的方法，可辅助驾驶者识别交通标志牌及道路走向、交通信号、数字倒计时牌等目所能及且又十分重要的交通信息。实现本专利技术目的的技术解决方案为：一种基于计算机视觉的交叉口标志标线与信号灯智能感知方法，其实现包括以下步骤：步骤1、结合电子地图信息，开启车载摄像机采集路口视频，并实时检测交通信息；步骤2、把交叉口视频转换为路口图像帧；步骤3、对路口图像进行预处理。首先增强路口图像对比度，并转换为二值图像，然后应用形态学滤波，过滤图像中不符合形态学准则的小区域：步骤4：使用颜色特征和形状特征定位分割交通标志牌，并基于改进的SIFT算法检测并识别。步骤5：应用圆形度方法和背板颜色信息检测，排除非交通信号等的小区域，分离提取并识别圆形交通信号灯；步骤6：根据信号灯的安装方法，分离箭头信号灯和数字倒计时器，训练SVM分类器识别箭头信号和倒计时器数值；步骤7、把提取的信号灯和倒计时器图像从RGB空间转换到HSV空间，进而用颜色直方图对色调H进行分布统计，根据其分布特征来识别交通信号灯的类型；步骤8：提取车辆前方车道线，采用逆透视变换方法和设置ROI感兴趣区域消除透视形变的影响，模板匹配方法识别车道线类型；步骤9：根据信号灯的安装方法，结合车道线标志牌蓝色底色和矩形形状分离车道线标志牌，并基于改进的SIFT算法检测并识别。如果检测出信号灯、标志牌、车道线中的任意一种，进行语音播报并屏幕显示，并返回步骤1；如果检测完毕未检测出信号灯、标志牌、车道线中的任意一种，则直接返回步骤1。本专利技术与现有技术相比，其显著优点：1、系统完备：该方法包含对各种交通标志信息的识别，包括信号灯、倒计时器、标志牌和标志线的识别，多重信息检测结果通过语音提醒和显示屏显示，可以实现交叉口对驾驶员的有效安全预警，保证驾驶员安全驾驶。2、使用范围广：该识别方法适应各地交通信号，无论是哪个地区的驾驶员，都能一边开车一边实时地检测各种交叉路口交通信息。3、便利灵活：该方法不需要对现有交通设施大量改动，在现有基础上通过交通标志检测，可用于便携式车载设备的研发。附图说明图1为本专利技术基于计算机视觉的交叉口标志标线与信号灯智能感知方法的流程示意图。具体实施方式本专利技术基于计算机视觉的交叉口标志标线与信号灯智能感知方法，包括以下步骤：车载摄像头拍摄路况信息视频；分帧处理拍摄到的视频；对分帧图片预处理，排除非感兴趣区域；使用颜色特征和形状特征定位分割交通标志牌，并基于改进的SIFT算法检测并识别；基于圆形度和背景板信息提取交通信号灯；根据倒计时器与信号灯位置关系和其背景板特征分离信号灯倒计时器，使用SVM分类器识别倒计时器上的数字和箭头信号灯信息；用颜色直方图对色调H进行分布统计，识别交通信号灯颜色；提取车辆前方车道线，采用逆透视变换方法和设置ROI感兴趣区域消除透视形变的影响，模板匹配方法识别车道线类型；根据信号灯的安装方法，结合车道线标志牌底色和形状分离车道线标志牌，并基于改进的SIFT算法检测并识别。最后将上述识别结果以语音播放和图像显示两种方式实时输出交叉口交通信号情况，提醒驾驶员交叉口通行规则，辅助驾驶员安全驾驶。下面结合附图对本专利技术作进一步说明。如附图所示，一种基于计算机视觉的交叉口标志标线与信号灯智能感知技术，其实现包括以下步骤：第1步，开启车载摄像机采集路口视频，并实时检测交通信息，具体如下：每隔一定时间（1S-2S）检测一次直至完全驶过交叉口，利用车载摄像头采集交叉口信号灯的视频信息；第2步，把交叉口视频转换为路口图像帧，帧率为25帧/s：第3步，对图像进行增强对比度，转换为二值图像，然后应用形态学滤波，过滤图像中不符合形态学准则的小区域，具体步骤如下：步骤3.1，使用tophat算法增强图片对比度，使图片的亮暗分明，利于信号灯与复杂背景分离；步骤3.2，用迭代法寻找最优最优阈值，进行图像二值化处理；步骤3.3，使用形态学中的膨胀、腐蚀、开算子和闭算子对图片处理，过滤有干扰的小区域或者有较大空洞的区域。第4步，使用颜色特征和形状特征定位分割交通标志牌，并基于改进的SIFT算法检测并识别，具体步骤如下：步骤4.1，在图像预处理的基础上，将图片转化为HSV空间，利用交通标志牌的红色、黄色和蓝色为基本特征，基于HSV颜色空间的H通道和S通道定位感兴趣区域；步骤4.2，用canny算子检测预处理过后的图像边缘，采用计算圆形度、三角形度综合面积特征来判别交通标志几何形状，并用面积特征排除其他干扰；步骤4.3，采用改进的SIFT算法检测路口图片并识别交通标志牌，首先构建DoG尺度空间并检测尺度空间极值点，通过高斯微分函数来识别潜在的对于尺度和旋转不变的关键点；步骤4.4，通过拟和三维二次函数以精确确定关键点的位置和尺度，由此确定一个SIFT特征区域。步骤4.5，通过构建特征点邻域梯度的模型，计算特征描述子，得到64个特征向量作为描述子并进行归一化处理，从而减少其他外界环境的影响。第5步，应用圆形度方法和背板颜色信息检测，排除非交通信号等的小区域，分离提取并识别圆形交通信号灯，具体步骤如下：步骤5.1，经过步骤三的预处理已经排除一些不符合形态学滤波的小区域，标记剩下的区域，并统计小区域像素个数作为区域近似面积，小区域边界上的像素个数作为近似区域周长，计算各个区域圆形度，将圆形度在[0.9，1.0]之间的小区域作为候选区域；步骤5.2，判断小区域的圆形度后，需要利用交通信号灯背景板信息验证候选区域是否为信号灯。在圆形区域外接矩形，再在该外接矩形上下左右四个方向取四个与该矩形相等的邻接矩形，当这四个邻接矩形满足某个矩形为黑色区域，则认为找到感兴趣区域，并从原图中截取该区域的彩色图像，识别信号灯颜色。第6步，分离箭头信号灯和数字倒计时器，训练SVM分类器识别箭头信号和倒计时器数值，具体步骤如下：步骤6.1，根据信号灯的安装方法，倒计时器与信号灯之间存在一定的位置关系，依据此信息定位信号灯，结合主动发光特质和矩形黑色背景板提取分离箭头信号灯和倒计时器；步骤6.2，使用支持向量机SVM识别箭头交通标志，事先通过大量箭头信号正样本和负样本训练分类器识别箭头方向，并用0至9这十个七段数码管数字训练；步骤6.3，将倒计时器图像分为2个数字图像，对得到的数字图像归一化处理后，利用已经训练过的10个数字样本识别倒计时器内容。第7步，把提取的信号灯和倒计时器图像本文档来自技高网...

【技术保护点】
一种基于计算机视觉的交叉口标志标线与信号灯智能感知方法，其特征在于包括以下步骤：步骤1、结合电子地图信息，开启车载摄像机采集路口视频，并实时检测交通信息；步骤2、将交叉口视频转换为路口图像帧；步骤3、对路口图像进行预处理；首先增强路口图像对比度，并转换为二值图像，然后应用形态学滤波过滤图像中不符合形态学准则的小区域：步骤4：使用颜色特征和形状特征定位分割交通标志牌，并基于改进的SIFT算法进行检测和识别；步骤5：应用圆形度方法和背板颜色信息检测，排除非交通信号灯的小区域，分离提取并识别圆形交通信号灯；步骤6：根据信号灯的安装方法，分离箭头信号灯和数字倒计时器，训练SVM分类器识别箭头信号和倒计时器数值；步骤7、将提取的信号灯和倒计时器图像从RGB空间转换到HSV空间，进而用颜色直方图对色调H进行分布统计，根据其分布特征来识别交通信号灯的类型；步骤8：提取车辆前方车道线，采用逆透视变换方法和设置 ROI 感兴趣区域消除透视形变的影响，采用模板匹配方法识别车道线类型；步骤9：根据信号灯的安装方法，结合车道线标志牌蓝色底色和矩形形状分离车道线标志牌，并基于改进的SIFT算法进行检测和识别；如果检测出信号灯、标志牌、车道线中的任意一种，进行语音播报并屏幕显示，返回步骤1；如果未检测出信号灯、标志牌、车道线中的任意一种，则直接返回步骤1。...

【技术特征摘要】
1.一种基于计算机视觉的交叉口标志标线与信号灯智能感知方法，其特征在于包括以下步骤：步骤1、结合电子地图信息，开启车载摄像机采集路口视频，并实时检测交通信息；步骤2、将交叉口视频转换为路口图像帧；步骤3、对路口图像进行预处理；首先增强路口图像对比度，并转换为二值图像，然后应用形态学滤波过滤图像中不符合形态学准则的小区域：步骤4：使用颜色特征和形状特征定位分割交通标志牌，并基于改进的SIFT算法进行检测和识别；步骤5：应用圆形度方法和背板颜色信息检测，排除非交通信号灯的小区域，分离提取并识别圆形交通信号灯；步骤6：根据信号灯的安装方法，分离箭头信号灯和数字倒计时器，训练SVM分类器识别箭头信号和倒计时器数值；步骤7、将提取的信号灯和倒计时器图像从RGB空间转换到HSV空间，进而用颜色直方图对色调H进行分布统计，根据其分布特征来识别交通信号灯的类型；步骤8：提取车辆前方车道线，采用逆透视变换方法和设置ROI感兴趣区域消除透视形变的影响，采用模板匹配方法识别车道线类型；步骤9：根据信号灯的安装方法，结合车道线标志牌蓝色底色和矩形形状分离车道线标志牌，并基于改进的SIFT算法进行检测和识别；如果检测出信号灯、标志牌、车道线中的任意一种，进行语音播报并屏幕显示，返回步骤1；如果未检测出信号灯、标志牌、车道线中的任意一种，则直接返回步骤1。2.根据权利要求1所述的交叉口标志标线与信号灯智能感知方法，其特征在于：所述步骤1中，每隔1S-2S检测一次直至完全驶过交叉口，利用车载摄像头采集交叉口信号灯的视频信息。3.根据权利要求1所述的交叉口标志标线与信号灯智能感知方法，其特征在于：所述步骤3的具体实现如下：步骤3.1，使用tophat算法增强图片对比度，使图片的亮暗分明；步骤3.2，使用迭代法寻找最优阈值，进行图像二值化处理；步骤3.3，使用形态学中的膨胀、腐蚀、开算子和闭算子对图片处理，过滤有干扰的小区域或者有较大空洞的区域。4.根据权利要求1所述的交叉口标志标线与信号灯智能感知方法，其特征在于：步骤4所述使用颜色特征和形状特征定位分割交通标志牌，并基于改进的SIFT算法检测并识别的具体步骤如下：步骤4.1，在图像预处理的基础上，将图片转化为HSV空间，利用交通标志牌的红色、黄色和蓝色为基本特征，基于HSV颜色空间的H通道和S通道定位感兴趣区域；步骤4.2，用canny算子检测预处理过后的图像边缘，采用计算圆形度、三角形度综合面积特征来判别交通标志几何形状，并用面积特征排除其他干扰；步骤4.3，采用改进的SIFT算法检测路口图片并识别交通标志牌，首先构建DoG尺度空间并检测尺度空间极值点，通过高斯微分函数来识别潜在的对于尺度和旋转不变的关键点；步骤4.4，通过拟和三维二次函数确定关键点的位置和尺度，由此确定一个SIFT特征区域；步骤4.5，通过构建特征点...

【专利技术属性】
技术研发人员：周竹萍，金菲，张杰，徐康民，彭云龙，朱周，
申请(专利权)人：南京理工大学，
类型：发明
国别省市：江苏,32