本发明专利技术提出了一种基于级联卷积神经网络的前车车辆信息结构化输出方法，主要解决现有方法不能在复杂环境下一次性快速检测、识别到车体、车牌、车标的问题。其实现过程是：1.获取样本集，并从中选出车体初样本集；2.用二值范数梯度方法对车体的最初样本集进行训练；3.分别训练车体、车牌、车标的卷积神经网络；4.根据训练好的车体卷积神经网络判断出车体区域和颜色；5.根据训练好的车牌卷积神经网络判断出车牌区域，识别车牌号；6.根据训练好的车标卷积神经网络判断出车标区域及类别；7.将得到的所有信息输出到帧图像。本发明专利技术能在复杂环境中较准确地检测、识别前方车辆信息，可用于智能监控、智能交通、驾驶员辅助及交通信息检测。
【技术实现步骤摘要】
本专利技术属于图像处理
，特别涉及一种车辆信息结构化输出方法，可用于 智能监控、智能交通、驾驶员辅助系统和交通信息检测。
技术介绍
计算机视觉中的车辆检测识别是指仅利用摄像机的图像输入来获取车辆信息，其 是一门应用前景十分广阔的技术。基于计算机视觉的车辆检测系统硬件成本较低，能感知 到丰富的环境信息，但受环境变化影响大，对光照条件的变化比较敏感。车辆信息检测识别 在多个领域都有较好的应用前景，但是由于车辆的多样性，背景的混杂以及天气影响，光照 条件，自身遮挡等多方面的因素导致车辆检测识别在目前并没有通用的、稳定的解决方案。 目前，基于计算机视觉的车体、车牌、车标的检测识别都分别有各自不同的方法， 这些方法大多都是利用滑动窗口在检测区域扫描并提取人工构造的特征，根据人工提取到 的特征进行识别。其中： 基于计算机视觉的车体检测方法，主要是提取车体的对称性、纹理、边缘、颜色、阴 影等具有一定的可识别性的特征，并利用这些特征训练分类器来检测车体，这些方法对环 境、光照，及图像的拍摄质量要求高，不适用于一般场景。 基于计算机视觉的车牌检测、识别方法，首先要检测到精确的车牌区域，然后依据 光学字符识别OCR技术进行车牌识别。目前对于车牌的检测，主要是利用车牌的颜色、纹 理、边缘等特征和形态学方法对检测区域进行滑动窗口扫描。这种方法的不足是对环境要 求较高，且算法复杂，处理时间过长。 基于计算机视觉的车标检测、识别方法，主要是先利用边缘检测、模板滤波、纹理 特征等进行车标定位，然后利用支持向量机SVM、自适应增强Adaboost等基于统计分类的 方法构造分类器进行识别。其缺点是对待检测图像的分辨率要求较高，定位时间长，识别率 不尚。
技术实现思路
本专利技术的目的在于针对上述已有技术的不足，提出了一种基于级联卷积神经网络 的前车车辆信息结构化输出方法，以减小环境、光照对稳定性的影响，有效提高车辆信息的 检测和识别的正确率。 为实现上述目的，本专利技术的技术方案包括如下步骤： (1)拍摄不同场景、环境、光照下的总时长不少于10小时或最终图片不少于20万 张的前车车辆行驶的视频及图片，用这些数据图片构成最初始样本集，随机选择其中约5% 的图片标注出其中的车体位置，车牌位置，车标位置及车标类型； ⑵利用二值范数梯度BING方法对所有标注了车体的图片进行训练，得到训练好 的参数V和支持向量机模型SVM ; (3)分别训练车体、车牌、车标的卷积神经网络： (3a)利用训练好的参数v和支持向量机模型SVM在所有未标注的图片上生成车体 的候选区域，选择其中的车体区域，用该车体区域和已标注的车体样本作为车体正样本，将 其余非车体的候选区域作为车体负样本；用所有车体的正、负样本计算车体样本均值M 1，使 用车体的正、负样本和样本均值1训练车体的卷积神经网络CNN 1; (3b)利用选择性搜索selective search方法在车体区域上生成车牌候选区域， 选择其中的车牌区域，用该车牌区域和已标注的车牌样本作为车牌正样本，将其余非车牌 的候选区域作为车牌负样本；用所有车牌的正、负样本计算车牌样本均值M 2，使用车牌的 正、负样本和样本均值％训练车牌的卷积神经网络CNN 2; (3c)利用选择性搜索selective search方法在车牌邻域内生成车标的候选区 域，选择其中的车标区域，用该车标区域和已标注的车标样本作为车标正样本，将其余非车 标的候选区域作为车标负样本；用所有车标的正、负样本计算车标样本均值M 3，使用车标的 正、负样本和样本均值％训练车标的卷积神经网络CNN 3; (4)根据训练好的卷积神经网络，判断出车体区域、颜色，车牌区域、车牌号，车标 区域L及车标类别： (4a)对于给定的待检测视频流，依次截取其每一帧，利用训练好的参数V和支持 向量机模型SVM为帧图像生成待检测的车体候选区域，将所有待检测的车体候选区域送入 车体的卷积神经网络CNN^，提取待检测的车体候选区域特征并通过全连接法判断出该区 域的车体区域，将断定为车体的区域进行合并，得到最终的车体区域B，统计该最终车体区 域B的色彩信息得到车体颜色； (4b)使用选择性搜索selective search方法在最终车体区域B里生成待检测的 车牌候选区域，在生成的待检测车牌候选区域中选取待检测车牌候选区域送入到车牌的卷 积神经网络CNN 2*，提取待检测车牌候选区域特征并使用全连接法判断该区域的车牌区域 P，并对该车牌的区域进行车牌号码识别； (4c)获取车牌区域P的邻域，使用选择性搜索selective search方法在得到的车 牌区域P的邻域范围内生成待检测的车标候选区域，将所有待检测的车标候选区域送入到 车标的卷积神经网络CNN 3*，提取待检测的车标候选区域特征，判断出该区域的车标区域L 和车标的类别； (5)将步骤（4)得到的车体区域B、颜色，车牌区域P、车牌号，车标区域L及车标类 别这些信息一起输出到帧图像。 本专利技术与现有的技术相比具有以下优点： 1、本专利技术由于在获取候选检测区域时使用基于显著性目标检测的二值范数梯度 BING方法和选择性搜索selective search算法，能够避免现有的基于滑动窗口所产生的 大量冗余检测区域，大大减少了需要检测的区域，可以极大的加快检测和识别的速度。 2、本专利技术由于在提取图像特征时是利用基于深度学习的卷积神经网络CNN，因而 提取的图像特征较传统的基于图像描述方法能有效提取出车体、车牌、车标的本质性特征， 对于各种复杂的环境，能大大提高检测的准确率。 3、本专利技术由于是基于级联的检测识别方法，能一次性检测、识别车体、车牌、车标， 可以结构化输出前方车辆信息。【附图说明】 图1是本专利技术的实现流程图； 图2是本专利技术中车体训练样本部分正样本图； 图3是本专利技术中车牌训练样本部分正样本图； 图4是本专利技术中车标训练样本部分正样本图； 图5是用本专利技术检测到的车体结果图； 图6是用本专利技术检测到的车牌结果图； 图7是用本专利技术检测到的车标结果图； 图8是用本专利技术检测的前车车辆结构化信息输出结果图。【具体实施方式】 以下结合附图对本专利技术实施例和效果进行详细描述。 参照图1，本专利技术实施步骤如下： 步骤一，获取训练样本集： (Ia)拍摄不同场景、环境、光照下的总时长不少于10小时或最终图片不少于20万 张的前车车辆行驶的视频及图片，用这些数据图片构成样本集； (Ib)从样本集中随机选择5%的图片，在选择出来的每一张图片中标注出车体的 区域，车牌的区域，车标的区域及车标类别，作为最初样本集； 图2给出了车体训练样本部分正样本图，图3给出了车牌训练样本部分正样本图， 图4给出了车标训练样本部分正样本图。 步骤二，利用二值范数梯度BING方法对车体的最初样本集进行训练。 (2a)选取36种不同大小的尺寸，对车体的最初样本集中的所有车体区域，按照每 个车体区域的长和宽，将这个区域缩放到相应的尺寸，计算出缩放后车体区域的二值梯度 特征图gi，其中下标1是一个三元组，包括采样的窗口尺寸i，窗口位置X和y，即I = (i， X，y)，如果属于某窗口尺寸的车体区域样本数少于500个，则去掉该窗口尺寸； (2b)使用线性支持向量机本文档来自技高网...
【技术保护点】
一种基于级联卷积神经网络的前车车辆信息结构化输出方法，包括如下步骤：(1)拍摄不同场景、环境、光照下的总时长不少于10小时或最终图片不少于20万张的前车车辆行驶的视频及图片，用这些数据图片构成样本集，随机选择其中约5％的图片标注出其中的车体位置，车牌位置，车标位置及车标类型作为最初样本集；(2)利用二值范数梯度BING方法对车体的最初样本集使用六折交叉验证方式进行训练，得到训练好的参数v和支持向量机模型SVM；(3)分别训练车体、车牌、车标的卷积神经网络：(3a)利用训练好的参数v和支持向量机模型SVM在所有未标注的图片上生成车体的候选区域，选择其中的车体区域，用该车体区域和已标注的车体样本作为车体正样本，将其余非车体的候选区域作为车体负样本；用所有车体的正、负样本计算车体样本均值M1，使用车体的正、负样本和样本均值M1训练车体的卷积神经网络CNN1；(3b)利用选择性搜索selective search方法在车体区域上生成车牌候选区域，选择其中的车牌区域，用该车牌区域和已标注的车牌样本作为车牌正样本，将其余非车牌的候选区域作为车牌负样本；用所有车牌的正、负样本计算车牌样本均值M2，使用车牌的正、负样本和样本均值M2训练车牌的卷积神经网络CNN2；(3c)利用选择性搜索selective search方法在车牌邻域内生成车标的候选区域，选择其中的车标区域，用该车标区域和已标注的车标样本作为车标正样本，将其余非车标的候选区域作为车标负样本；用所有车标的正、负样本计算车标样本均值M3，使用车标的正、负样本和样本均值M3训练车标的卷积神经网络CNN3；(4)根据训练好的卷积神经网络，判断出车体区域、颜色，车牌区域、车牌号，车标区域L及车标类别：(4a)对于给定的待检测视频流，依次截取其每一帧，利用训练好的参数w和支持向量机模型SVM为帧图像生成待检测的车体候选区域，将所有待检测的车体候选区域送入车体的卷积神经网络CNN1中，提取待检测的车体候选区域特征并通过全连接法判断出该区域的车体区域，将断定为车体的区域进行合并，得到最终的车体区域B，统计该最终车体区域B的色彩信息得到车体颜色；(4b)使用选择性搜索selective search方法在最终车体区域B里生成待检测的车牌候选区域，在生成的待检测车牌候选区域中选取待检测车牌候选区域送入到车牌的卷积神经网络CNN2中，提取待检测车牌候选区域特征并使用全连接法判断该区域的车牌区域P，并对该车牌的区域进行车牌号码识别；(4c)获取车牌区域P的邻域，使用选择性搜索selective search方法在得到的车牌区域P的邻域范围内生成待检测的车标候选区域，将所有待检测的车标候选区域送入到车标的卷积神经网络CNN3中，提取待检测的车标候选区域特征，判断出该区域的车标区域L和车标的类别；(5)将步骤(4)得到的车体区域B、颜色，车牌区域P、车牌号，车标区域L及车标类别这些信息一起输出到帧图像。...
【技术特征摘要】
【专利技术属性】
技术研发人员：韩红，徐志敏，王伟，张鼎，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西;61
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。