一种基于交通指示牌的车辆位姿估计方法技术

本发明专利技术涉及一种基于交通指示牌的车辆位姿估计方法，首先通过常规GPS设备获得车辆概略位置，通过安装在车辆前方的单目相机获取车辆前方的影像。之后在一帧图像中检测交通指示牌，如未检测到指示牌即处理下一帧图像。检测得到交通指示牌后，提取指示牌的4个控制点坐标，再通过GPS概略信息获得数据库中预存的该指示牌的4个正交控制点坐标，4对控制点之间一一对应，计算由输入图像中指示牌位置到数据库正交位置的平面透视变换矩阵，由该矩阵解算得到车辆在交通指示牌坐标系下的精确位置和姿态。当车辆在设有交通指示牌的道路上行驶时，本发明专利技术能够快速定位车辆在指示牌坐标系下的位置和姿态，具有实时性高，成本低廉，易于大规模推广的优点。

Vehicle pose estimation method based on traffic sign board

The invention relates to a method for estimating the position and orientation of a vehicle based on a traffic sign board. Firstly, a general position of a vehicle is obtained by a conventional GPS device. After the detection of traffic signs in a frame image, such as the detection of signs that do not detect the next frame image. Detection of traffic signs, the coordinates of the 4 control point extraction signs, then get the signs in the database stored GPS general information of 4 orthogonal coordinates of the control points, between the 4 of the control points corresponding to the input image plane is calculated by the position indicator to the database is the location of the perspective transformation in the matrix, calculate the vehicle traffic signs coordinates accurate position and attitude by the matrix solution. When the vehicle is traveling in a traffic sign on the road, the invention can quickly locate the vehicle in position and attitude indicator card coordinates, has high real-time performance, low cost, easy to large-scale promotion.

【技术实现步骤摘要】

本专利技术涉及一种基于交通指示牌的车辆位姿估计方法，属于数字图像处理技术和计算机视觉

技术介绍
目前，国际上很多国家和包括谷歌、百度在内的公司均在开展无人驾驶汽车研究，部分无人驾驶试验车已经进入实际道路测试阶段。美国内华达州机动车辆管理局已正式向谷歌颁发首张无人驾驶车辆牌照，预示着在不久的将来无人驾驶汽车将进入大众的生活，并改变人们的出行方式。车辆自主定位作为汽车智能驾驶的基础，已成为该领域的关键技术。基于多传感器级联的定位技术相对较为成熟，能够满足高精度和实时性的要求，但部分传感器设备成本昂贵，其中常用的激光扫描系统价值便超过100万元/套，阻碍了系统的产品化，也无法在民用领域进行普及。同时，大多数依靠传感器级联的定位系统，在复杂的城市环境和拥堵的道路状况下，定位会出现累积误差并导致较大的定位误差。基于计算机视觉技术的定位方法能极大降低定位系统的成本，常用的视觉定位技术主要包括双目相机和单目相机，双目相机面临相机同步和立体匹配的难题，而基于单目相机的视觉定位技术大多依赖于复杂庞大的数据库系统，前期数据库构建工作繁重，但成本相对于多传感器级联的定位系统已经大大降低。单目视觉定位技术大致可以分为三类：一是基于路面特征(包括车道线、路面导向标志和路面纹理)检测，二是基于3D城市模型和实际场景匹配，三是融合前两类的定位系统。第一和三类定位方法受限于地面纹理的清晰度，尤其是在车流量大且经常拥堵的城市交通路口，路面车道线和导向标志被密集车流遮挡，无法检测，因此在城市交通路口无法很好的完成车辆自定位；同时遇到雨、雪天气，路面纹理被覆盖时，该类方法也无法实现车辆定位。第二类需要构建的数据库及其复杂和庞大，且城市建筑物建设和更新速度较快，数据库后期维护的难度也较大。目前国内基于计算机视觉的车辆定位技术研究开展较少，还处于研究起步阶段，如果可以提供一种成本低、精度高、简便易行的方法，能够有效解决城市复杂交通路口和拥堵路段的车辆位姿估计问题，使定位精度达到车道级，短期内与车载导航系统相联，可以准确判断车辆所行驶车道和车辆航向，长远看来可以使我国无人驾驶技术取得一定发展，在部分领域内赶超发达国家。
技术实现思路
针对现有技术的不足，本专利技术提出了一种基于交通指示牌的车辆位姿估计方法；本专利技术可以实现快速准确获得行驶车辆的车道级定位信息，以及行驶车辆的实时姿态。术语解释：1、HSV颜色空间，是指以色调H、饱和度S和亮度V为参数的颜色模型；2、SVM分类器，是特征空间上的间隔最大的线性分类器，通过正负样本训练得到，而后使用其对图像进行分类；3、正样本，是指属于某一类别的样本；4、负样本，是指不属于某一类别的样本；5、Hough变换，是图像处理中从图像中识别几何形状的基本方法之一。本专利技术的技术方案为：一种基于交通指示牌的车辆位姿估计方法，所述交通指示牌是指位于道路两侧上方显著位置的平面矩形目标，其底色主要以蓝色、绿色或者黄色等为主；包括步骤如下：A、构建数据库所述数据库包括各个交通指示牌的以下信息：地理坐标、交通指示牌的尺寸大小、交通指示牌与道路夹角、交通指示牌处车道信息、底色，所述地理坐标是指交通指示牌所在的经度、纬度；所述交通指示牌的尺寸大小包括交通指示牌的长度值与宽度值；所述交通指示牌处车道信息包括道路上的车道数量、车道的宽度以及车道导向；所述地理坐标为索引；B、车辆位姿估计a、通过安装在车辆前方的单目相机实时获取道路图像，所述单目相机光轴的指向与车辆的行驶方向相同，并且光轴延伸方向与车辆所在道路平面法向量垂直；b、将步骤a获取的道路图像由RGB颜色空间转换至HSV颜色空间；采用RGB阈值法检测交通指示牌受到光照、亮度等影响极大，为获得稳定的受光照、亮度等等影响较小的阈值检测方法，我们将获取的道路图像由RGB颜色空间转换至HSV颜色空间。c、对步骤b获取的图像进行HSV阈值处理，符合阈值的区域像素设置为255，否则，设置为0，得到初步候选区域；d、对步骤c获取的初步候选区域进行去噪处理，去除面积较小、宽高比例过大、宽高比例过小的噪声区域；e、训练SVM分类器，从步骤d去噪处理后的剩余区域中得到目标区域：选取形状、位置、颜色先验知识作为特征，所述形状为宽高比例取值范围为1-2的矩形，所述位置为所述区域上部2/3的区域，所述颜色为蓝色或白色，采集大量正样本、负样本进行训练，从剩余区域中获得目标区域；f、精确提取目标交通指示牌控制点坐标：运用轮廓提取和直线检测算法，获得目标交通指示牌四个顶点的坐标，即为目标交通指示牌控制点坐标；g、解算车辆位姿参数。根据本专利技术优选的，所述步骤b，包括步骤如下：(1)通过常规GPS获得车辆的概略位置信息，即该车辆所在位置的经度、纬度，从数据库中查找距离该概略位置小于或等于Dt的关联交通指示牌的信息并提取，Dt的取值范围为50-100m；Dt的取值可以根据道路实际情况确定，直道可设置在100米左右，弯道可设置在50米左右。(2)由步骤(1)中提取的关联交通指示牌的底色，确定色调H的阈值大小；例如，底色为蓝色时200＜H＜280，底色为绿色时120＜H＜200，底色为黄色时40＜H＜120；饱和度S的阈值取值范围为0.35＜S＜1，亮度V的阈值取值范围为0.35＜V＜1。饱和度和亮度由先验知识确定合理的阈值范围，在该饱和度和亮度阈值取值范围内检测正确率可以达到95％以上。根据本专利技术优选的，所述步骤c，包括步骤如下：(3)采用H、S、V的阈值取值范围对道路图像中的所有像素进行遍历，如果该像素均符合H、S、V的阈值取值范围，则该像素值设置为255，否则，该像素值设置为0，最终得到二值化图像Ib；(4)选取一个大小为n×n的正方形窗，5＜n＜20，对二值化图像Ib进行形态学的闭操作处理，得到二值化图像Ib'；由于实际图像中，受背景及光照影响，得到的二值化图像Ib必然存在较多干扰点，经过上述处理便可以去除较小的干扰点，使之形成一个连通的整体；根据本专利技术优选的，所述步骤d，包括步骤如下：(5)对二值化图像Ib'中白色连通区域进行标号区分并计算面积，任意标号i代表一个白色连通区域整体，计算任意标号i代表的白色连通区域中白色像素点的数目Ai作为其面积；设定白色连通区域面积阈值最大值Amax及Amin，以1920×1080大小的二值化图像Ib'为例，Amax可设置为100000像素，Amin可设置为500像素。对于任意标号为i的白色连通区域，如果符合Amax＞Ai＞Amin，则该白色连通区域保留，否则，去除；由此得到更新后的二值化图像Iu；由先验知识可知，图像中面积过大或者过小的区域均不是最后的目标指示牌区域，经过面积约束条件后，可去除大部分干扰区域；(6)对二值化图像Iu中剩余的区域分别计算宽高比，任意剩余区域j的横坐标最小值xjmin和横坐标最大值xjmax，以及纵坐标最小值yjmin和纵坐标最大值yjmax，任意剩余区域j的宽高比例Pj＝(xjmax-xjmin)/(yjmax-yjmin)；设定宽高比例阈值最大值Pmax为2:1、宽高比例阈值最小值Pmin为1:1，对于任意剩余区域j，如果符合Pmax＞Pi＞Pmin，则该剩余区域j保留，否则，去除，得到进一步更新的二值化图像Iu′；由先验本文档来自技高网...

【技术保护点】
一种基于交通指示牌的车辆位姿估计方法，所述交通指示牌是指位于道路两侧上方显著位置的平面矩形目标，其特征在于，包括步骤如下：A、构建数据库所述数据库包括各个交通指示牌的以下信息：地理坐标、交通指示牌的尺寸大小、交通指示牌与道路夹角、交通指示牌处车道信息、底色，所述地理坐标是指交通指示牌所在的经度、纬度；所述交通指示牌的尺寸大小包括交通指示牌的长度值与宽度值；所述交通指示牌处车道信息包括道路上的车道数量、车道的宽度以及车道导向；所述地理坐标为索引；B、车辆位姿估计a、通过安装在车辆前方的单目相机实时获取道路图像，所述单目相机光轴的指向与车辆的行驶方向相同，并且光轴延伸方向与车辆所在道路平面法向量垂直；b、将步骤a获取的道路图像由RGB颜色空间转换至HSV颜色空间；c、对步骤b获取的图像进行HSV阈值处理，符合阈值的区域像素设置为255，否则，设置为0，得到初步候选区域；d、对步骤c获取的初步候选区域进行去噪处理，去除面积较小、宽高比例过大、宽高比例过小的噪声区域；e、训练SVM分类器，从步骤c去噪处理后的剩余区域中得到目标区域：选取形状、位置、颜色先验知识作为特征，所述形状为宽高比例取值范围为1‑2的矩形，所述位置为所述区域上部2/3的区域，所述颜色为蓝色或白色，采集大量正样本、负样本进行训练，从剩余区域中获得目标区域；f、精确提取目标交通指示牌控制点坐标：运用轮廓提取和直线检测算法，获得目标交通指示牌四个顶点的坐标，即为目标交通指示牌控制点坐标；g、解算车辆位姿参数。...

【技术特征摘要】
1.一种基于交通指示牌的车辆位姿估计方法，所述交通指示牌是指位于道路两侧上方显著位置的平面矩形目标，其特征在于，包括步骤如下：A、构建数据库所述数据库包括各个交通指示牌的以下信息：地理坐标、交通指示牌的尺寸大小、交通指示牌与道路夹角、交通指示牌处车道信息、底色，所述地理坐标是指交通指示牌所在的经度、纬度；所述交通指示牌的尺寸大小包括交通指示牌的长度值与宽度值；所述交通指示牌处车道信息包括道路上的车道数量、车道的宽度以及车道导向；所述地理坐标为索引；B、车辆位姿估计a、通过安装在车辆前方的单目相机实时获取道路图像，所述单目相机光轴的指向与车辆的行驶方向相同，并且光轴延伸方向与车辆所在道路平面法向量垂直；b、将步骤a获取的道路图像由RGB颜色空间转换至HSV颜色空间；c、对步骤b获取的图像进行HSV阈值处理，符合阈值的区域像素设置为255，否则，设置为0，得到初步候选区域；d、对步骤c获取的初步候选区域进行去噪处理，去除面积较小、宽高比例过大、宽高比例过小的噪声区域；e、训练SVM分类器，从步骤c去噪处理后的剩余区域中得到目标区域：选取形状、位置、颜色先验知识作为特征，所述形状为宽高比例取值范围为1-2的矩形，所述位置为所述区域上部2/3的区域，所述颜色为蓝色或白色，采集大量正样本、负样本进行训练，从剩余区域中获得目标区域；f、精确提取目标交通指示牌控制点坐标：运用轮廓提取和直线检测算法，获得目标交通指示牌四个顶点的坐标，即为目标交通指示牌控制点坐标；g、解算车辆位姿参数。2.根据权利要求1所述的一种基于交通指示牌的车辆位姿估计方法，其特征在于，所述步骤b，包括步骤如下：(1)通过常规GPS获得车辆的概略位置信息，即该车辆所在位置的经度、纬度，从数据库中查找距离该概略位置小于或等于Dt的关联交通指示牌的信息并提取，Dt的取值范围为50-100m；Dt(2)由步骤(1)中提取的关联交通指示牌的底色，确定色调H的阈值大小；饱和度S的阈值取值范围为0.35＜S＜1，亮度V的阈值取值范围为0.35＜V＜1。3.根据权利要求2所述的一种基于交通指示牌的车辆位姿估计方法，其特征在于，所述步骤c，包括步骤如下：(3)采用H、S、V的阈值取值范围对道路图像中的所有像素进行遍历，如果该像素均符合H、S、V的阈值取值范围，则该像素值设置为255，否则，该像素值设置为0，最终得到二值化图像Ib；(4)选取一个大小为n×n的正方形窗，5＜n＜20，对二值化图像Ib进行形态学的闭操作处理，得到二值化图像Ib'。4.根据权利要求3所述的一种基于交通指示牌的车辆位姿估计方法，其特征在于，所述步骤d，包括步骤如下：(5)对二值化图像Ib'中白色连通区域进行标号区分并计算面积，任意标号i代表一个白色连通区域整体，计算任意标号i代表的白色连通区域中白色像素点的数目Ai作为其面积；设定白色连通区域面积阈值最大值Amax及Amin，对于任意标号为i的白色连通区域，如果符合Amax＞Ai＞Amin，则该白色连通区域保留，否则，去除；由此得到更新后的二值化图像Iu；(6)对二值化图像Iu中剩余的区域分别计算宽高比，任意剩余区域j的横坐标最小值xjmin和横坐标最大值xjmax，以及纵坐标最小值yjmin和纵坐标最大值yjmax，任意剩余区域j的宽高比例Pj＝(xjmax-xjmin)/(yjmax-yjmin)；设定宽高比例阈值最大值Pmax为1:1、宽高比例阈值最小值Pmin为1:2，对于任意剩余区域j，如果符合Pmax＞Pi＞Pmin，则该剩余区域j保留，否则，去除，得到进一步更新的二值化图像Iu′。5.根据权利要求4所述的一种基于交通指示牌的车辆位姿估计方法，其特征在于，所述步骤e，包括步骤如下：运用SVM分类器对二值化图像Iu′中剩余的区域进行分类，如果从二值化图像Iu′中得到两个以上的区域，则选取面积最大的一个区域作为目标区域Rt，如果从Iu′中得到唯一的区域，确定该区域为目标区域Rt。6.根据权利要求5所述的一种基于交通指示牌的车辆位姿估计方法，其特征在于，所述步骤f，包括步骤如下：(7)在目标区域Rt中，调用OpenCV中的轮廓检测函数，通过轮廓面积排除法保留目标区域Rt最外围...

【专利技术属性】
技术研发人员：陈辉，袁金钊，
申请(专利权)人：山东大学，
类型：发明
国别省市：山东;37