标志牌地标数据集生成及车辆定位方法技术

本发明专利技术涉及一种标志牌地标数据集生成及车辆定位方法，其中该标志牌数据集生成方法包括：标志牌的图像检测和识别；图像检测结果转化寻找标志牌牌面所在的粗略点云区域范围；得到标志牌牌面；得到标志牌的杆；获取标志牌的语义及空间特征；得到一系列标志牌地标数据集；本发明专利技术所述的标志牌地标数据集生成方法采用基于深度学习网络及反射特性两种方法结合的方式进行标志牌的提取，减少了获取标志牌信息的误差，从而提高了获取交通标志牌的标志牌信息准确度、效率以及鲁棒性。

【技术实现步骤摘要】
标志牌地标数据集生成及车辆定位方法
本专利技术涉及智能交通领域，特别涉及一种标志牌地标数据集生成及车辆定位方法。
技术介绍
随着经济的发展，现代交通已经非常发达，而道路交通仍占据主导地位。作为交通系统重要的组成部分，交通标志牌提供了道路环境的重要信息，帮助引导、警告、规范驾驶员行为，实现更安全便利的车辆行驶环境。同时，标志牌上的信息也为理解复杂的道路环境提供了线索。然而，道路交通标志的检测识别，以及相关空间信息的提取仍然是智能交通系统研究领域中尚未完全解决的难题之一至今为止，有大量关于标志牌研究成果面世，但还存在不少问题和缺陷，导致获取交通标志牌的相关信息的获取效率较低。传统的标志牌类型和空间信息的采集和计算主要是靠手工的，但是因为其巨大的工作量，所以很难保证实时及准确率。近几年有越来越多的基于图像上的(半)自动的方法来获取标志牌类型和几何信息。但是由于图像对光照条件以及视角角度比较敏感，所以在图像上作相关信息提取仍然后很大问题。同时，其准确的三维空间几何信息，以及相同或不同类型的标志牌间的准确位置和空间关系也很难从图像上直接计算得到。所以目前，作为能够提供精确的空间点云和图像的车载激光扫描数据，被越来越多应用到了智能交通相关的应用，包括了标志牌的检测、信息提取等研究工作。地理定位是一类估计拍摄相片所在的地理空间位置的问题。它在很多方面有着广泛应用，如导航、目标跟踪、轨迹估计等。传统地理定位方法是通过与已含有位置信息的照片进行匹配来预测查询照片的地理位置，但是并不是所有地方都提供这类地面参照照片。另外一类方法是利用三维物体或模型信息来定下更有效准确的定位。基于此思路，我们可以利用道路上的三维物体，来帮助车辆进行辅助定位。相比于道路上其它物体，标志牌具有三大适用于此应用的特点。第一，标志牌具有稳定性，会长期放置在一个固定的位置；第二，标志牌在空间上分布均匀；第三，标志牌建立比较分散独立，没有严重的遮挡。因此，如何将标志牌(包括其点云、图像、及相关空间信息)作为地标数据来进行车辆辅助性的定位是具有价值和挑战的研究议题。
技术实现思路
本专利技术提供一种标志牌地标数据集生成及车辆定位方法，从而解决上述现有技术存在的技术问题。为实现上述目的，本专利技术采用如下技术方案：一种标志牌地标数据集生成方法，所述方法包括：采用预先设置的标志牌图像库训练全卷积神经网络，并利用训练好的神经网络对采集得到的图像进行标志牌检测，以获取检测结果，其中所述检测结果包含标志牌的包围框和类型；根据标志牌的包围框转化回三维点云中的位置寻找标志牌牌面所在的粗略区域范围，以获取标志牌的牌面，并沿着Z轴方向找回标志牌的杆，以及根据体素的归一化割方法将标志牌与粘连的其他物体分开，最终获得完整标志牌；对标志牌的类型进行重新认定，以确定正确的类型，并通过获取标志牌的空间特征，以得到一系列标志牌点云和相应的图像；将标志牌点云重新映射回图像，以根据图像进行人工修正标志牌的类型，并将图像自动截取仅保留标志牌区域，以及并删除标志牌模糊及标志牌背面的图像，最终获得一系列的包含点云和图像的标志牌地标数据集。上述的标志牌地标数据集生成方法通过获取标志牌的有效信息，以得到准确的标志牌地标数据集，提高标志牌的获取效率。进一步地，根据标志牌的包围框转化回三维点云中的位置寻找标志牌牌面所在的粗略区域范围，包括：读取图像的拍摄位置点，并以该点为圆心，在点云XY平面上作半径为r的圆；根据行车方向，确定前进方向的半圆范围；将位于半圆范围内的三维点，根据图像像素点和点云点的关系映射回图像，保留能映射回图像包围框内的三维点，以得到标志牌牌面在点云中的粗略区域范围；其中，关系方程如下：其中表示点云帧的齐次坐标点，表示图像帧的齐次坐标点,s为比例因子,A为相机内参矩阵，[R|t]为相机外参矩阵。进一步地，在获取标志牌的牌面之前，还包括以下步骤：将被多次成功映射回图像包围框的三维点取出，将其设定为重叠区，剩余的三维点集设定为非重叠区；重叠区中包含大量标志牌牌面及少量杂物，根据高度及牌面特性进行滤除以得到标志牌牌面；对于非重叠区，采用基于反射特性进行提取：先进行地面滤除，再根据强度值保留高强度点，接着使用欧式聚类将剩余三维点进行分割，最后对各个聚类根据四个先验知识条件：点数、距地面高度、长度、线性与面性值，保留标志牌牌面。上述的标志牌地标数据集生成方法采用基于深度学习网络及反射特性两种方法结合的方式进行标志牌的提取，减少了获取标志牌信息的误差，从而提高了获取交通标志牌的标志牌信息准确度、效率以及鲁棒性。进一步地，对标志牌的类型进行重新认定，以确定正确的类型，包括：根据实际点云和图像传感器的距离远近，对同一标志牌对应的所有图像的识别概率分数进行重新分配，其中，点云距离图像传感器越近的概率分数越高，反之则越低；通过选择函数重新确定其所属类型：其中为标志牌最可能的类型，Li为可能的类型i，是类型Li在图像中识别到的次数，AvrSLi表示重复标签Li的平均概率分数,ω1和ω2是两个因素的权重值。上述的标志牌地标数据集生成方法构建了一套二维-三维的语义空间标志牌地标数据，包含三维点云及相关的多视角图像，同时还含有标志牌的类型，位置，站位和几何特征信息。该数据集可用于后续的普查等相关研究工作。一种车辆定位方法，所述方法包括：S1、执行上述所述的标志牌地标数据集生成方法，以获取一系列标志牌地标数据集；S2、对安装在车辆上的行车记录仪记录的每帧图像进行标志牌的检测；S3、若检测到有存在标志牌的图像，则以该图像对应的GPS位置为圆心，搜索其半径为R的圆的范围，将数据集中在该范围内的点云和对应的图像提取出来，作为搜索库使用；S4、将获得的搜索库内对应的点云及图像进行基于图像的三维点云检索，获得与检索图像匹配的标志牌点云；S5、基于匹配的标志牌图像和点云，采用后方交会技术，基于共线方程的方法，人工选取n个控制点，并每轮使用n-1个控制点对误差函数进行最小化，计算最优外方位元素p，以并得到n个结果，以及选取其中误差函数最小的一个作为最终结果其中，外方位元素中图像的地理位置坐标即可设定为估计的车辆轨迹估计点，误差函数如下：其中，n(n≥5)是控制点数量，xi,yi表示与实际物体点(Xi,Yi,Zi)对应的图像像素点i的坐标，f是相机焦距，ai,bi,ci(i＝1,2,3)是旋转矩阵的元素，(Xo,Yo,Zo)是图像的地理位置坐标；S6、重复执行步骤S3-S5，得到一系列的车辆轨迹估计点，将其线性连接，得到最终的车辆轨迹。进一步地，所述步骤S4中，将获得的搜索库内对应的点云和图像进行基于图像的三维点云检索，获得与检索图像匹配的标志牌点云，包括：S41、利用预训练好的网络模型ImageNet-VGG-f进行搜索库的图像及检索图像的特征提取；S42、将检索图像的特征与搜索库的所有图像特征进行相似度距离度量，其中，采用余弦距离作为度量；S43、返回相似度最高的N张图像所相对应的点云，通过比对选取最近似的图像，其对应的点云即为进行检索的图像上标志牌对应的实际点云。本专利技术的车辆定位方法提出了基于上述标志牌地标数据集进行车辆的辅助性定位，利用空间后方交会技术有效地降低了车辆的定位误差。附图说明图1为本专利技术的标志牌地标数据集生成方本文档来自技高网...

【技术保护点】
1.一种标志牌地标数据集生成方法，其特征在于，所述方法包括：采用预先设置的标志牌图像库训练全卷积神经网络，并利用训练好的神经网络对采集得到的图像进行标志牌检测，以获得检测结果，其中，所述检测结果包含标志牌的包围框和类型；根据标志牌的包围框转化回三维点云中的位置寻找标志牌牌面所在的粗略区域范围，以获取标志牌的牌面，并沿着Z轴方向找回标志牌的杆，以及根据体素的归一化割方法将标志牌与相粘连的其他物体分开，最终获得完整标志牌；对标志牌的类型进行重新认定，以确定正确的类型，并通过获取标志牌的空间特征，以得到一系列标志牌点云和相应的图像；将标志牌点云重新映射回图像，以根据图像进行人工修正标志牌的类型，并将图像自动截取仅保留标志牌区域，以及删除标志牌模糊及标志牌背面的图像，最终获得一系列的包含点云和图像的标志牌地标数据集。

【技术特征摘要】
1.一种标志牌地标数据集生成方法，其特征在于，所述方法包括：采用预先设置的标志牌图像库训练全卷积神经网络，并利用训练好的神经网络对采集得到的图像进行标志牌检测，以获得检测结果，其中，所述检测结果包含标志牌的包围框和类型；根据标志牌的包围框转化回三维点云中的位置寻找标志牌牌面所在的粗略区域范围，以获取标志牌的牌面，并沿着Z轴方向找回标志牌的杆，以及根据体素的归一化割方法将标志牌与相粘连的其他物体分开，最终获得完整标志牌；对标志牌的类型进行重新认定，以确定正确的类型，并通过获取标志牌的空间特征，以得到一系列标志牌点云和相应的图像；将标志牌点云重新映射回图像，以根据图像进行人工修正标志牌的类型，并将图像自动截取仅保留标志牌区域，以及删除标志牌模糊及标志牌背面的图像，最终获得一系列的包含点云和图像的标志牌地标数据集。2.根据权利要求1所述的标志牌地标数据集生成方法，其特征在于，根据标志牌的包围框转化回三维点云中的位置寻找标志牌牌面所在的粗略区域范围，包括：读取图像的拍摄位置点，并以该点为圆心，在点云XY平面上作半径为r的圆；根据行车方向，确定前进方向的半圆范围；将位于半圆范围内的三维点，根据图像像素点和点云点的关系映射回图像，并保留能映射回图像包围框内的三维点，以得到标志牌牌面在点云中的粗略区域范围；其中，关系方程如下：其中表示点云帧的齐次坐标点，表示图像帧的齐次坐标点,s为比例因子,A为相机内参矩阵，[R|t]为相机外参矩阵。3.根据权利要求2所述的标志牌地标数据集生成方法，其特征在于，在获取标志牌的牌面之前，还包括以下步骤：将被多次成功映射回图像包围框的三维点取出，将其设定为重叠区，剩余的三维点集设定为非重叠区；重叠区中包含大量标志牌牌面及少量杂物，根据高度及牌面特性进行滤除以得到标志牌牌面；对于非重叠区，采用基于反射特性进行提取：先进行地面滤除，再根据强度值保留高强度点，接着使用欧式聚类将剩余三维点进行分割，最后对各个聚类根据四个先验知识条件：点数、距地面高度、长度、线性与面性值，保留标志牌牌面。4.根据权利要求1所述的标志牌地标数据集生成方法，其特征在于，对标志牌的类型进行重新认定，以确定正确的类型，包括：根据实际点云和图像传感...

【专利技术属性】
技术研发人员：温程璐，游昌斌，王程，李军，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建,35