一种基于传感器融合的图像快速识别方法技术

本发明专利技术公开了一种基于传感器融合的图像快速识别方法，该方法基于高精度地图离线数据和惯性导航设备定位信息实时获取自动驾驶车辆相对于交通标志的距离和方位信息，并据此确定交通标志在图像中的对应位置，辅助视觉识别算法。本发明专利技术利用高精度地图和定位信息辅助视觉定位，可以为视觉识别提供目标位置先验信息，降低计算量，提高识别精度，且无需增加任何硬件成本。

A Fast Image Recognition Method Based on Sensor Fusion

【技术实现步骤摘要】
一种基于传感器融合的图像快速识别方法
本专利技术涉及组合导航及交通标志识别
，尤其涉及一种基于传感器融合的图像快速识别方法。
技术介绍
随着DARPA重启无人车技术研究，并先后于2004年、2005年和2007年举办了三届智能车挑战赛，谷歌大力投入自动驾驶技术研究，近年来全球范围内掀起了自动驾驶技术研究的热潮，自动驾驶领域创业公司也如雨后春笋般应运而生。自动驾驶技术经过十多年发展，逐渐从实验室研究、到封闭环境技术竞赛、再到固定场景示范应用，虽然取得了长足的进展，但距离实际应用仍有较大距离，只能在封闭场景低速驾驶状态下执行简单确定性任务，并且可靠性较低。并且随着城市化进展及汽车的普及，城市交通拥挤加剧，无人驾驶有可能导致的交通安全问题变得日益突出。基于计算机视觉的驾驶员支持系统是解决交通安全问题的重要措施之一，主要在交通标志识别、道路识别等领域发挥重要作用。目前，交通标志识别主要是采用计算机视觉系统在没有任何先验信息下的实时检测，然而由于交通标志种类繁多，实时检测情况下抓取的图片背景复杂，光照强度及角度的影响都有可能影响交通标志的正确分类识别；此外实时检测在没有交通标志时也进行识别工作，浪费了大量的计算资源。
技术实现思路
针对上述不足，本文提供一种基于传感器融合的图像快速识别方法，利用惯导/高精度数字地图导航，预先获取交通标志在图片中的位置，能较为准确地提取交通标志关键特征，解决了传统方法中存在着无交通标志先验信息及计算资源浪费的问题。在预先获取交通标志信息后，再利用机器学习或者深度学习算法，对交通标志进行分类识别。本专利技术所采用的技术方案如下：一种基于传感器融合的图像快速识别方法，包括如下步骤：(1)根据惯导和高精度地图，获得车载惯导和交通标志的经度、纬度高、高度信息，通过姿态矩阵转换和坐标变换，得到相机与交通标志的相对位置和姿态关系；(2)根据相机坐标系与像平面坐标系的关系，获取交通标志在像平面坐标系的位置，并转换成像素坐标系坐标；(3)根据交通标志在像素坐标系中位置，提取图片中交通标志重要特征；(4)对交通标志进行识别。进一步的，所述步骤(1)具体如下：(1.1)通过惯导在线解算，获得载体的实时精度Ba、维度La、高度Ha，据此获得高精度地图中相对应的交通标志及其经度Bs、纬度Ls、高度Hs，并将载体及对应的交通标志的经度、纬度、高度信息分别转换为WGS84地心坐标系的坐标(xia,yia,zia)和(xis,yis,zis)；(1.2)建立以惯导载体中心为原点O，以东向为X轴，北向为Y轴，天向为Z轴的导航坐标系Oan-XanYanZan，通过坐标系转换，得到交通标志位置信息在导航坐标系Oan-XanYanZan中的坐标(xan,yan,zan)；(1.3)根据惯导输出的姿态信息：偏航角φab、俯仰角θab和滚转角γab，建立载体姿态矩阵，并将步骤(1.2)中载体导航坐标系Oan-XanYanZan转换得到载体本体坐标系Oab-XabYabZab，其中传感器中心为原点O，沿纵轴向前为Y轴，垂直于纵轴指向右侧为X轴，垂直于O-XY平面向上为Z轴，通过姿态矩阵转换得到交通标志位置信息在载体本体坐标系中的坐标(xab,yab,zab)；(1.4)建立以相机光心为原点，光轴为Z轴的相机坐标系Ocb-XcbYcbZcb，通过姿态转换矩阵得到交通标志位置信息在相机坐标系Ocb-XcbYcbZcb的坐标。进一步的，所述步骤(2)具体如下：(2.1)根据相机坐标系Ocb-XcbYcbZcb-图像平面坐标系O-XY转换关系以及相焦距f，获取交通标志在图像平面坐标系O-XY坐标(x,y)；(2.2)根据图像平面坐标系O-XY-像素坐标系Ouv-UV关系，利用转换矩阵及相机解像力Rex、Rey获取交通标志在像素坐标系坐标(u,v)。进一步的，所述步骤(3)具体如下：(3.1)以步骤(2)所确定的交通标志在像素坐标系位置为中心，截取给定范围的尺寸，以准确获取交通标志特征。进一步的，所述步骤(4)具体如下：(4.1)采用双三次插值算法或其他算法将采集的训练集原始图片尺寸归一化；(4.2)对归一化后的图片增强对比度，减少光照强度带来的影响；(4.3)将处理后的图片及标签存储为TFRecord格式；(4.4)利用深度学习算法对图片进行识别。进一步的，所述步骤(4.4)具体如下：(4.4.1)利用深度学习模型对步骤(4.3)所存储的TFRecords数据进行训练；(4.4.2)计算模型损失函数，该损失函数采用交叉熵损失函数；(4.4.3)采用梯度下降法结合滑动平均，以损失函数为目标函数进行迭代计算；(4.4.4)将训练好的模型存储为ckpt模型，迁移到无人车上对步骤(3)所获取的特征图片进行识别。进一步的，所述步骤(4.4.1)中的深度学习模型优选自AlexNet、SqueezeNet、GooLeNet、ImageNet、FasterR-CNN、R-FCN、YOLO卷积神经网络模型。本专利技术的有益效果如下：自动驾驶车辆感知系统中，基于视觉的交通标志图像识别是一项关键技术，但是，由于目前硬件计算资源限制和外界光照条件变化对图像质量的影响，在没有先验知识辅助前提下，难以实现交通标志的准确识别和工程化应用。针对这一问题，本专利技术提出了一种基于传感器融合的图像快速识别方法。将惯导、卫星导航设备、视觉、高精度地图数据融合，对交通标志图像信息预处理，得到目标区域，通过深度学习模型相处理，实现对交通标志信息识别，在不提高计算量基础之上，大幅提高识别精度，同时，由于通过其他传感器获取到目标区域，可以有效降低光线条件对图像识别的影响，因此，本专利技术模型鲁棒性好、抗干扰性能强，在光线条件复杂的环境中优势更加明显。附图说明图1为相机坐标系-图像坐标系关系；图2为图像坐标系-像素坐标系关系；图3为AlexNet网络结构。具体实施方式下面通过实施例对本专利技术做进一步的详细说明。本专利技术提供一种基于传感器融合的图像快速识别方法，包括如下步骤：(1)惯导/高精度地图辅助导航信息解算：根据惯导和高精度地图，获得车载惯导和交通标志的经度、纬度高、高度信息，通过姿态矩阵转换和坐标变换，得到相机与交通标志的相对位置和姿态关系。当交通标志与相机的距离及与光轴角度满足视觉范围条件时，相机开始工作。(2)根据相机坐标系与像平面坐标系的关系，获取交通标志在像平面坐标系的位置，并转换成像素坐标系坐标；(3)训练数据集预处理：对训练数据集进行一系列处理，使其标准化、归一化。(4)采用机器学习或深度学习模型(本专利技术以AlexNet为例)对步骤(3)处理后的交通标志图像进行训练；(5)根据步骤(2)获取交通标志在像素坐标系位置为中心，将图片截取为224*224大小，输入到步骤(4)训练好的模型，用来识别交通标志类别。进一步的，所述步骤(1)具体如下：(1.1)经纬高与WGS84坐标系转换假设Ha、Hs分别代表惯导载体和交通标志的高度；Ba、Bs分别代表惯导载体和交通标志的经度；La、Ls分别代表惯导载体和交通标志的纬度，则惯导载体和交通标志在WGS84地心坐标系下的坐标分别为：其中为WGS84地球椭圆率；a、b分别为WGS84坐标系地球长轴与短轴。(1.2)WGS84地心坐标系与本文档来自技高网...

【技术保护点】
1.一种基于传感器融合的图像快速识别方法，其特征在于，包括如下步骤：(1)根据惯导和高精度地图，获得车载惯导和交通标志的经度、纬度高、高度信息，通过姿态矩阵转换和坐标变换，得到相机与交通标志的相对位置和姿态关系；(2)根据相机坐标系与像平面坐标系的关系，获取交通标志在像平面坐标系的位置，并转换成像素坐标系坐标；(3)根据交通标志在像素坐标系中位置，提取图片中交通标志重要特征；(4)对交通标志进行识别。

【技术特征摘要】
1.一种基于传感器融合的图像快速识别方法，其特征在于，包括如下步骤：(1)根据惯导和高精度地图，获得车载惯导和交通标志的经度、纬度高、高度信息，通过姿态矩阵转换和坐标变换，得到相机与交通标志的相对位置和姿态关系；(2)根据相机坐标系与像平面坐标系的关系，获取交通标志在像平面坐标系的位置，并转换成像素坐标系坐标；(3)根据交通标志在像素坐标系中位置，提取图片中交通标志重要特征；(4)对交通标志进行识别。2.根据权利要求1所述的一种基于传感器融合的图像快速识别方法，其特征在于，所述步骤(1)具体如下：(1.1)通过惯导在线解算，获得载体的实时精度Ba、维度La、高度Ha，据此获得高精度地图中相对应的交通标志及其经度Bs、纬度Ls、高度Hs，并将载体及对应的交通标志的经度、纬度、高度信息分别转换为WGS84地心坐标系的坐标(xia,yia,zia)和(xis,yis,zis)；(1.2)建立以惯导载体中心为原点O，以东向为X轴，北向为Y轴，天向为Z轴的导航坐标系Oan-XanYanZan，通过坐标系转换，得到交通标志位置信息在导航坐标系Oan-XanYanZan中的坐标(xan,yan,zan)；(1.3)根据惯导输出的姿态信息：偏航角φab、俯仰角θab和滚转角γab，建立载体姿态矩阵，并将步骤(1.2)中载体导航坐标系Oan-XanYanZan转换得到载体本体坐标系Oab-XabYabZab，其中传感器中心为原点O，沿纵轴向前为Y轴，垂直于纵轴指向右侧为X轴，垂直于O-XY平面向上为Z轴，通过姿态矩阵转换得到交通标志位置信息在载体本体坐标系中的坐标(xab,yab,zab)；(1.4)建立以相机光心为原点，光轴为Z轴的相机坐标系Ocb-XcbYcbZcb，通过姿态转换矩阵得到交通标志位置信息在相机坐标系Ocb-XcbYcbZcb的坐标。3.根据权利要求1所述...

【专利技术属性】
技术研发人员：李子月，刘玉超，张庶，
申请(专利权)人：李子月，
类型：发明
国别省市：北京,11