基于视觉和毫米波雷达地图特征的隧道内车辆定位方法技术

本发明专利技术涉及一种基于视觉和毫米波雷达地图特征的隧道内车辆定位方法，将感知特征点数据集与高精度地图层数据相融合，使无人驾驶车辆在光照暗和定位信号弱的环境下行驶时，根据从地图端提取融合的数据与GPS数据，推算出精确的车身位置。与现有技术相比，本发明专利技术具有以下优点：提高在特殊环境下对于探测静态障碍物的准确性，推导出无人车在特殊场景中自身的精确位置和适用于各种受到光线明暗与定位信号强弱影响的场景。

【技术实现步骤摘要】
基于视觉和毫米波雷达地图特征的隧道内车辆定位方法
本专利技术涉及无人驾驶领域，尤其是涉及一种基于视觉和毫米波雷达地图特征的隧道内车辆定位方法。
技术介绍
无人驾驶车辆技术近年来正加速发展，但应用场景大多是在比较开阔的环境下进行的，在非开阔的场景下无人驾驶的技术瓶颈还有待突破现有的技术主要依赖于卫星导航系统/惯导系统，在非开阔场景下并不能使车辆保持精确的车身位置自动驾驶离不开高精度地图，目前缺乏利用高精度地图并结合特征点来定位无人车自身位置的相关研究现有技术1：GPS定位技术技术简述：通过接收卫星发射的信号并进行数据处理，从而求定测量点的空间位置，具有全球性、全天候、连续性和实时性的精密三维导航与定位功能。缺点：1、GPS系统精确定位的关键在于对卫星和接收机之间距离的精确计算，电磁波在大气层中传播，信号要受到电离层和对流层的重重干扰，GPS系统只能对此进行平均计算，这样在一些特定区域比如城市、山区等由于高层建筑物及树木对信号的影响，会导致信号的非直线传播，这样计算时会引入这些影响产生的误差；2、GPS测量更适用于视野开阔、障碍物较少的区域，在接收不到信号的区域，处于浮动状态，得到的数据往往误差较大。现有技术2：INS惯导定姿定位技术技术简述：惯性导航系统是以陀螺和加速度计为敏感器件的导航参数解算系统，系统根据陀螺的输出建立导航坐标系，根据加速度计输出解算出运载体在导航坐标系中的速度、航向角和位置等信息。惯性导航系统属于推算导航方式，即从一已知点的位置根据连续测得的运动体航向角和速度推算出其下一点的位置，因而可连续测出运动体的当前位置。缺点：1、由于导航信息经过积分而产生，定位误差随时间而增大，不能单独长时间工作，必须不断加以校准；2、每次使用之前需要较长的初始对准时间；3、不能给出时间信息。
技术实现思路
本专利技术的目的就是为了克服上述现有技术存在的缺陷而提供基于视觉和毫米波雷达地图特征的隧道内车辆定位方法。本专利技术的目的可以通过以下技术方案来实现：一种基于视觉和毫米波雷达地图特征的隧道内车辆定位方法，将感知特征点数据集与高精度地图层数据相融合，使无人驾驶车辆在光照暗和定位信号弱的环境下行驶时，根据从地图端提取融合的数据与GPS数据，推算出精确的车身位置。优选地，所述的感知特征点数据集为立体视觉与毫米波雷达检测出的特征点数据元经过配准融合而形成。优选地，所述的立体视觉提取的目标包括：车道线、路沿、隧道口和信号灯柱，所述的毫米波雷达探测各种静态目标，包括：信号灯柱和路灯柱。优选地，所述的车辆定位方法包括以下步骤：步骤1、立体视觉相机重建场景和特征点提取；步骤2、毫米波雷达的特征点提取；步骤3、毫米波雷达数据与图像数据配准；步骤4、配准后的特征点数据集融合到地图；步骤5、行驶时从地图中的特征点推导出自身位置。优选地，所述的步骤1中的立体视觉相机重建场景包括：立体视觉相机重建场景采用双目立体视觉的方案，以SLAM算法为基础，将深度图中的平面信息加入帧间配准算法，使用截断符号距离函数体重建方法。优选地，所述的步骤1中的特征点提取为从图像帧数据中提取出车道线、路沿、信号灯柱和隧道口的静态目标的角点即特征点，包括以下步骤：步骤1.1、通过前一帧图像求解出当前帧的旋转矩阵R和平移向量t，即相对于前一帧的姿态和位移；步骤1.2、像素坐标系到世界坐标系的转换，假设空间点P在世界坐标下的齐次坐标是(Xw,Yw,Zw,1)T，相机坐标下的齐次坐标是(Xc,Yc,Zc,1)T，图像坐标是(x,y),像素坐标为(u,v)，在图像坐标系下，一个像素在x轴和y轴方向上的物理尺寸为dx,dy；图像中心点为像素原点(u0,v0)，像素坐标与图像坐标之间的转换关系为：若f为相机的焦距，则图像坐标与相机坐标的转换关系为；基于R和T，相机坐标系与世界坐标系的转换关系为；所述的提取算法基于深度学习的框架并采用RANSAC算法加以优化，消除掉错误的特征匹配点。优选地，所述的步骤2为从雷达扫描帧数据中提取出信号灯柱的相对距离、角度等并解算出位置，所述的标的物的位置是一个世界坐标系下的二维坐标(X,Y)。优选地，所述的步骤3具体包括：步骤3.1、毫米波雷达数据与图像数据的配准关系用一个2X3的矩阵R表示；步骤3.2、依据相机的成像原理，若空间中某一个点M在相机坐标系下的坐标为Mc(Xc,Yc,Zc)，雷达探测到的同一个点投影到图像坐标下的坐标为Mr(Xr,Yr)，存在这样的关系：Mr＝R*Mc；步骤3.3、若已知坐标Mr和Mc，就得到毫米波雷达数据与图像数据之间的配准关系R。优选地，所述的步骤4具体包括：步骤4.1、经过所述的步骤3配准后的坐标作为静态标的物标记到高精地图中；步骤4.2、如果提取出的特征为无效的，获取新的数据帧并重复以上步骤；步骤4.3、如果为有效的特征，把各个特征点数据抽象成地图元素的属性，形成特征数据集；步骤4.4、在每次实车测试验证时不断修正高精地图的特征数据集；如果是车道线和路沿，可间隔1m存储一个特征数据集的信息，用单个特征数据集存取其他静态标的物。优选地，所述的步骤5具体为：调取区段长度为雷达的有效探测范围内的高精地图数据为定位基准，以IMU惯性量测单元为初值，调取融合到高精地图里的特征数据做配准，修正车的位置和姿态信息，并将此修正数据用于校正IMU，以完成辅助定位的功能。所述的方法适用于其他对光线和传输信号有较高要求的场景，包括：1、适用于高架桥、立交桥下等各种路桥场景；2、适用于在高层建筑环境里有信号遮挡的场景；3、适用于夜晚、清晨、阴天光照少的时间段的应用场景。与现有技术相比，本专利技术具有以下优点：1、立体视觉与毫米波雷达检测出的特征点数据元的融合，两者取长补短发挥各自的优势，可有效提高在特殊环境下对于探测静态障碍物的准确性。2、感知特征点数据集与高精度地图数据的融合，根据特征点的深度、距离和位置属性，再与实时IMU位置数据作对比校准，推导出无人车在特殊场景中自身的精确位置。3、本专利技术具备通用性，可以适用于各种受到光线明暗与定位信号强弱影响的场景，比如高架桥下、立交桥下、高层建筑环绕的街道、清晨或夜晚和光照少的阴霾天时段。附图说明图1为传统定位方式与本专利技术的定位方式的对比图；图2为本专利技术的立体视觉相机重建场景的示意图；图3为本专利技术的毫米波雷达的特征点提取示意图；图4为本专利技术的特征点数据集融合到地图的示意图；图5为本专利技术的毫米波雷达数据与图像数据配准的原理示意图；图6为本专利技术的从地图中的特征点推导出自身位置的原理示意图；图7为本专利技术的实施例的原理流程图。具体实施方式下面将对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术的一部分实施例，而不是全部实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都应属于本专利技术保护的范围。本专利技术用于解决无人驾驶车辆在通过隧道场景时的局限性，通过立体视觉检测并定位到车道线、路沿、隧道口和交通信号灯这样的静止物体的特征点，同时结合毫米波雷达捕捉到的特征点，将这些特征点数据加工并融合到地图层，在隧道中行驶时从地图端提取融合的数据与GPS数据，推算出精确的车身位置。相机的分辨力高，对颜色、形状感知的能力较强，但是存在探测本文档来自技高网...

【技术保护点】
1.一种基于视觉和毫米波雷达地图特征的隧道内车辆定位方法，其特征在于，将感知特征点数据集与高精度地图层数据相融合，使无人驾驶车辆在光照暗和定位信号弱的环境下行驶时，根据从地图端提取融合的数据与GPS数据，推算出精确的车身位置。

【技术特征摘要】
1.一种基于视觉和毫米波雷达地图特征的隧道内车辆定位方法，其特征在于，将感知特征点数据集与高精度地图层数据相融合，使无人驾驶车辆在光照暗和定位信号弱的环境下行驶时，根据从地图端提取融合的数据与GPS数据，推算出精确的车身位置。2.根据权利要求1中任一所述的基于视觉和毫米波雷达地图特征的隧道内车辆定位方法，其特征在于，所述的感知特征点数据集为立体视觉与毫米波雷达检测出的特征点数据元经过配准融合而形成。3.根据权利要求2所述的基于视觉和毫米波雷达地图特征的隧道内车辆定位方法，其特征在于，所述的立体视觉提取的目标包括：车道线、路沿、隧道口和信号灯柱，所述的毫米波雷达探测各种静态目标，包括：信号灯柱和路灯柱。4.根据权利要求2所述的基于视觉和毫米波雷达地图特征的隧道内车辆定位方法，其特征在于，所述的车辆定位方法包括以下步骤：步骤1、立体视觉相机重建场景和特征点提取；步骤2、毫米波雷达的特征点提取；步骤3、毫米波雷达数据与图像数据配准；步骤4、配准后的特征点数据集融合到地图；步骤5、行驶时从地图中的特征点推导出自身位置。5.根据权利要求4所述的基于视觉和毫米波雷达地图特征的隧道内车辆定位方法，其特征在于，所述的步骤1中的立体视觉相机重建场景包括：立体视觉相机重建场景采用双目立体视觉的方案，以SLAM算法为基础，将深度图中的平面信息加入帧间配准算法，使用截断符号距离函数体重建方法。6.根据权利要求4所述的基于视觉和毫米波雷达地图特征的隧道内车辆定位方法，其特征在于，所述的步骤1中的特征点提取为从图像帧数据中提取出车道线、路沿、信号灯柱和隧道口的静态目标的角点即特征点，包括以下步骤：步骤1.1、通过前一帧图像求解出当前帧的旋转矩阵R和平移向量t，即相对于前一帧的姿态和位移；步骤1.2、像素坐标系到世界坐标系的转换，假设空间点P在世界坐标下的齐次坐标是(Xw,Yw,Zw,1)T，相机坐标下的齐次坐标是(Xc,Yc,Zc,1)T，图像坐标是(x,y),像素坐标为(u,v)，在图像坐标系下，一个像素在x轴和y轴方向上的物理尺寸为dx,...

【专利技术属性】
技术研发人员：李霖，陈海林，顾磊敏，林瑜，周柳，郑虎，李枭，金叶蒙，高琼，王亦科，李明，
申请(专利权)人：上海国际汽车城集团有限公司，上海淞泓智能汽车科技有限公司，武汉环宇智行科技有限公司，
类型：发明
国别省市：上海,31