一种基于视觉与毫米波雷达融合的列车定位方法技术

本发明专利技术公开了一种基于视觉与毫米波雷达融合的列车定位方法，通过视觉进行图像特征提取，融合全局特征与局部特征，其中全局特征通过深度学习进行提取，局部特征通过直线检测及直线特征描述子进行提取，可以使对图像的特征提取更加充分；在进行关键位置查找时，分别进行全局特征相似度度量和局部特征相似度度量，可以使关键位置检测更精准；通过毫米波雷达进行列车车速测量，不依赖于车辆信号系统，通过毫米波雷达检测的障碍物进行反向车速推算得到列车车速。本发明专利技术利用车载传感器进行列车定位，不需依赖于路侧设备，可有效降低列车定位成本，并且，通过融合数据进行定位，可有效克服列车在隧道等环境下无法定位的难题。

A train location method based on fusion of vision and MMW Radar

【技术实现步骤摘要】
一种基于视觉与毫米波雷达融合的列车定位方法
本专利技术涉及轨道列车无人驾驶自主环境感知及定位
，尤其涉及一种基于视觉与毫米波雷达融合的列车定位方法。
技术介绍
随着我国城市规模的高速发展，城市化进程的逐步加快，城镇人口和人均机动车保有量水平急速增加，交通拥堵现象日益严重。具有载客量大、运送效率高、能源消耗低的城市轨道交通已经成为缓解城市交通拥堵问题的必然选择。列车无人驾驶系统在列车运行过程中不依赖于驾驶员，可以有效提升列车运行效率及运行安全。列车无人驾驶系统需要实时精准的列车位置，精准的列车位置信息可以为车辆调度和车速控制提供重要的保障。现阶段主要通过在路侧安装路基设备，如应答器等，进行列车定位，该方法存在布设周期长、布设成本高的缺点。近年来，部分研究人员通过车载传感器，如通过车载北斗定位系统或车载GPS系统，进行列车实时定位，该方法在卫星信号较好时可以很好地进行列车定位，然而，当卫星信号受遮挡或缺失时，该方法无法满足实际应用需求。
技术实现思路
有鉴于此，本专利技术提供了一种基于视觉与毫米波雷达融合的列车定位方法，用以通过融合视觉图像数据与毫米波雷达数据，实现列车在包含隧道等环境线路中的自主定位。本专利技术提供的一种基于视觉与毫米波雷达融合的列车定位方法，包括如下步骤：S1：在列车车头位置处安装相机和毫米波雷达传感器，通过安装的相机和毫米波雷达传感器采集整条线路的同步数据；其中，将相机和毫米波雷达传感器采集数据的时间截最近的两帧数据作为同步数据；S2：选取线路中的关键位置，从采集的同步数据中获取关键位置图像，对所述关键位置图像进行特征提取，建立关键位置视觉数据特征库；S3：在列车运行过程中，利用相机实时采集图像，并对实时采集的图像进行特征提取；S4：将实时采集的图像的特征与所述关键位置视觉数据特征库中图像的特征进行相似度度量，判断列车是否到达所述关键位置视觉数据特征库中图像对应的关键位置；若是；则对列车位置进行校准；若否，则利用毫米波雷达传感器实时测量列车的速度，对测得的速度进行积分，预测列车在两个关键位置区间内的位置。在一种可能的实现方式中，在本专利技术提供的上述基于视觉与毫米波雷达融合的列车定位方法中，步骤S2，选取线路中的关键位置，从采集的同步数据中获取关键位置图像，对所述关键位置图像进行特征提取，建立关键位置视觉数据特征库，具体包括：S21：选取线路中各站台位置为关键位置，从采集的同步数据中获取关键位置图像；S22：对获取的每一帧关键位置图像进行全局特征提取，全局特征提取通过卷积神经网络实现；将各帧关键位置图像缩放到同一尺寸，利用一个卷积操作降低每一帧关键位置图像的特征图大小，利用反向残差网络进行特征提取，通过平均池化层得到1280维高维向量；对1280维高维向量进行L2正则化：其中，d＝1280，表示高维向量的维度；(W1,W2,…Wd)为经过正则化后的高维向量，表示关键位置图像的全局特征；q＝1,2,...,d；S23：对获取的每一帧关键位置图像进行局部特征提取，包括直线特征及对应的直线描述子；对每一帧关键位置图像进行平滑处理，利用Sobel算子获取每一帧关键位置图像的梯度图，获取每一帧关键位置图像横向和纵向三邻域区域内的最大像素值，最大像素值的位置为锚点，将所有锚点连接得到每一帧关键位置图像的边缘图，应用最小二乘法对边缘图进行直线拟合检测出直线；应用局部条带描述子对检测的每一条直线进行特征描述，利用每一帧关键位置图像中所有的直线描述子表示每一帧关键位置图像的局部特征；S24：将提取的每一帧关键位置图像的全局特征和局部特征进行保存；将每个站台提取的高维向量及对应的站台号进行对应，构建所有站台的全局特征库；采用视觉词袋模型对提取的所有直线描述子进行局部特征库构建。在一种可能的实现方式中，在本专利技术提供的上述基于视觉与毫米波雷达融合的列车定位方法中，步骤S3，在列车运行过程中，利用相机实时采集图像，并对实时采集的图像进行特征提取，具体包括：S31：对实时采集的图像进行全局特征提取，全局特征提取通过卷积神经网络实现；将实时采集的各图像缩放到同一尺寸，利用一个卷积操作来降低实时采集的各图像的特征图大小，利用反向残差网络进行特征提取，通过平均池化层得到1280维高维向量；对1280维高维向量进行L2正则化：其中，d＝1280，表示高维向量的维度；(W1',W2',…Wd')为经过正则化后的高维向量，表示实时采集的图像的全局特征；q＝1,2,...,d；S32：对实时采集的图像进行局部特征提取，包括直线特征及对应的直线描述子；对实时采集的图像进行平滑处理，利用Sobel算子获取实时采集的图像的梯度图，获取实时采集的图像横向和纵向三邻域区域内的最大像素值，最大像素值的位置为锚点，将所有锚点连接得到实时采集的图像的边缘图，应用最小二乘法对边缘图进行直线拟合检测出直线；应用局部条带描述子对检测的每一条直线进行特征描述，利用实时采集的图像中所有的直线描述子表示实时采集的图像的局部特征。在一种可能的实现方式中，在本专利技术提供的上述基于视觉与毫米波雷达融合的列车定位方法中，步骤S4，将实时采集的图像的特征与所述关键位置视觉数据特征库中图像的特征进行相似度度量，判断列车是否到达所述关键位置视觉数据特征库中图像对应的关键位置；若是；则对列车位置进行校准；若否，则利用毫米波雷达传感器实时测量列车的速度，对测得的速度进行积分，预测列车在两个关键位置区间内的位置，具体包括：S41：对实时采集的图像的全局特征与构建的全局特征库中所有图像的全局特征依次进行相似度度量，计算过程如下：其中，i表示实时采集的第i个图像，表示图像i的全局特征，表示全局特征库中的第j个图像的全局特征，D(i,j)表示图像i的全局特征与全局特征库中第j个图像的全局特征的相似度；·2表示L2范式；S42：判断图像i的全局特征与全局特征库中第j个图像的全局特征的相似度是否小于第一设定阈值；若否，则利用毫米波雷达传感器实时测量列车的速度，对测得的速度进行积分，预测列车在两个关键位置区间内的位置；若是，则执行步骤S43和步骤S44；S43：对图像i的局部特征wi与构建的局部特征库中所有图像的局部特征依次进行相似度度量，计算过程如下：其中，s(wi-wj)表示图像i的局部特征wi与局部特征库中第j个图像的局部特征wj的相似度，wj表示局部特征库中的第j个图像的局部特征，表示图像i中第k条直线对应的局部特征，表示局部特征库中第j个图像中第k条直线对应的局部特征，N表示图像i中直线的个数；S44：判断图像i的局部特征wi与局部特征库中第j个图像的局部特征wj的相似度是否小于第二设定阈值；若是，则对列车位置进行校准；若否，则利用毫米波雷达传感器实时测量列车的速度，对测得的速度进行积分，预测列车在两个关键位置区间内的位置。在一种可能的实现方式中，在本专利技术提供的上述基于视觉与毫米波雷达本文档来自技高网...

【技术保护点】
1.一种基于视觉与毫米波雷达融合的列车定位方法，其特征在于，包括如下步骤：/nS1：在列车车头位置处安装相机和毫米波雷达传感器，通过安装的相机和毫米波雷达传感器采集整条线路的同步数据；其中，将相机和毫米波雷达传感器采集数据的时间截最近的两帧数据作为同步数据；/nS2：选取线路中的关键位置，从采集的同步数据中获取关键位置图像，对所述关键位置图像进行特征提取，建立关键位置视觉数据特征库；/nS3：在列车运行过程中，利用相机实时采集图像，并对实时采集的图像进行特征提取；/nS4：将实时采集的图像的特征与所述关键位置视觉数据特征库中图像的特征进行相似度度量，判断列车是否到达所述关键位置视觉数据特征库中图像对应的关键位置；若是；则对列车位置进行校准；若否，则利用毫米波雷达传感器实时测量列车的速度，对测得的速度进行积分，预测列车在两个关键位置区间内的位置。/n

【技术特征摘要】
1.一种基于视觉与毫米波雷达融合的列车定位方法，其特征在于，包括如下步骤：
S1：在列车车头位置处安装相机和毫米波雷达传感器，通过安装的相机和毫米波雷达传感器采集整条线路的同步数据；其中，将相机和毫米波雷达传感器采集数据的时间截最近的两帧数据作为同步数据；
S2：选取线路中的关键位置，从采集的同步数据中获取关键位置图像，对所述关键位置图像进行特征提取，建立关键位置视觉数据特征库；
S3：在列车运行过程中，利用相机实时采集图像，并对实时采集的图像进行特征提取；
S4：将实时采集的图像的特征与所述关键位置视觉数据特征库中图像的特征进行相似度度量，判断列车是否到达所述关键位置视觉数据特征库中图像对应的关键位置；若是；则对列车位置进行校准；若否，则利用毫米波雷达传感器实时测量列车的速度，对测得的速度进行积分，预测列车在两个关键位置区间内的位置。


2.如权利要求1所述的基于视觉与毫米波雷达融合的列车定位方法，其特征在于，步骤S2，选取线路中的关键位置，从采集的同步数据中获取关键位置图像，对所述关键位置图像进行特征提取，建立关键位置视觉数据特征库，具体包括：
S21：选取线路中各站台位置为关键位置，从采集的同步数据中获取关键位置图像；
S22：对获取的每一帧关键位置图像进行全局特征提取，全局特征提取通过卷积神经网络实现；将各帧关键位置图像缩放到同一尺寸，利用一个卷积操作降低每一帧关键位置图像的特征图大小，利用反向残差网络进行特征提取，通过平均池化层得到1280维高维向量；对1280维高维向量进行L2正则化：



其中，d＝1280，表示高维向量的维度；(W1,W2,…Wd)为经过正则化后的高维向量，表示关键位置图像的全局特征；q＝1,2,...,d；
S23：对获取的每一帧关键位置图像进行局部特征提取，包括直线特征及对应的直线描述子；对每一帧关键位置图像进行平滑处理，利用Sobel算子获取每一帧关键位置图像的梯度图，获取每一帧关键位置图像横向和纵向三邻域区域内的最大像素值，最大像素值的位置为锚点，将所有锚点连接得到每一帧关键位置图像的边缘图，应用最小二乘法对边缘图进行直线拟合检测出直线；应用局部条带描述子对检测的每一条直线进行特征描述，利用每一帧关键位置图像中所有的直线描述子表示每一帧关键位置图像的局部特征；
S24：将提取的每一帧关键位置图像的全局特征和局部特征进行保存；将每个站台提取的高维向量及对应的站台号进行对应，构建所有站台的全局特征库；采用视觉词袋模型对提取的所有直线描述子进行局部特征库构建。


3.如权利要求1所述的基于视觉与毫米波雷达融合的列车定位方法，其特征在于，步骤S3，在列车运行过程中，利用相机实时采集图像，并对实时采集的图像进行特征提取，具体包括：
S31：对实时采集的图像进行全局特征提取，全局特征提取通过卷积神经网络实现；将实时采集的各图像缩放到同一尺寸，利用一个卷积操作来降低实时采集的各图像的特征图大小，利用反向残差网络进行特征提取，通过平均池化层得到1280维高维向量；对1280维高维向量进行L2正则化：



其中，d＝1280，表示高维向量的维度；(W1',W′2,…W′d)为经过正则化后的高维向量，表示实时采集的图像的全局特征；q＝1,2,...,d；
S32：对实时采集的图像进行局部特征提取，包括直线特征及对应的直线描述子；对实时采集的图像进行平滑处理，利用Sobel算子获取实时采集的图像的梯度图，获取实时采集的图像横向和纵向三邻域区域内的最大像素值，最大像素值的位置为锚点，...

【专利技术属性】
技术研发人员：余贵珍，王章宇，周彬，徐少清，付子昂，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11