一种基于Faster R-CNN的非接触式铁轨伸缩位移实时测量方法技术

本发明专利技术公开了一种基于Faster R‑CNN的非接触式铁轨伸缩位移实时测量方法，属于高铁轨道结构监测领域。设计了包含至少两个圆并且圆与背景颜色差异明显的标志牌粘贴在前一段铁轨的尾部侧面以及后一段铁轨同一侧的侧面；标定图像以作为用于标志牌检测的深度学习模型的训练样本，训练深度学习模型；对每个检测点获得的实时图像，利用深度学习模型检测图像中的标志牌区域，根据检测结果过滤无效帧图像，在剩余的有效帧图像的标志牌区域中检测圆心，粗计算铁轨伸缩位移量，再对粗计算结果进行平滑滤波，实现铁轨伸缩位移的实时测量。

【技术实现步骤摘要】
一种基于FasterR-CNN的非接触式铁轨伸缩位移实时测量方法
本专利技术属于高铁轨道结构监测领域，更具体地，涉及一种基于FasterR-CNN的非接触式铁轨伸缩位移实时测量方法。
技术介绍
为满足各种复杂地域环境的需要，高速铁路不可避免会出现长大连续梁桥。相关线路上钢轨伸缩调节器及梁缝处的抬轨装置在使用过程中，出现了轨枕倾斜拉裂、抬轨装置剪刀叉变形较大甚至卡死等病害，造成了较大的养护维修工作量和经济损失。由于钢轨伸缩调节器养护维修工作量大，是高铁轨道结构的三大薄弱环节之一，因此高速铁路工务部门对钢轨伸缩调节器区轨道结构的监测需求十分迫切。轨道位移变化监测是钢轨伸缩调节器区轨道结构监测的关键环节，从精度、实施性出发，目前轨道位移变化监测主要采用振弦式传感器和光纤光栅传感方式。目前，现有的监测方法主要不足包括：(1)一般只能作为工点性的监测，空间上和时间上的监测范围有限，无法实现大规模实时测量；(2)皆为接触式的传感方式，设置在轨道结构上的传感器对于高速动车的运营是较大的安全隐患。随着铁路网络带宽呈几何数量级增加，高速铁路逐渐在沿线安装摄像机。以高铁沿线摄像机为前端，开展以图像识别等非接触式传感为手段的高铁轨道结构监测研究具有十分重要的现实意义和应用前景。但是，由于高铁现场环境复杂，光照、风雨和火车震动等多种因素都会影响成像结果，加上摄像机本身的透视畸变，基于简单的图像识别方法测量的钢轨铁轨伸缩位移，无法满足轨道结构监测精度要求。
技术实现思路
针对高速铁路轨道纵向呈带状分别、垂向分层分布的结构特点，本专利技术提出了一种基于FasterR-CNN的非接触式铁轨伸缩位移实时测量方法，设计了包含至少两个圆并且圆与背景颜色差异明显的标志牌粘贴在前一段铁轨的尾部侧面以及后一段铁轨同一侧的侧面；标定图像以作为用于标志牌检测的深度学习模型的训练样本，训练深度学习模型；对每个检测点获得的实时图像，利用深度学习模型检测图像中的标志牌区域，根据检测结果过滤无效帧图像，在剩余的有效帧图像的标志牌区域中检测圆心，粗计算铁轨伸缩位移量，再对粗计算结果进行平滑滤波，实现铁轨伸缩位移的实时测量。为了实现上述目的，本专利技术采用的技术方案是：一种基于FasterR-CNN的非接触式铁轨伸缩位移实时测量方法，包括如下步骤：步骤1，针对任一个检测点，在需要检测的一对铁轨连接处一侧固定位置设置摄像头，使得一对铁轨连接处位于目标监控范围内，在前一段铁轨的尾部侧面以及后一段铁轨同一侧的侧面分别粘贴至少包括两个圆的标志牌，所述标志牌上所有圆心在同一条直线上，且圆心连线与轨道延伸方向平行；步骤2，采集目标检测范围内的不同工况下的样本图像，标记样本图像中的每一个标记牌的四个角点的原像素坐标，将角点的原像素坐标转换为检测框顶点的原像素坐标；将矩形检测框的对角线上的两个顶点原像素坐标作为标志牌检测标签，将带标签的样本图像作为训练样本集；步骤3，建立深度学习模型，利用步骤2得到的训练样本集对深度学习模型进行训练；步骤4：通过摄像头实时采集每一个检测点处的铁轨视频，从对应当前时刻的视频中等间隔提取m帧作为当前时刻的待检测图像，利用训练好的深度学习模型检测图像中的标志牌区域，根据检测结果过滤无效帧图像；并在检测到的标志牌区域内检测圆心，粗计算每一个有效帧图像对应的铁轨伸缩位移量，取均值作为初始检测结果；步骤5：对所有有效帧图像的初始检测结果排序和平滑滤波，将滤波后的均值作为最终结果输出；步骤6：重复步骤4至步骤5，执行下一时刻的检测，实现铁轨伸缩位移的实时测量。与现有技术相比，本专利技术的优势在于：本专利技术设计了包含至少两个圆并且圆与背景颜色差异明显的标志牌粘贴在前一段铁轨的尾部侧面以及后一段铁轨同一侧的侧面；标定图像以作为用于标志牌检测的深度学习模型的训练样本，训练深度学习模型；对每个检测点获得的实时图像，利用深度学习模型检测图像中的标志牌区域，根据检测结果过滤无效帧图像，在剩余的有效帧图像的标志牌区域中检测圆心，粗计算铁轨伸缩位移量，再对粗计算结果进行平滑滤波，实现铁轨伸缩位移的实时测量。基于非接触测量的方式，不影响轨道的正常工作，安全性高，可以应用于钢轨铁轨伸缩位移的大规模实时测量，该专利技术也可推广至基本轨-基本轨、基本轨-尖轨伸缩位移等使用标志牌来进行距离检测的场景。附图说明图1为本专利技术的基于FasterR-CNN的非接触式铁轨伸缩位移实时测量方法流程图；图2为本实施例中的标志牌示意图；图3为本实施例中采用的深度学习模型的结构图；图4为本实施例中的包含2块标志牌的测试图；图5为本实施例中在椭圆拟合前的图像预处理结果图；图6为本实施例中的2块标志牌和6个圆心检测结果和间距检测结果图。。具体实施方式为了使本专利技术的目的、技术方案和优点更加清楚，下面结合具体的实施例详细说明本专利技术。下面描述了具体实施例以简化本专利技术。但是需要认识到，本专利技术不局限于所说明的实施例，并且在不脱离基本原理的前提下，本专利技术的各种修改是可能的，这些等价形式同样落于本申请所附权利要求书所限定的范围。下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，本专利技术提供的一种基于FasterR-CNN的非接触式铁轨伸缩位移实时测量方法，主要包括如下步骤：步骤1，针对任一个检测点，在需要检测的一对铁轨连接处一侧固定位置设置摄像头，使得一对铁轨连接处位于目标监控范围内，在前一段铁轨的尾部侧面以及后一段铁轨同一侧的侧面分别粘贴至少包括两个圆的标志牌，所述标志牌上所有圆心在同一条直线上，且圆心连线与轨道延伸方向平行；步骤2，采集目标检测范围内的不同工况下的样本图像，标记样本图像中的每一个标记牌的四个角点的原像素坐标，将角点的原像素坐标转换为检测框顶点的原像素坐标；将矩形检测框的对角线上的两个顶点原像素坐标作为标志牌检测标签，将带标签的样本图像作为训练样本集；步骤3，建立深度学习模型，利用步骤2得到的训练样本集对深度学习模型进行训练；步骤4：通过摄像头实时采集每一个检测点处的铁轨视频，从对应当前时刻的视频中等间隔提取m帧作为当前时刻的待检测图像，利用训练好的深度学习模型检测图像中的标志牌区域，根据检测结果过滤无效帧图像；并在检测到的标志牌区域内检测圆心，粗计算每一个有效帧图像对应的铁轨伸缩位移量，取均值作为初始检测结果；步骤5：对所有有效帧图像的初始检测结果排序和平滑滤波，将滤波后的均值作为最终结果输出；步骤6：重复步骤4至步骤5，执行下一时刻的检测，实现铁轨伸缩位移的实时测量。下面对具体实现方式进行介绍，本实施例中的工况参数为：摄像机分辨率400万像素，成像高度2.5m，白天可见光成像。(一)设计标记牌。...

【技术保护点】
1.一种基于Faster R-CNN的非接触式铁轨伸缩位移实时测量方法，其特征在于，包括如下步骤：/n步骤1，针对任一个检测点，在需要检测的一对铁轨连接处一侧固定位置设置摄像头，使得一对铁轨连接处位于目标监控范围内，在前一段铁轨的尾部侧面以及后一段铁轨同一侧的侧面分别粘贴至少包括两个圆的标志牌，所述标志牌上所有圆心在同一条直线上，且圆心连线与轨道延伸方向平行；/n步骤2，采集目标检测范围内的不同工况下的样本图像，标记样本图像中的每一个标记牌的四个角点的原像素坐标，将角点的原像素坐标转换为检测框顶点的原像素坐标；将矩形检测框的对角线上的两个顶点原像素坐标作为标志牌检测标签，将带标签的样本图像作为训练样本集；/n步骤3，建立深度学习模型，利用步骤2得到的训练样本集对深度学习模型进行训练；/n步骤4：通过摄像头实时采集每一个检测点处的铁轨视频，从对应当前时刻的视频中等间隔提取m帧作为当前时刻的待检测图像，利用训练好的深度学习模型检测图像中的标志牌区域，根据检测结果过滤无效帧图像；并在检测到的标志牌区域内检测圆心，粗计算每一个有效帧图像对应的铁轨伸缩位移量，取均值作为初始检测结果；/n步骤5：对所有有效帧图像的初始检测结果排序和平滑滤波，将滤波后的均值作为最终结果输出；/n步骤6：重复步骤4至步骤5，执行下一时刻的检测，实现铁轨伸缩位移的实时测量。/n...

【技术特征摘要】
1.一种基于FasterR-CNN的非接触式铁轨伸缩位移实时测量方法，其特征在于，包括如下步骤：
步骤1，针对任一个检测点，在需要检测的一对铁轨连接处一侧固定位置设置摄像头，使得一对铁轨连接处位于目标监控范围内，在前一段铁轨的尾部侧面以及后一段铁轨同一侧的侧面分别粘贴至少包括两个圆的标志牌，所述标志牌上所有圆心在同一条直线上，且圆心连线与轨道延伸方向平行；
步骤2，采集目标检测范围内的不同工况下的样本图像，标记样本图像中的每一个标记牌的四个角点的原像素坐标，将角点的原像素坐标转换为检测框顶点的原像素坐标；将矩形检测框的对角线上的两个顶点原像素坐标作为标志牌检测标签，将带标签的样本图像作为训练样本集；
步骤3，建立深度学习模型，利用步骤2得到的训练样本集对深度学习模型进行训练；
步骤4：通过摄像头实时采集每一个检测点处的铁轨视频，从对应当前时刻的视频中等间隔提取m帧作为当前时刻的待检测图像，利用训练好的深度学习模型检测图像中的标志牌区域，根据检测结果过滤无效帧图像；并在检测到的标志牌区域内检测圆心，粗计算每一个有效帧图像对应的铁轨伸缩位移量，取均值作为初始检测结果；
步骤5：对所有有效帧图像的初始检测结果排序和平滑滤波，将滤波后的均值作为最终结果输出；
步骤6：重复步骤4至步骤5，执行下一时刻的检测，实现铁轨伸缩位移的实时测量。


2.根据权利要求1所述的基于FasterR-CNN的非接触式铁轨伸缩位移实时测量方法，其特征在于，所述的标志牌上的三个圆区域内的颜色与圆区域外的颜色有明显差异。


3.根据权利要求1所述的基于FasterR-CNN的非接触式铁轨伸缩位移实时测量方法，其特征在于，所述的深度学习模型采用在COCOtrain2017数据集上预训练过的FasterR-CNN模型。


4.根据权利要求1所述的一种基于FasterR-CNN的非接触式铁轨伸缩位移实时测量方法，其特征在于，在步骤2和步骤3之间还包括将训练样本集中的样本图像进行数据增广的步骤，包括随机水平翻转、随机裁切、以及随机改变色调、对比度、明度。


5.根据权利要求1所述的一种基于FasterR-CNN的非接触式铁轨伸缩位移实时测量方法，其特征在于，所述的步骤S2包括：
2.1)采集目标检测范围内的不同工况下的样本图像，标记样本图像中的每一个标记牌的四个角点的原像素坐标(x(i)，y(i))，i＝1，2，3，4；
2.2)将四个角点的原像素坐标转换为检测框顶点的原像素坐标，转换公式为：



式中，Plefttop为检测框左上顶点的原像素坐标，Prightdown为检测框右下顶点的原像素坐标，x(i)和y(i)分别为第i个角点的原像素坐标；
2.3)将矩形检测框的对角线上的两个顶点原像素坐标作为标志牌检测标签。


6.根据权利要求1所述的一种基于FasterR-CNN的非接触式铁轨伸缩位移实时测量方法，其特...

【专利技术属性】
技术研发人员：厉小润，程嘉昊，王森荣，黎金辉，王晶，林超，李秋义，鄢祖建，杨艳丽，王建军，
申请(专利权)人：浙江大学，中铁第四勘察设计院集团有限公司，
类型：发明
国别省市：浙江;33