一种基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法技术

本发明专利技术公开了一种基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法，属于高铁轨道结构监测领域。将包含至少两个圆并且圆与背景颜色差异明显的标志牌粘贴在轨枕上，拍摄含有标志牌的视频并截取图像；标定图像以作为用于标志牌检测的深度学习模型的训练样本，训练深度学习模型；对每个检测点获得的实时图像，通过深度学习模型检测图像中的标志牌区域，使用视觉算法定位经透视变换后的标志牌的圆心，利用定位得到的圆心坐标完成钢轨轨枕相对位移量粗计算；再对粗计算结果进行平滑滤波，得到实时相对位移量的精确值。本发明专利技术可以自动计算透视变换参数和钢轨轨枕相对位移量，实现了轨道结构的轨枕间距相对位移的实时获取。

【技术实现步骤摘要】
一种基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法
本专利技术属于高铁轨道结构监测领域，更具体地，涉及一种基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法。
技术介绍
为满足各种复杂地域环境的需要，高速铁路不可避免会出现长大连续梁桥。相关线路上钢轨伸缩调节器及梁缝处的抬轨装置在使用过程中，出现了轨枕倾斜拉裂、抬轨装置剪刀叉变形较大甚至卡死等病害，造成了较大的养护维修工作量和经济损失。由于钢轨伸缩调节器养护维修工作量大，是高铁轨道结构的三大薄弱环节之一，因此高速铁路工务部门对钢轨伸缩调节器区轨道结构的监测需求十分迫切。轨道位移变化监测是钢轨伸缩调节器区轨道结构监测的关键环节，从精度、实施性出发，目前轨道位移变化监测主要采用振弦式传感器和光纤光栅传感方式。目前，现有的监测方法主要不足包括：(1)一般只能作为工点性的监测，空间上和时间上的监测范围有限，无法实现大规模实时测量；(2)皆为接触式的传感方式，设置在轨道结构上的传感器对于高速动车的运营是较大的安全隐患。随着铁路网络带宽呈几何数量级增加，高速铁路逐渐在沿线安装摄像机。以高铁沿线摄像机为前端，开展以图像识别等非接触式传感为手段的高铁轨道结构监测研究具有十分重要的现实意义和应用前景。但是，由于高铁现场环境复杂，光照、风雨和火车震动等多种因素都会影响成像结果，加上摄像机本身的透视畸变，基于简单的图像识别方法测量的钢轨轨枕相对位移，无法满足轨道结构监测精度要求。
技术实现思路
针对上述技术问题，本专利技术提出了一种基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法，设计了包含至少两个圆并且圆与背景颜色差异明显的标志牌粘贴在轨枕上，拍摄含有标志牌的视频并截取图像；标定图像以作为用于标志牌检测的深度学习模型的训练样本，训练深度学习模型；对每个检测点获得的实时图像，通过深度学习模型检测图像中的标志牌区域，使用视觉算法定位经透视变换后的标志牌的圆心，利用定位得到的圆心坐标完成钢轨轨枕相对位移量粗计算；再对粗计算结果进行平滑滤波，得到实时相对位移量的精确值。本专利技术可以自动计算透视变换参数和钢轨轨枕相对位移量，实现了轨道结构的轨枕间距相对位移的实时获取，测量精度高，安全性高。为了实现上述目的，本专利技术采用的技术方案是：一种基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法，包括如下步骤：步骤1，针对任一个检测点，在需要检测的钢轨轨枕任一侧的固定位置设置摄像头，将摄像头的监控范围对准目标检测位置，在目标检测范围的轨枕上粘贴至少包括两个圆的标志牌，所述标志牌上所有圆心在同一条直线上，且圆心连线与轨枕沿轨道宽度方向的边界线平行；所述每一个检测点的检测范围内至少包括一对相对位置固定的轨枕；步骤2，采集目标检测范围内的不同高度、不同角度、不同环境和不同成像方式下的样本图像，标记样本图像中的每一个标记牌的四个角点的原像素坐标，将角点的原像素坐标转换为检测框顶点的原像素坐标；利用四个角点的原像素坐标和实际坐标计算透视变换矩阵，获得样本图片中圆心对应的原像素坐标；将矩形检测框的对角线上的两个顶点坐标作为标志牌检测标签，将每一个标志牌中边界处的两个圆心坐标作为圆心定位标签，将带标签的样本图像作为训练样本集；步骤3，建立深度学习模型，利用步骤2得到的训练样本集对深度学习模型进行训练；步骤4，通过摄像头实时采集每一个检测点处的轨枕视频，从对应当前时刻的视频中等间隔提取m帧作为当前时刻的待检测图像，利用训练好的深度学习模型检测图像中的标志牌区域并定位圆心，根据检测结果过滤无效帧图像；根据定位得到的圆心原像素坐标确定圆心的位置关系，对两个边界标志牌中的共计四个边界处圆心的原像素坐标进行透视变换，使得透视变换后的四个圆心连线矩形；根据透视变换后的像素坐标和原像素坐标，采用步骤2中的方法计算透视变换矩阵，利用透视变换矩阵对有效帧图像进行透视变换；步骤5，利用训练好的深度学习模型检测透视变换后的有效帧图像中的标志牌区域，并对透视变换后的有效帧图像进行二值化处理，拟合标志牌区域内的椭圆轮廓，得到椭圆长短轴长度、圆心坐标和椭圆旋转角度作为拟合结果；步骤6，从相邻两个标记牌中任选一个或多个对应圆心的拟合结果计算相对距离，得到位移值，将每一个有效帧图像中的相对位移值取均值作为初始检测结果；步骤7，对所有有效帧图像的初始检测结果排序和平滑滤波，将滤波后的均值作为最终结果输出；步骤8，重复步骤S4至步骤S7，执行下一时刻的相对位移检测，实现轨枕相对位移的实时测量。与现有技术相比，本专利技术的优势在于：设计了包含至少两个圆并且圆与背景颜色差异明显的标志牌粘贴在前一段铁轨的尾部侧面以及后一段铁轨同一侧的侧面；标定图像以作为用于标志牌检测的深度学习模型的训练样本，训练深度学习模型；对每个检测点获得的实时图像，利用深度学习模型检测图像中的标志牌区域，根据检测结果过滤无效帧图像，在剩余的有效帧图像的标志牌区域中检测圆心，粗计算轨枕间距相对位移，再对粗计算结果进行平滑滤波，实现轨枕间距相对位移的实时测量。本专利技术基于非接触测量的方式，不影响轨道的正常工作，安全性高，可以应用于钢轨轨枕相对位移的大规模实时测量，该专利技术也可推广至伸缩机构间距检测等使用标志牌来进行距离检测的场景。附图说明图1为本专利技术的基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法流程图；图2为本实施例中的标志牌示意图；图3为本实施例中的采用的深度学习模型的结构图；图4为本实施例中的包含连续3块标志牌的测试图；图5为本实施例中的3块标志牌和6个圆心检测结果图；图6为本实施例中的透视变换后的测试图；图7为本实施例中的透视变换后的测试图在椭圆拟合前的图像预处理结果图；图8为本实施例中的透视变换后测试图的标志牌圆形区域椭圆拟合结果和间距检测结果图。具体实施方式为了使本专利技术的目的、技术方案和优点更加清楚，下面结合具体的实施例详细说明本专利技术。下面描述了具体实施例以简化本专利技术。但是需要认识到，本专利技术不局限于所说明的实施例，并且在不脱离基本原理的前提下，本专利技术的各种修改是可能的，这些等价形式同样落于本申请所附权利要求书所限定的范围。下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，本专利技术提供的一种基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法，主要包括如下步骤：步骤一：针对任一个检测点，在需要检测的钢轨轨枕任一侧的固定位置设置摄像头，将摄像头的监控范围对准目标检测位置，在目标检测范围的轨枕上粘贴至少包括两个圆的标志牌，所述标志牌上所有圆心在同一条直线上，且圆心连线与轨枕沿轨道宽度方向的边界线平行；<本文档来自技高网...

【技术保护点】
1.一种基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法，其特征在于，包括如下步骤：/n步骤1，针对任一个检测点，在需要检测的钢轨轨枕任一侧的固定位置设置摄像头，将摄像头的监控范围对准目标检测位置，在目标检测范围的轨枕上粘贴至少包括两个圆的标志牌，所述标志牌上所有圆心在同一条直线上，且圆心连线与轨枕沿轨道宽度方向的边界线平行；/n步骤2，采集目标检测范围内的不同高度、不同角度、不同环境和不同成像方式下的样本图像，标记样本图像中的每一个标记牌的四个角点的原像素坐标，将角点的原像素坐标转换为检测框顶点的原像素坐标；利用四个角点的原像素坐标和实际坐标计算透视变换矩阵，获得样本图片中圆心对应的原像素坐标；/n将矩形检测框的对角线上的两个顶点坐标作为标志牌检测标签，将每一个标志牌中边界处的两个圆心坐标作为圆心定位标签，将带标签的样本图像作为训练样本集；/n步骤3，建立深度学习模型，利用步骤2得到的训练样本集对深度学习模型进行训练；/n步骤4，通过摄像头实时采集每一个检测点处的轨枕视频，从对应当前时刻的视频中等间隔提取m帧作为当前时刻的待检测图像，利用训练好的深度学习模型检测图像中的标志牌区域并定位圆心，根据检测结果过滤无效帧图像；/n根据定位得到的圆心原像素坐标确定圆心的位置关系，对两个边界标志牌中的共计四个边界处圆心的原像素坐标进行透视变换，使得透视变换后的四个圆心连线呈矩形；/n根据透视变换后的像素坐标和原像素坐标，采用步骤2中的方法计算透视变换矩阵，利用透视变换矩阵对有效帧图像进行透视变换；/n步骤5，利用训练好的深度学习模型检测透视变换后的有效帧图像中的标志牌区域，并对透视变换后的有效帧图像进行二值化处理，拟合标志牌区域内的椭圆轮廓，得到椭圆长短轴长度、圆心坐标和椭圆旋转角度作为拟合结果；/n步骤6，从相邻两个标记牌中任选一个或多个对应圆心的拟合结果计算相对距离，得到位移值，将每一个有效帧图像中的相对位移值取均值作为初始检测结果；/n步骤7，对所有有效帧图像的初始检测结果排序和平滑滤波，将滤波后的均值作为最终结果输出；/n步骤8，重复步骤S4至步骤S7，执行下一时刻的相对位移检测，实现轨枕相对位移的实时测量。/n...

【技术特征摘要】
1.一种基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法，其特征在于，包括如下步骤：
步骤1，针对任一个检测点，在需要检测的钢轨轨枕任一侧的固定位置设置摄像头，将摄像头的监控范围对准目标检测位置，在目标检测范围的轨枕上粘贴至少包括两个圆的标志牌，所述标志牌上所有圆心在同一条直线上，且圆心连线与轨枕沿轨道宽度方向的边界线平行；
步骤2，采集目标检测范围内的不同高度、不同角度、不同环境和不同成像方式下的样本图像，标记样本图像中的每一个标记牌的四个角点的原像素坐标，将角点的原像素坐标转换为检测框顶点的原像素坐标；利用四个角点的原像素坐标和实际坐标计算透视变换矩阵，获得样本图片中圆心对应的原像素坐标；
将矩形检测框的对角线上的两个顶点坐标作为标志牌检测标签，将每一个标志牌中边界处的两个圆心坐标作为圆心定位标签，将带标签的样本图像作为训练样本集；
步骤3，建立深度学习模型，利用步骤2得到的训练样本集对深度学习模型进行训练；
步骤4，通过摄像头实时采集每一个检测点处的轨枕视频，从对应当前时刻的视频中等间隔提取m帧作为当前时刻的待检测图像，利用训练好的深度学习模型检测图像中的标志牌区域并定位圆心，根据检测结果过滤无效帧图像；
根据定位得到的圆心原像素坐标确定圆心的位置关系，对两个边界标志牌中的共计四个边界处圆心的原像素坐标进行透视变换，使得透视变换后的四个圆心连线呈矩形；
根据透视变换后的像素坐标和原像素坐标，采用步骤2中的方法计算透视变换矩阵，利用透视变换矩阵对有效帧图像进行透视变换；
步骤5，利用训练好的深度学习模型检测透视变换后的有效帧图像中的标志牌区域，并对透视变换后的有效帧图像进行二值化处理，拟合标志牌区域内的椭圆轮廓，得到椭圆长短轴长度、圆心坐标和椭圆旋转角度作为拟合结果；
步骤6，从相邻两个标记牌中任选一个或多个对应圆心的拟合结果计算相对距离，得到位移值，将每一个有效帧图像中的相对位移值取均值作为初始检测结果；
步骤7，对所有有效帧图像的初始检测结果排序和平滑滤波，将滤波后的均值作为最终结果输出；
步骤8，重复步骤S4至步骤S7，执行下一时刻的相对位移检测，实现轨枕相对位移的实时测量。


2.根据权利要求1所述的基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法，其特征在于，所述的深度学习模型采用在COCOpersonkeypoint数据集上预训练过的KeypointR-CNN模型。


3.根据权利要求1所述的基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法，其特征在于，在步骤2和步骤3之间还包括将训练样本集中的样本图像进行数据增广的步骤，包括随机水平翻转、随机裁切、以及随机改变色调、对比度、明度。


4.根据权利要求1所述的基于深度学习和视觉定位的非接触式钢轨轨枕相对位移实时测量方法，其特征在于，所述的步骤S2包括：
2.1)采集目标检测范围内的不同高度、不同角度、不同环境和不同成像方式下的样本图像，标记样本图像中的每一个标记牌的四个角点的原像素坐标(x(i)，y(i))，i＝1，2，3，4；
2.2)将四个角点的原像素坐标转换为检测框顶点的原像素坐标，转换公式为：



式中，Plefttop为检测框左上顶点的原像素坐标，Prightdow为检测框右下顶点的原像素坐标，x(i)和y(i)分别为第i个角点的原像素坐标；
2.3)利用四个角点的原像素坐标和实际坐标计算透视变换矩阵：
记实际标志牌的四个角点和上下两个...

【专利技术属性】
技术研发人员：王森荣，程嘉昊，厉小润，季文献，林超，王晶，朱彬，王建军，杨艳丽，鄢祖建，
申请(专利权)人：浙江大学，中铁第四勘察设计院集团有限公司，
类型：发明
国别省市：浙江;33