应用于无人机巡检的轨道线路识别跟踪方法及系统技术方案

本发明专利技术提供一种应用于无人机巡检的轨道线路识别跟踪方法及系统，属于基于计算机视觉的铁路运营巡检维护技术领域，获取轨道线路遥感图像数据；利用预先训练好的轨道识别跟踪模型对获取的轨道线路遥感图像数据进行处理，得到遥感图像中真实轨道区域；计算真实轨道区域的坐标；根据真实轨道区域的坐标，进行无人机云台姿态和相机载荷参数的状况判断与自动调节，实现轨道线路的实时跟踪。本发明专利技术实现了轨道故障信息的高精度、高时效、高效率采集，保障无人机高效高水平完成针对铁路轨道区域的轨道巡检任务；降低了轨道巡检任务中人力资源消耗和因个人疏忽导致的对轨道巡检任务质量和效率造成的负面影响，提升了轨道区域故障信息采集的精确度和统一度。采集的精确度和统一度。采集的精确度和统一度。

【技术实现步骤摘要】
应用于无人机巡检的轨道线路识别跟踪方法及系统


[0001]本专利技术涉及基于计算机视觉的铁路运营巡检维护
，具体涉及一种应用于无人机巡检的基于Largest Connected
‑
ERFNet模型的轨道线路自主识别和实时跟踪方法及系统。

技术介绍

[0002]铁路传统的巡检方式主要有人工巡检和轨检车巡检，其中人工巡检是由熟练的巡检工人通过肉眼或手持设备对铁路线路及附属设施中的灾害及隐患进行检测，轨检车巡检则是通过专用轨检车搭载设备沿轨道开展巡检工作。二者都存在效率低、夜间巡检条件差、巡检频率低、检查区域窄、自动化程度低等问题，且受综合维修天窗约束。针对运营时间的巡检无法通过轨检车实现，因此只能使用人工巡检，此时巡检效率较低、巡检覆盖率不足的问题变得更加突出。
[0003]近年来无人机技术发展迅猛，无人机具有飞行灵活性高、单次飞行成本低、飞行覆盖范围大且作业不受列车运行限制等优点，若使用无人机进行铁路巡检可以有效解决现有方法弊端，与现有方法的优势形成互补。但是无人机在飞行过程中，容易受到来自自然环境如大风等的因素影响，会频繁出现无人机云台上搭载的相机载荷的拍摄投影区域偏离轨道线路的情况。若不对无人机云台和相机载荷的实时状态进行判定和调节，则会导致采集得到的轨道区域信息不全面，容易发生故障信息漏检或样式不合规的情况，最终导致轨道巡检的效率和可靠性下降。因此，对铁路轨道线路进行自主识别和实时跟踪，来指导无人机自动采集全面合规的轨道信息是十分必要的。
[0004]轨道区域图像信息合规性判断一般分为轨道区域相对规模判断和轨道区域相对位置判断两种。轨道区域相对规模是遥感图像中轨道区域占据整体图像的相对画幅，决定采集得到的遥感图像中包含轨道区域细节信息的丰富度，影响轨道区域相对规模的因素是相机载荷参数。轨道区域相对位置是遥感图像中轨道区域的相对位置和方向走势，决定采集得到的遥感图像中轨道区域的统一性和规范性，而影响轨道区域相对位置的因素则是云台姿态参数。
[0005]传统的铁路轨道线路识别和跟踪方法是，现场控制无人机的飞手使用遥控器远程获取无人机相机载荷的实时视频流图像，利用人眼判断当前轨道线路位置信息，并通过遥控器远程控制无人机飞行姿态和云台姿态参数。近年来，无人机功能技术不断发展，比如无人机视频流传输更快，远程控制无人机的难易程度下降等。然而，在铁路轨道线路识别和跟踪过程中，仍然需要依靠飞手作为控制主体，这一方面极大地增加了人力资源的成本，另一方面飞手个人的疏忽会严重影响无人机采集故障信息的可靠性，导致轨道巡检任务的低质量。此外一些环境恶劣的场景中，难以行动的飞手会约束无人机的飞行速度和飞行范围，导致无人机故障信息采集效率下降，进而影响轨道巡检任务的整体进度。

技术实现思路

[0006]本专利技术的目的在于提供一种基于Largest Connected
‑
ERFNet模型的轨道线路自主识别和实时跟踪方法及系统，以解决上述
技术介绍
中存在的至少一项技术问题。
[0007]为了实现上述目的，本专利技术采取了如下技术方案：
[0008]一方面，本专利技术提供一种应用于无人机巡检的轨道线路识别跟踪方法，包括：
[0009]获取轨道线路遥感图像数据；
[0010]利用预先训练好的轨道识别跟踪模型对获取的轨道线路遥感图像数据进行处理，得到遥感图像中真实轨道区域；
[0011]计算所述真实轨道区域的坐标；
[0012]根据所述真实轨道区域的坐标，进行无人机云台姿态和相机载荷参数的状况判断与自动调节，实现轨道线路的实时跟踪。
[0013]优选的，所述预先训练好的轨道识别跟踪模型包括：分割网络和连通域标定网络，所述分割网络用于对无人机采集的遥感图像进行轨道区域分割，所述连通域标定网络用于从轨道区域分割结果中提取包含信息最丰富的最大连通域，为真实轨道区域。
[0014]优选的，所述连通域标定网络用于从轨道区域分割结果中提取包含信息最丰富的最大连通域，包括：
[0015]对分割得到到二值化图像的像素进行遍历，查找到第一个像素值发生变化的像素点，即连通域的边缘像素点；对与该边缘像素点存在邻域关系的像素点进行判定，将和该点的像素值相同的点划分为同一类别，即属于同一连通域；将标定主体转移到邻近的同类别像素点，再次对存在邻域关系的像素点的判定，重复进行直到不存在可以标定的像素点位置，这些被标定的点共同组成一连通域；
[0016]重复上述步骤完成图像内所有像素的处理，即可得到图像内包含的所有连通域；对各个连通域包含的像素点数量进行统计，保留像素数最多的连通域，并认定为表示真实轨道区域的有效连通域，其余干扰的连通域中包含的像素点的像素值都更改为0剔除掉。
[0017]优选的，无人机云台姿态和相机载荷参数的状况判断与自动调节包括：利用计算得到的轨道区域坐标计算遥感图像中轨道线路的相关参数；利用云台姿态和载荷参数判定方法判定当前时刻无人机采集的轨道区域位置和规模信息是否符合轨道巡检任务要求，若不符合要求，则调整无人机的云台姿态和载荷参数。
[0018]优选的，云台姿态和载荷参数判定方法，包括：如果当前时刻两条轨道线起点和终点的平均相对坐标差值小于阈值，则判定当前时刻轨道区域的画幅过小，针对无人机相机载荷的缩放焦距进行调整；
[0019]根据轨道区域内两条轨道线的相对坐标计算当前轨道区域中心点的相对坐标，将轨道区域中心点坐标与整幅图像的中心点坐标进行比较；如果轨道区域中心点坐标与整幅图像中心点坐标差值的绝对值大于阈值，则判定当前时刻轨道区域偏离图像中央，根据轨道区域的偏离方向调整无人机云台的俯仰角数值。
[0020]优选的，云台姿态和载荷参数判定方法，还包括：在无人机进行轨道巡检任务中，云台载荷拍摄得到的轨道线路呈现为横向走势，计算轨道线路起终点在Y方向的差值，并于图像宽度做三角正切运算；如果正切值的绝对值大于阈值，则判定当前时刻轨道区域发生倾斜，根据轨道区域的倾斜方向调整无人机云台的偏航角数值。
[0021]优选的，计算所述真实轨道区域的坐标，包括：通过遥感图像中两条轨道线路的端点坐标来表示轨道区域；首先遍历垂直于轨道线路走向的图像边缘的像素，得到像素值发生突变的位置；然后判断遍历时这些像素点位置的出现顺序，将第一次和最后一次出现像素值突变的像素点认定为两条轨道线的端点，计算这两点在图像中的相对坐标，即为真实轨道区域的坐标。
[0022]第二方面，本专利技术提供一种应用于无人机巡检的轨道线路识别跟踪系统，包括：
[0023]获取模块，用于获取轨道线路遥感图像数据；
[0024]筛选模块，用于利用预先训练好的轨道识别跟踪模型对获取的轨道线路遥感图像数据进行处理，得到遥感图像中真实轨道区域；
[0025]计算模块，用于计算所述真实轨道区域的坐标；
[0026]调节模块，用于根据所述真实轨道区域的坐标，进行无人机云台姿态和相机载荷参数的状况判断与自动调节，实现轨道线路的实时跟踪。...

【技术保护点】

【技术特征摘要】
1.一种应用于无人机巡检的轨道线路识别跟踪方法，其特征在于，包括：获取轨道线路遥感图像数据；利用预先训练好的轨道识别跟踪模型对获取的轨道线路遥感图像数据进行处理，得到遥感图像中真实轨道区域，计算所述真实轨道区域的坐标；根据所述真实轨道区域的坐标，进行无人机云台姿态和相机载荷参数的状况判断与自动调节，实现轨道线路的实时跟踪。2.根据权利要求1所述的应用于无人机巡检的轨道线路识别跟踪方法，其特征在于，所述预先训练好的轨道识别跟踪模型包括：分割网络和连通域标定网络，所述分割网络用于对无人机采集的遥感图像进行轨道区域分割，所述连通域标定网络用于从轨道区域分割结果中提取真实轨道区域。3.根据权利要求2所述的应用于无人机巡检的轨道线路识别跟踪方法，其特征在于，所述连通域标定网络用于从轨道区域分割结果中提取真实轨道取悦，包括：对分割得到到二值化图像的像素进行遍历，查找到第一个像素值发生变化的像素点，即连通域的边缘像素点；对与该边缘像素点存在邻域关系的像素点进行判定，将和该点的像素值相同的点划分为同一类别，即属于同一连通域；将标定主体转移到邻近的同类别像素点，再次对存在邻域关系的像素点的判定，重复进行直到不存在可以标定的像素点位置，这些被标定的点共同组成一连通域；重复上述步骤完成图像内所有像素的处理，即可得到图像内包含的所有连通域；对各个连通域包含的像素点数量进行统计，保留像素数最多的连通域，并认定为表示真实轨道区域的有效连通域，其余干扰的连通域中包含的像素点的像素值都更改为0剔除掉。4.根据权利要求3所述的应用于无人机巡检的轨道线路识别跟踪方法，其特征在于，无人机云台姿态和相机载荷参数的状况判断与自动调节包括：利用计算得到的轨道区域坐标计算遥感图像中轨道线路的相关参数；利用云台姿态和载荷参数判定方法查明当前时刻无人机采集的轨道区域位置和规模信息是否符合轨道巡检任务要求，若不符合要求，则调整无人机的云台姿态和载荷参数。5.根据权利要求4所述的应用于无人机巡检的轨道线路识别跟踪方法，其特征在于，云台姿态和载荷参数判定方法，包括：如果当前时刻两条轨道线起点和终点的平均相对坐标差值小于阈值，则判定当前时刻轨道区域的画幅过小，针对无人机相机载荷的缩放焦距进行调整；根据轨道区域内两条轨道线的相对坐标计算当前轨道区域中心点的相对坐标，将轨道区域中心...

【专利技术属性】
技术研发人员：王志鹏，姜耀鹏，贾利民，秦勇，童磊，蒋栋柱，
申请(专利权)人：北京交通大学，
类型：发明
国别省市：