一种基于单目热红外摄像头的铁轨异物识别方法及系统技术方案

本发明专利技术涉及一种基于单目热红外摄像头的铁轨异物识别方法及系统。包括：在传统的半自动标注算法基础上利用了多种不同网络模型进行半自动标注，获得带有更为精确的半自动图像轮廓信息；在语义分割网络中，将热感图像特征图和基于热感图像灰度处理的特征图进行融合，并增加了权重因子规格化模块操作，获得异物分割图；提出基于改进的跨模态融合的主干神经网络，通过transformer将分割图和热红外图的跨模态特征点和模态信息进行融合，利用蒸馏学习方法压缩网络参数实现了轻量级的异物识别；提出一种监控报警设备，用于监控和报警铁轨异物入侵；本发明专利技术提高了在各种环境下铁轨异物识别的效率和准确度，能够有效降低异物入侵铁轨造成列车事故的可能性。成列车事故的可能性。成列车事故的可能性。

【技术实现步骤摘要】
一种基于单目热红外摄像头的铁轨异物识别方法及系统

：
[0001]本专利技术涉及计算机视觉与模式识别、智能交通系统(intelligent transportation systems, ITS)领域，具体为一种基于单目热红外摄像头的铁轨异物识别方法及系统。

技术介绍
：
[0002]轨道交通是指运营车辆需要在特定轨道上行驶的一类交通工具或运输系统。近年来我国轨道交通建设与运营蓬勃发展，为缓解城市客运紧张、促进铁轨城市经济带发展做出了重要贡献。然而，在城市轨道交通正常运营期间，异物侵入铁轨界限并与列车发生冲突、碰撞等类型事件时有发生。由于铁轨异物入侵事件具有突发性、不确定性、危害性大等特点，一旦列车与异物发生冲突，将导致列车运行中断，危及行车安全，同时带来车辆设备损坏、人员伤亡，严重威胁了列车的安全运行。
[0003]因此，如何在列车运行过程中及时检测异物入侵，并在列车到达前进行预警和报警，并及时采取有效应对制动措施，避免列车与侵入异物发生冲突，是保证轨道交通列车安全运行的前提，也是目前我国轨道交通运营管理部门高度重视和关注的问题。
[0004]传统的识别异物方法需要在沿线铁轨安装多个摄像头，缺乏分析功能，需要人工检查，成本高，且存在较高的遗漏风险。因此，有待提出一种新的技术方案。
[0005]在早期的铁轨异物侵限识别算法中，张旭东(张旭东.基于智能相机的铁路异物侵限检测系统设计[D]北京交通大学,2017)提出了一种基于智能相机的铁路异物侵限检测系统,针对铁路线路异物设计了基于智能相机的异物侵限检测算法,通过在铁路沿线分布式布置检测节点实现了铁路沿线分布式的异物图像采集、处理、分析、自动报警和异物图像存储的功能。王群(王群.基于双目立体视觉的轨道入侵物识别技术研究[D].北京交通大学,2018.)提出将双目立体视觉技术运用到轨道异物侵限检测当中,解决了单目相机视频监控对空中悬浮物体的误检以及无法定位入侵物的问题,同时利用三维重建结果实现了对入侵物体积的估计。
[0006]在基于深度学习的技术方法中，王磊(王磊.面向铁路行车安全的高精度行人检测算法研究与系统设计[D].北京交通大学,2019.)提出了小尺度行人检测算法，该算法基于FasterR
‑
CNN网络从弱语义分割损失函数、通道放射变换和特征融合对网络结构进行了优化。王宁 (王宁.基于特征融合的铁路入侵行人分类算法[D].北京交通大学,2019.)提出了特征融合即卷积神经网络特征和手工行人特征融合的铁路行人分类算法。江西理工大学的何文玉等人(何文玉,杨杰,张天露.基于深度学习的轨道异物入侵检测算法[J].计算机工程与设计,2020, 41(12):8.)提出结合传统机器学习算法对图像进行基本处理，划定入侵区域，利用深度学习的YOLO
‑
V3网络模型进行多次训练，通过训练模型检测划定好的入侵区域，检测区域内是否存在异物的方法，使实时检测异物入侵成为了可能，但这需要在沿线安装多个摄像设备而成本高昂，其机动性不足，没有充分发挥YOLOv3算法实时性的优点。兰州交通大学的朱梦瑞，牛宏侠等人(朱梦瑞，牛宏侠.改进YOLOv3模型的铁路异物入侵识别算
法[D].北京交通大学学报,2019.)提出了一种改进YOLOv3模型的异物入侵识别算法，包括利用逆透视变换确定轨道位置并划分危险区域，采用K
‑
means++聚类算法选取适合数据集的先验框尺寸，并使用MobileNetv2特征提取网络以减少模型参数量，完成对危险区域进行异物识别并大幅度提升异物识别速度的，但其需要大量的迁移学习样本，训练数据集的获取不易，并且针对外界因素的干扰无法确保识别的精准性。
[0007]综上所述，尽管目前的基于深度学习技术方法异物检测在其他领域已经初有成效，但对于铁路智能交通系统这一细分领域，其检测速率、检测准确率、检测效率等方面仍然有进一步改进空间。

技术实现思路
：
[0008]本专利技术实施例的目的在于提供一种基于单目热红外摄像头的铁轨异物识别方法及系统，旨在促进解决已有的铁轨异物识别方法实时性不强，易受到光线等因素干扰，识别异物精准度不高的问题，有效提升了列车轨道运行安全系数。
[0009]一种基于单目热红外摄像头的铁轨异物识别方法及系统，其包括如下步骤：
[0010](1)提出半自动标注图像轮廓信息方法，对于初始热感图片，先在对异物进行初步定位后，针对不同的异物目标类别，采用不同的语义分割模型进行分割，并根据分割结果自动地对原始图像集进行标注，后通过人工审阅校对，获得精准的半自动标注图像轮廓信息，用于训练本专利提出的改进的语义分割网络；
[0011](2)提出基于改进的语义分割网络，分割原始热感图像，先对热感图像进行灰度处理获得粗糙分割图，将所得的热感图像特征图和基于热感图像灰度处理的粗糙分割图进行融合处理，同时利用双边滤波法对该图像进行去噪和像素规格化操作，得到像素规格化的温度信息，接着将热感图像带有的温度信息加入改进的语义分割网络的计算权重中，完成图像分割得到异物分割图像，将其作为改进的跨模态融合的主干神经网络的输入；
[0012](3)提出基于改进的跨模态融合的主干神经网络，实现轻量级的铁轨异物识别，将基于改进的语义分割网络分割所得的图像和原始热红外图像输入改进后的多模态融合骨干网络中，同时通过transformer融合跨模态特征点和模态信息，利用改进的蒸馏学习方法精简神经网络，实现轻量级的异物识别。
[0013]进一步的，步骤(1)所述的获得精准的半自动标注图像轮廓信息通过以下步骤获得：
[0014]首先通过YOLOv5进行铁轨异物的初步定位，将单目热红外摄像头所拍摄的图像输入预训练的YOLOv5模型，得到精准的异物位置，并进行基于异物识别框的图片裁剪获得裁剪后的图像；然后针对不同的目标标签进行训练和识别，根据这些获得的结果进行进一步的半自动标注获得最终的标注结果，其中标签指的是人体、铁轨、石头和其他，针对这些标签采用相对应的不同的模型进行训练和识别，其中人体识别采用基于视觉的人类动作识别网络(HAR)、铁轨识别采用卷积神经网络(Faster RCNN)、石头和其他异物采用深度神经网络算法(DNN)共三大种模型；接着将上述获得的异物图像再次输入到对应的模型进行特征提取和模型优化，使得各自的模型更加准确，并复制需要标注的图像形成多个副本，分别对各个图像副本进行图像分割，再利用Mask R
‑
CNN网络得到异物轮廓二值矩阵，采用上面所述不同的模型对各个副本进行测试，从而获得多个目标标签；最终将所有目标标签合并作
为完整标签，并在自动获得带有各个标签的图片后，手动检查是否有缺漏或标注错误情况对其进行修改，完成后使用用xml文件保存完成带标注的图像，获得精准的半自动标注图像轮廓信息。
[0015]进一步的，步骤(2)所述的使用基于改进的语义分割网络分割异物图像通过以下步骤获得：
[0016]首先对热感图像进行灰度处理，有效地捕获基于本文档来自技高网...

【技术保护点】

【技术特征摘要】
processing，简称RSPbGP)。5.根据权利要求1所述的基于单目热红外摄像头的铁轨异物识别方法及系统，其特征在于，步骤(2)所述的同时对该图像利用双边滤波进行去噪操作和规格化操作得到像素温度规格化信息，其特征在于，在步骤(1)的同时将热感图像使用canny算子进行亚像素边缘提取，其中采用双边滤波进行去噪操作。所述规格化操作特点在于，其规格化公式如(1)所示：其中，i,j表示计算的这一个像素点的位置，k,l为周围像素位置，g(i,j)为卷积后得到的像素值，f(k,l)周围像素值，这里主要受影响的是w(i,j,k,l)，通过该规格化操作得到像素温度信息。6.根据权利要求1所述的基于单目热红外摄像头的铁轨异物识别方法及系统，其特征在于，步骤(2)所述的将热感图像特征图和基于热感图像灰度处理的特征图进行融合，其特征在于，热感图像被送入深度卷积神经网络，所述深度卷积神经网络采用VGG
‑
16网络，并在最后一层卷积加入注意力机制，得到基于深度卷积神经网络的粗糙分割图(Rough segmentation plot based on deep convolutional neural network，简称RSPbCNN)，对RSPbGP和RSPbDL进行处理，使用跨层方法引入边界信息后,将RSPbGP特征与RSPbDL特征进行融合，得到融合的粗糙分割图。7.根据权利要求1所述的基于单目热红外摄像头的铁轨异物识别方法及系统，其特征在于，步骤(2)所述的将热感图像带有的温度信息加入改进的语义分割网络的计算权重中，其特征在于，基于温度信息改变卷积核大小，逐步提取出图像的全局特征和上下文信息，同时达到增大计算速度、降低内存使用的目的，改进的语义分割网络模型引入步骤(2)中边缘检测中获得的权重因子，将特征图和各像素权重送入解码器中，所述解码器为改进的ReNet网络，以逐步提取出图像的全局特征和上下文信息,其中所述改进的ReNet网络，改进算法为，在卷积处理的作用区域上，加入像素权重因子，使卷积操作的卷积核具有可变的形状，最后使用由反卷积网络组成的上采样层逐步恢复特征图的分辨率,输出分割结果，得到分割图Segement_Thermal。8.根据权利要求1所述的基于单目热红外摄像头的铁轨异物识别方法及系统，其特征在于，步骤(3)所述的改进后的跨模态融合的主干神经网络，其特征在于，包括两部分，一个双流并行的特征提取网络以及一个基于非对称注意力机制的特征融合模块；其中，所述特征提取网络采用UNet网络；所述特征融合模块，采用transformer融合跨模态特征点和模态信息，包括以下步骤：(1)计算分割图Segement_T...

【专利技术属性】
技术研发人员：古卓恒，王国华，连佩仪，凌海涛，谢函，
申请(专利权)人：华南农业大学，
类型：发明
国别省市：