一种基于关键点检测的弓网运行状况在线检测方法技术

本发明专利技术公开一种基于关键点检测的弓网运行状况在线检测方法，包括以下步骤：将双目相机安装于列车受电弓网的左、右两侧，将双目相机同步触发，分别采集得到列车同一时刻的左、右图像，随后分别在左、右图像中得到二维左右角点，分别求出左、右图像中各自对应的左右角点的中点，坐标记为(x

【技术实现步骤摘要】
一种基于关键点检测的弓网运行状况在线检测方法


[0001]本专利技术属于铁路列车智能运维弓网运行状况在线检测
，具体涉及一种基于关键点检测的弓网运行状况在线检测方法。

技术介绍

[0002]受电弓和接触网是电气化铁路供电的主要设备。目前，铁路列车的高速化和重载化给供电系统提出了更严格的要求。确保弓网系统有平稳良好的接触状态是维持良好的弓网关系动态特性并保障不间断供电和高速列车安全稳定运行的重要前提。在铁路日常运营维护中，常用的弓网运行状况检测是通过对一些主要的接触网静态参数进行测量，包括接触线高度、拉出值、定位管坡度、支柱位置等。其中，导高和拉出值是评价弓网系统中最重要的评估指标。导高是接触线距离铁轨平面的垂直高度，若接触导线高度过高则会使受电弓频繁离线产生电弧烧损接触线和受电弓，若过低会危及人员和超限货物的安全。拉出值是接触线相对于铁轨中心向外拉出的距离，其设计是为了使电力机车在运行时使受电弓与接触导线在一定范围内均匀摩擦，使受电弓滑板磨耗均匀，延长使用寿命，若拉出值过小会加大受电弓滑板的局部磨耗，过大会导致刮弓、断线等事故。因此，不仅在日常停车运维中需要检测这些静态参数，在运行过程中在线测量动态导高和拉出值更能确保电气化区段接触网安全、高质量的运行。因此，列车弓网运行状况的实时在线检测具有十分重要的意义。
[0003]导高和拉出值的测量都是在准确定位接触点的前提下实现的。目前非接触式的检测方式是通过安装在车顶的单目相机实现在线弓网运行状况的监控和记录功能，不能满足智能运维的要求。而且上述方法对于弓网接触点的检测停留在单线模式上，但实际的运行会涉及频繁的换线、双支线接触等现场复杂情况，给弓网运行状况在线检测提出了新的挑战。从三维重建精度的角度看，目前没有相关对弓网接触点重建精度评估的方法，从而无法判断导高或拉出值等参数的精度。因此，高精度的参数测量也是本专利技术研究的重点。
[0004]基于边缘检测的图像处理方法提取接触线和受电弓的边缘，其边缘直线的交点定义为弓网接触点。大量的背景边缘杂线干扰使这种基于边缘检测的定位方式在复杂背景下并不鲁棒。
[0005]基于先跟踪再定位的模式实现自动化的弓网接触点定位。这种模式首先采用模板匹配提取受电弓和接触线的边缘，其交点区域即为跟踪的初始区域，再通过KCF跟踪持续定位每一帧的接触区域，最后通过角点检测实现接触点的定位。该方法的亮点在于速度快(大于200FPS)，但模板匹配涉及的参数调整多，难以满足全天候长时接触点的定位要求。

技术实现思路

[0006]为解决现有技术中存在的技术问题，本专利技术的目的在于提供一种基于关键点检测的弓网运行状况在线检测方法，用于解决铁路正线上的高速导高和拉出值测量。
[0007]为实现上述目的，达到上述技术效果，本专利技术采用的技术方案为：
[0008]一种基于关键点检测的弓网运行状况在线检测方法，包括以下步骤：
[0009]将双目相机安装于列车受电弓网顶部的左、右两侧，朝向受电弓网的监测区域，随后将双目相机同步触发，分别采集得到列车同一时刻的左、右图像，随后分别在左、右图像中得到二维左右角点，分别求出左、右图像中各自对应的左右角点的中点，坐标记为(x
2d
,y
2d
,z
2d
)，将左右角点的中点记为接触点在图像上的投影点，将左、右图像中的接触点投影点进行三维重建得到三维接触点，坐标记为(x
3d
,y
3d
,z
3d
)，其中，z
3d
记为动态导高，三维接触点的x
3d
与受电弓中心点重建后的差记为动态拉出值。
[0010]进一步的，分别在左、右图像中得到二维左右角点具体包括：
[0011]1)将列车同一时刻的左、右图像输入至训练好的高精度的2D关键点定位网络；
[0012]所述2D关键点定位网络包括骨干网络resnet18、三个反卷积层deconv1、deconv2、deconv3以及未经过预训练的若干个辅助特征增强模块，辅助特征增强模块位于骨干网络resnet18的layer1之后；
[0013]2)通过2D关键点定位网络分别对左、右图像进行特征提取，通过辅助特征增强模块来提取骨干网络resnet18中的特征，提取出的特征再分别与骨干网络resnet18中layer2、layer3和layer4的特征进行相加，输出反卷积层，得到包围框的参数和关键点的参数并进行回归，确定关键点位置，最后经过解码后分别输出左、右图像对应的二维左右角点。
[0014]进一步的，所述辅助特征增强模块共有三个，分别为ANlayer1、ANlayer2、ANlayer3，ANlayer1的输入为layer1的输出，Anlayer2和layer3的输入均为从0开始的ANlayer1的特征和预训练的layer2的特征的拼接，同时具备中级和高级特征，Anlayer3和layer4的输入均为Anlayer2的特征和预训练的layer3的特征的相加，layer4的输出为反卷积层deconv1、deconv2、deconv3。
[0015]进一步的，步骤2)，所述包围框的参数包括：目标热图、宽高、框中心的偏移量；所述关键点的参数包括：关键点热图、关键点连接热图、关键点偏移量。
[0016]进一步的，采用wingloss分别对包围框的框中心的偏移量和关键点偏移量进行回归，wingloss的公式为：
[0017][0018]其中，ω＝2，ε＝2。
[0019]进一步的，采用改进的l
bbox
函数对包围框的宽高进行回归，公式如下：
[0020][0021]其中A
p
，A
gt
分别为预测框与真值框的面积；预测框与真值框的最小凸集为面积为A
c
；C
w
，C
h
分别为最小凸集的包围框的宽、高，ρ代表两个值的欧氏距离，ρ2(w，w
gt
)代表当前回归得到的宽度与真值宽度欧氏距离的平方，ρ2(h，h
gt
)代表当前回归得到的高度与真值高度欧氏距离的平方。
[0022]进一步的，所述包围框的loss函数包括：高精度的包围框回归和高精度的关键点回归，总体损失函数为：
[0023]loss＝(l
hm
+l
bbox
+l
offset
)+(l
hm
‑
hp
+l
hp
+l
hp
‑
offset
)
[0024]其中，l
bbox
为包围框的宽高的回归损失函数，l
offset
为包围框的框中心的偏移量的回归损失函数；l
hm
‑
hp
+l
hp
+l
hp
‑
o本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于关键点检测的弓网运行状况在线检测方法，其特征在于，包括以下步骤：将双目相机安装于列车受电弓网顶部的左、右两侧，朝向受电弓网的监测区域，随后将双目相机同步触发，分别采集得到列车同一时刻的左、右图像，随后分别在左、右图像中得到二维左右角点，分别求出左、右图像中各自对应的左右角点的中点，坐标记为(x
2d
,y
2d
,z
2d
)，将左右角点的中点记为接触点在图像上的投影点，将左、右图像中的接触点投影点进行三维重建得到三维接触点，坐标记为(x
3d
,y
3d
,z
3d
)，其中，z
3d
记为动态导高，三维接触点的x
3d
与受电弓中心点重建后的差记为动态拉出值。2.根据权利要求1所述的一种基于关键点检测的弓网运行状况在线检测方法，其特征在于，分别在左、右图像中得到二维左右角点具体包括：1)将列车同一时刻的左、右图像输入至训练好的高精度的2D关键点定位网络；所述2D关键点定位网络包括骨干网络resnet18、三个反卷积层deconv1、deconv2、deconv3以及未经过预训练的若干个辅助特征增强模块，辅助特征增强模块位于骨干网络resnet18的layer1之后；2)通过2D关键点定位网络分别对左、右图像进行特征提取，通过辅助特征增强模块来提取骨干网络resnet18中的特征，提取出的特征再分别与骨干网络resnet18中layer2、layer3和layer4的特征进行相加，输出反卷积层，得到包围框的参数和关键点的参数并进行回归，确定关键点位置，最后经过解码后分别输出左、右图像对应的二维左右角点。3.根据权利要求2所述的一种基于关键点检测的弓网运行状况在线检测方法，其特征在于，所述辅助特征增强模块共有三个，分别为ANlayer1、ANlayer2、ANlayer3，ANlayer1的输入为layer1的输出，Anlayer2和layer3的输入均为从0开始的ANlayer1的特征和预训练的layer2的特征的拼接，同时具备中级和高级特征，Anlayer3和layer4的输入均为Anlayer2的特征和预训练的layer3的特征的相加，layer4的输出为反卷积层deconv1、deconv2、deconv3。4.根据权利要求2所述的一种基于关键点检测的弓网运行状况在线检测方法，其特征在于，步骤2)，所述包围框的参数包括：目标热图、宽高、框中心的偏移量；所述关键点的参数包括：关键点热图、关键点连接热图、关键点偏移量。5.根据权利要求4所述的一种基于关键点检测的弓网运行状况在线检测方法，其特征在于，采用wingloss分别对包围框的框中心的偏移量和关键点偏移量进行回归，wingloss的公式为：其中，ω＝2，ε＝2。6.根据权利要求4所述的一种基于关键点检测的弓网运行状况在线检测方法，其特征在于，采用改进的l
bbox
函数对包围框的宽高进行回归，公式如下：其中A
p
，A

【专利技术属性】
技术研发人员：常洛南，黄磊，李苏祺，陆晓隽，王满意，沈国峰，
申请(专利权)人：江苏集萃智能光电系统研究所有限公司，
类型：发明
国别省市：