单开道岔状态检测系统及检测方法、半自动数据标注方法技术方案

本发明专利技术的目的是提供一种单开道岔状态检测系统及检测方法、半自动数据标注方法，包括：采集图像模块，用于为测试过程提供原始数据；构建道岔数据集模块，用于为训练、验证过程提供原始数据；数据预处理模块，用于对原始样本数据的轨道区域识别，进一步降低目标搜索空间，并为后续筛选列车所在轨道的道岔目标提供线索；道岔状态判别模块，用于提高道岔状态识别准确率。本发明专利技术解决了现有技术中单开道岔状态检测计算量大、道岔状态识别困难、识别硬件成本高、数据标注工作量大等问题。数据标注工作量大等问题。数据标注工作量大等问题。

【技术实现步骤摘要】
单开道岔状态检测系统及检测方法、半自动数据标注方法


[0001]本专利技术属于轨道交通
，涉及单开道岔状态检测系统及检测方法、半自动数据标注方法。

技术介绍

[0002]随着轨道交通的快速发展，轨道车辆运行安全得到广泛关注，道岔作为铁路的关键部件，控制着不同轨道之间的交叉和贯通。道岔位置开通错误或者调度系统失效会造成严重的安全隐患，因此，道岔状态识别对于列车行驶安全具有重要意义，具体地：(1)道岔状态识别可以为列车在岔道中的行驶路线识别提供重要线索，甚至在调度系统失灵的情况下，避免轨道交通事故。(2)道岔区域是轨道损坏的高风险区域。道岔的尖轨结构经常承受高冲击载荷，此外，由于尖轨与轮缘的非最佳接触、尖轨与基本轨之间的束角间隙等问题，极易导致道岔区域的磨损和塑性变形，道岔状态识别也能为轨道故障检测任务提取出对应的道岔区域。(3)道岔是轨道线路的重要参照物，道岔识别能够辅助列车进行定位。轨道车辆的轨道选择性定位是一项尚未解决的任务，基于导航系统的定位精度无法满足所有需求，而且导航系统信号并不能一直可用，通过结合道岔识别和数据地图一起使用，可以提高轨道车辆的自我定位质量。
[0003]目前道岔场景识别方法是利用单轨分割模型提取具有分叉点的单轨区域，进一步检测道岔心点，实现对轨道道岔的识别，但是该方法仅仅能实现识别道岔区域，无法对道岔状态进行辨识。还有基于传统图像处理方法的道岔识别方法，该方法通过灰度化、中值滤波、边缘检测方法提取轨道特征，然后，通过Hough变换，利用倾角长度等特征提取轨道主线和侧线，最后利用线性相关程度分析，实现道岔识别；但该方法需要手工设计和提取轨道特征，算法计算量较大，此外该方法仅对道岔类型进行分类，并未对道岔实时状态进行检测，无法给列车驾驶员提供完全有效的线路信息。
[0004]现有的道岔状态识别装置，是利用道岔传感器识别尖轨位置，判断道岔状态，利用车轮传感器监测行驶信号，最后通过结合上述二者信息设计了预警策略。该方法直接使用传感器识别道岔状态，保证了数据的可靠性，但该方法需要在每个需识别道岔区域安装对应识别装置，实现成本高，应用性较差。
[0005]铁路环境中的道岔结构主要以单开道岔为主，此外大型的道岔数据集标注工作量较大，对相关算法的训练、测试工作带来巨大挑战。为此，本专利技术提出了单开道岔状态检测系统及检测方法、半自动数据标注方法。

技术实现思路

[0006]本专利技术的目的在于提供一种单开道岔状态检测系统，解决了现有技术中识别硬件成本高，检测结果不准确的问题。
[0007]本专利技术还提供一种单开道岔状态检测系统的检测方法，解决了现有技术中单开道岔状态检测计算量大，道岔状态识别困难，轨道区域提取不准确的问题。
[0008]本专利技术还提供一种单开道岔状态检测系统的半自动数据标注方法，解决了数据标注工作量大的问题。
[0009]本专利技术所采用的技术方案是，一种单开道岔状态检测系统，包括：采集图像模块，用于为测试过程提供原始图像数据；构建道岔数据集模块，用于为训练、验证过程提供原始数据；数据预处理模块，用于对原始样本数据的轨道区域识别，进一步降低目标搜索空间，并为后续筛选列车所在轨道的道岔目标提供线索；道岔状态判别模块，用于提高道岔状态识别准确率。
[0010]一种单开道岔状态检测系统的检测方法，包括以下步骤：
[0011]S1，制作道岔数据集；
[0012]S2，对数据集图像进行图像预处理；
[0013]S3，构建轨道道岔状态判别模块；
[0014]S4，将预处理后的道岔图像及对应标签为输入数据，将构建的道岔状态判别模型为检测工具，获取道岔检测结果；
[0015]S5，结合列车所在轨道和道岔状态判别结果，对列车所在轨道的道岔进行筛选识别，输出最终的道岔状态识别结果。
[0016]一种单开道岔状态检测系统的半自动数据标注方法，具体包括以下步骤：
[0017]步骤1，通过单开道岔状态检测系统，采集不同线路、不同天气条件下的道岔图像，并将采集到的图像分为人工标注集和自动标注集两部分，利用VIA标注工具对人工标注集进行标注，将人工标注集按数量8：1：1随机分为train、trainval、test三个子数据集，人工标注集图像至少8000帧并保证每个类别的道岔状态实例不少于10000个；
[0018]步骤2，利用S31的道岔状态判别深度学习模型对标注数据集进行训练，获得模型的最佳道岔识别模型；具体过程如下：
[0019]利用步骤1中人工标注集对单开道岔状态检测系统中的道岔状态判别模型进行训练、测试，训练次数记为R
i
，当第R
i
轮道岔状态检测准确率和召回率都达到0.85以上时，将该轮模型参数作为可用模型参数，并将该轮模型参数、测试结果一起打包为第R
i
轮可用道岔状态判别模型存入可用模型列表；否则，将该轮模型参数舍弃，继续对模型进行下一轮训练和测试，当可用模型列表不为空且连续3轮测试结果无优化效果时，即停止运算，在可用模型列表里选择性能最佳的一组可用道岔状态判别模型作为最优道岔状态判别模型；当可用模型列表为空且训练次数达到阈值R
i阈
时，R
i阈
缺省值取300，此时单开道岔状态检测系统无法满足检测需求，停止计算过程，对该系统进行优化；
[0020]步骤3，将自动标注集中的图像随机打乱，并以1000个图像为单位分组，不足1000的图像组按1000记，随机选取1组数据利用步骤2获得的最优道岔状态判别模型，进行道岔状态检测，获得自动标注集中图像的标签信息，将选取的分组数据从自动标注数据集中剔除；
[0021]步骤4，人工检查自动生成的标注文件是否符合标注要求，对应不合理标注进行优化，对于没有生成标注信息的图像进行剔除，将标注合格的图像加入人工标注集中；
[0022]步骤5，从自动标注集剩余小组图像中再任选一组图像重复步骤2、3、4，直到自动标注集变为空，自动标注集的图像全部完成标注，结束标注过程。
[0023]本专利技术的有益效果是：
[0024]1.提出了一种轨道区域提取方法，通过设计区域生长策略提取轨道线并对轨道线进行筛选、配对，提高了轨道区域提取准确率，并减少了深度学习网络的搜索空间。
[0025]2.提出了一种结合深度学习网络和传统图像处理技术的道岔状态判别模型，首先利用深度学习网络进行道岔状态识别，再通过传统图像处理方法对低置信度的困难样本进行二次检测，建立了道岔状态识别机制，相对于单一的检测方案，检测机理更透明，结果可靠性更高。
[0026]3.提出了一种列车所在轨道道岔筛选方法，通过结合列车所在轨道区域和预测的道岔目标框信息，能够对列车所在轨道道岔目标和旁轨道岔目标进行区分，对不同区域的道岔目标按重要程度进行辨识。
[0027]4.提出了一种半自动的数据标注方法，该方法可以通过深度学习网络对图像进行初标注，然后由人工进行修正，避免直接进行人工标注，降低了标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种单开道岔状态检测系统，其特征在于，包括：采集图像模块，用于为测试过程提供原始图像数据；构建道岔数据集模块，用于为训练、验证过程提供原始数据；数据预处理模块，用于对原始样本数据的轨道区域识别，进一步降低目标搜索空间，并为后续筛选列车所在轨道的道岔目标提供线索；道岔状态判别模块，用于提高道岔状态识别准确率。2.一种单开道岔状态检测系统的检测方法，其特征在于，包括以下步骤：S1，制作道岔数据集；S2，对数据集图像进行图像预处理；S3，构建轨道道岔状态判别模块；S4，将预处理后的道岔图像及对应标签为输入数据，将构建的道岔状态判别模型为检测工具，获取道岔检测结果；S5，结合列车所在轨道和道岔状态判别结果，对列车所在轨道的道岔进行筛选识别，输出最终的道岔状态识别结果。3.根据权利要求2所述的单开道岔状态检测系统的检测方法，其特征在于，所述S2中，对数据集图像进行图像预处理，包括以下步骤：S21，将数据集采集到的RGB图像进行灰度化处理；S22，采用区域生长方法提取轨道线信息；S23，对轨道线进行筛选、配对，确定轨道区域；S24，根据轨道区域位置对所有的轨道区域进行筛选，确定出列车所在轨道；S25，从原始图像中截取包含所有轨道区域的最小外接矩形作为数据预处理的输出图像；对所有轨道区域角点进行比较，取出所有轨道区域角点中横纵坐标最大值和最小值，以横纵坐标的最小值为最小外接矩形的左上角点，以横纵坐标的最大值作为最小外接矩形的右下角点，最小外接矩形记为[x
min
，y
min
，x
max
，y
max
]；S26，对原图像标签进行调整，使其与剪切后图像对应，设原图像标签为[x1，y1，x2，y2]，则剪切后的图像标签为[x1‑
x
min
，y1‑
y
min
，x2‑
x
min
，y2‑
y
min
]。4.根据权利要求3所述的单开道岔状态检测系统的检测方法，其特征在于，所述S22中，采用区域生长方法提取轨道线信息，包括以下步骤：S221，获取区域生长的种子起点，设置10个种子起点，采用均匀分布的方法设置在图像中，前5个种子起点的图像位置分别为(w
×
i/5，5/9
×
h)，后5个种子起点的图像位置分别为(w
×
(i
‑
5)/5，7/9
×
h)，其中h为原道岔图像高度，w为原道岔图像宽度，i表示第i个种子起点；S222，将第i个种子起点的坐标记为(sdx
i
，sdy
i
)，并获取种子起点位置8邻域内像素点坐标，邻域像素点坐标记为(X
邻
，Y
邻
)，可知(X
邻
，Y
邻
)＝(sdx
i
，sdy
i
)+R，其中R表示8邻域相对坐标数组，R＝[(
‑
1，
‑
1)，(
‑
1，0)，(
‑
1，1)，(1，1)，(0，1)，(1，0)，(1，
‑
1)，(0，
‑
1)]；S223，比较第i个种子起点位置和8邻域位置灰度差值，当灰度值差值D((sdx
i
，sdy
i
))≤gray
t
时，该种子起点位置和对应邻域位置属于同一灰度区域，将种子起点位置及其对应邻域位置灰度值统一设置为255，并将该邻域位置设置为新种子起点，gray
t
为灰度差值阈值，缺省值设为6；灰度值差值的表达式如下：
D((sdx
i
，sdy
i
))＝gray((sdx
i
，sdy
i
))
‑
gray((X
邻
，Y
邻
))上式中，D((sdx
i
，sdy
i
))表示第i个种子起点与对应邻域灰度值差值，gray((sdx
i
，sdy
i
))表示种子起点位置的灰度值，gray((X
邻
，Y
邻
)表示邻域位置灰度值；S224，重复S223直到没有可利用的种子起点，表明对应区域已经完成“生长过程”，区域生长后进行处理，其被255灰度值包围的剩余区域即为轨道线区域。5.根据权利要求3所述的单开道岔状态检测系统的检测方法，其特征在于，所述S23中，对轨道线进行筛选、配对，确定轨道区域，包括以下步骤：S231，剔除虚假轨道线；选用霍夫变换算法提取轨道线，获取的轨道线表示如下：第j条轨道线用线段的两个端点值表示，记为(xh
j
，yh
j
)、(xt
j
，yt
j
)，其中(xh
j
，yh
j
)表示轨道线段中距离x轴更近的端点，即yh
j
<yt
j
；由轨道线端点坐标可知，第j条轨道线的表达式其中y是轨道线的y轴坐标，x是轨道线的x轴坐标；轨道线斜率像素坐标系下的轨道线长度其中k
j
为第j条轨道线斜率，L
j
为第j条轨道线长度；当k
j
∈[
‑
∞，
‑
1]∪[1，∞]且L
j
>60像素时，保留该轨道线，否则将该轨道线删除；S232，根据轨道线斜率，对轨道线进行分组；计算剩余轨道线的斜率，并对所有轨道线按斜率绝对值从大到小进行排序，从排序后的轨道线中采用等距抽样的方式选取n条轨道线作为配对标准，n的缺省取值为所有轨道线数量的记n条轨道的斜率分别为k
n
，遍历其余所有保留的轨道线，每次遍历的轨道线斜率记为k
g
，当||k
n
|
‑
|k
g
||<k
t
时，将k
g
对应的轨道线加入到k
n
所表示的轨道线分组中，k
t
为斜率绝对值差阈值，缺省值设为0.1；S233，对剩余未分组轨道线重复S232直到全部的轨道线都加入了分组，结束分组过程，对仅有一条轨道线的分组直接舍弃；S234，合并同一轨道的不同轨道线片段，进行轨道合并及配对；将分组内部轨道线按斜率正负分为两类，分别记为a，b类别组，对仅有一条轨道线的类别组不进行合并，符合合并要求的每组轨道线数量记为N，N≥2，分别按以下过程进行轨道合并及轨道线配对：轨道合并具体过程如下：对a，b类别组轨道线分别进行如下处理：求出轨道线类别组内部所有轨道线的斜率均值k
均
，将N条轨道线进行斜率微调，统一为k
均
；对N条轨道线，将S231中轨道线表达式变换为：y
‑
k
均
x＝y
h
‑
k
均
·
x
h
，其中y
h
是轨道线上的某一点y轴坐标，x
h
是轨道线上的某一点y轴坐标对应的x轴坐标；令C＝y
h
‑
k
均
·
x
h
，其中C表示对应轨道线表达式的截距；对N条轨道线按C值大小进行降序排序，每两条相邻轨道线之间计算轨道间距离其
中p∈N
‑
1；上式中，D
p
为降序排序后的第P条轨道线与其后面排序的第P+1条轨道线之间的轨道间距离；C
p
为第P条轨道线表达式的截距；C
p+1
为第P+1条轨道线表达式的截距；k
均
是微调后的轨道线斜率；N为轨道线数量，当D
p
<D
t
时，表明轨道线P和P+1属于同一条轨道，对这两条轨道线进行合并，D
t
为轨道线合并距离阈值，缺省值设为6；提取出第P条轨道线的两端端点为(xh
p
，yh
p
)、(xt
p
，yt
p
)；提取出第P+1条轨道线的两端端点为(xh
p+1
，yh
p+1
)、(xt
p+1
，yt
p+1
)；合并后的轨道线设置新端点，记为H、T；新端点坐标根据原始轨道线端点坐标确定，当yh
p
>yh
p+1
时，H＝(xh
p+1
，yh
p+1
)，否则H＝(xh
p
，yh
p
)；同理，当yt
p
>yt
p+1
时，T＝(xt
p
，yt
p
)，否则T＝(xt
p+1
，yt
p+1
)；轨道线配对具体过程如下：在a、b类别组内部，分别对处理后的轨道线再次按C值大小进行降序排序，在a、b分组内部，分别将排序后的轨道线依次两两配对，当配对后a、b类别组内仍有未进行配对的剩余轨道线时，将a类别组轨道线中剩余轨道线和b类别组轨道线中剩余轨道线进行单独配对，对该配对轨道线进行特殊标记，记为LinepairC；S235，将配对后轨道线的四个端点依次相连，作为轨道区域；S236，重复S234、S235，完成对所有分组的轨道线分类、合并及配对，提取出道岔图像中所有的轨道区域。6.根据权利要求3所述的单开道岔状态检测系统的检测方法，其特征在于，所述S24中，根据轨道区域位置对所有的轨道区域进行筛选，确定出列车所在轨道，包括以下步骤：当存在由LinepairC配对轨道线所形成的轨道区域时，该区域即为列车所在轨道；否则，按以下过程筛选列车所在轨道区域，具体过程如下：根据形心计算公式，对全部轨道区域进行筛选：计算第e个轨道区域的中心点横坐标，记为xz
e
，根据轨道线间距计算公式计算第e个轨道区域轨道线间距D
e
，根据旁轨轨道区域和列车所在轨道区域的区别和特点设计评价函数为G
e
＝0.3
×
D
e2
‑
0.7
×
(xz
e
‑
w/2)2，其中G
e
为第e个轨道区域的评价函数值，w为原道岔图像宽度；根据评价函数分别计算各轨道区域的G值，取最大的G值所对应的轨道区域作为列车所在轨道区域。7.根据权利要求2所述的单开道岔状态检测系统的检测方法，其特征在于，所述S3中，构建轨道道岔状态判别模块，包括以下步骤...

【专利技术属性】
技术研发人员：张素民，白日，何睿，李阔，王鑫海，
申请(专利权)人：吉林大学，
类型：发明
国别省市：