一种实时在线检测锚固螺栓缺陷的方法技术

本发明专利技术公开了种实时在线检测锚固螺栓缺陷的方法，包括图像采集与合并，得到合并图集；标记合并图样本集中扣件的区域，并所有标记图像送入到yolov3网络中进行训练，得到yolov3的网络权重；获取待检测合并图像，将待检测的合并图送入yolov3的深度学习网络中，预测出每个扣件在对应图像中的位置；根据每个扣件在对应图像中的位置，在扣件所在位置截取扣件图像，随机选取出n张作为孔洞检测样本集，余下的作为待检测图集；标记扣件图像中的扣件部件，并将n张扣件图像放入yolov3网络中训练，得到yolov3的目标检测网络权重；将待检测的待检测图集的图像输入yolov3目标检测网络中，预测出孔洞的位置；截取孔洞的图像，经过inceptionV3分类，若为孔洞，则为螺栓缺失的缺陷。则为螺栓缺失的缺陷。则为螺栓缺失的缺陷。

【技术实现步骤摘要】
一种实时在线检测锚固螺栓缺陷的方法


[0001]本专利技术涉及轨道交通图像处理领域，具体是一种实时在线检测锚固螺栓缺陷的方法。

技术介绍

[0002]锚固螺栓作为轨道连接部件非常重要的联结件，在保证轨道安全起到重要作用，是轨道维护作业中的重点维护对象，但是锚固螺栓数量极多，与扣件相比外形较小，在人工维护过程中，容易被忽略，这无疑增加了对锚固螺栓维护的难度。而在目前为止，国内的对轨道的巡检系统也是采用离线检测的方式，所以急需能够在线实时检测锚固螺栓缺陷的方法。

技术实现思路

[0003]本专利技术的目的在于克服现有技术的不足，提供一种实时在线检测锚固螺栓缺陷的方法，包括如下过程：
[0004]步骤一，将采集到的图像按照行方向将图像合并为一张图像，得到合并图集；
[0005]步骤二，获取并记录合并图中扣件的坐标(x,y)以及扣件的宽和高(w,h)，并将合并图集以及合并图中扣件的坐标(x,y)以及扣件的宽和高(w,h)信息输入到yolov3网络中进行训练，得到yolov3的网络权重一；
[0006]步骤三，获取待检测合并图像，根据网络权重一，将待检测的合并图送入yolov3的深度学习网络中，预测出每个扣件在对应图像中的坐标(x,y)以及宽高(w,h)；
[0007]步骤四，将图像中坐标为(x,y)，宽和高为(w,h)的ROI区域保存为图像，并随机选取出n张作为孔洞检测样本集，余下的作为待检测图集；
[0008]步骤五，记录孔洞检测样本集中图像的孔洞的坐标(x,y)以及孔洞的宽高(w,h)，并将n张图像以及对应图像中的孔洞的坐标(x,y)以及孔洞的宽高(w,h)输入yolov3网络中训练，得到yolov3的目标检测网络权重二；
[0009]步骤六，根据网络权重二，将待检测图集的图像输入yolov3目标检测网络中，预测出孔洞的位置；
[0010]步骤七，截取孔洞的图像，经过Inception分类，若为孔洞，则为螺栓缺失的缺陷。
[0011]进一步的，所述的图像采集与合并，将采集到的图像按照行方向将图像合并为一张图像，得到合并图集，具体为，采集的图像为沿着轨道分别获取左右轨道的内侧和外侧图像，按照行方向将左右轨道的内侧和外侧图像合并为一张图像。
[0012]进一步的，所述的获取待检测合并图像为沿着轨道重新分别获取左右轨道的内侧和外侧图像，并沿行方向进行合并得到的合并图。
[0013]进一步的，所述的获取待检测合并图像，将待检测的合并图送入yolov3的深度学习网络中，预测出每个扣件在对应图像中的坐标(x,y)以及每个扣件的宽高(w,h)，其中的w为扣件的宽，所述的h为扣件的高。
[0014]进一步的，所述的将图像中坐标为(x,y)，宽和高为(w,h)的ROI区域保存为图片，并随机选取出n张作为孔洞检测样本集，余下的作为待检测图集，具体为，所有待检测合并图像均保存出ROI区域图片，得到图片合集，从图片合集中按照设定的提取比例，随机选取出n张图片作为孔洞检测样本集。
[0015]本专利技术的有益效果是：使用本专利技术的检测方法能够精确的、实时的检测锚固螺栓缺失的缺陷。
附图说明
[0016]图1为一种实时在线检测锚固螺栓缺陷的方法的流程图；
[0017]图2为检测过程示意图；
[0018]图3为图像合并的示意图。
具体实施方式
[0019]下面结合附图进一步详细描述本专利技术的技术方案，但本专利技术的保护范围不局限于以下所述。
[0020]如图1所示，一种实时在线检测锚固螺栓缺陷的方法，包括如下过程：
[0021]步骤一，将采集到的图像按照行方向将图像合并为一张图像，得到合并图集；
[0022]步骤二，获取并记录合并图中扣件的坐标(x,y)以及扣件的宽和高(w,h)，并将合并图集以及合并图中扣件的坐标(x,y)以及扣件的宽和高(w,h)信息输入到yolov3网络中进行训练，得到yolov3的网络权重一；
[0023]步骤三，获取待检测合并图像，根据网络权重一，将待检测的合并图送入yolov3的深度学习网络中，预测出每个扣件在对应图像中的坐标(x,y)以及宽高(w,h)；
[0024]步骤四，将图像中坐标为(x,y)，宽和高为(w,h)的ROI区域保存为图像，并随机选取出n张作为孔洞检测样本集，余下的作为待检测图集；
[0025]步骤五，记录孔洞检测样本集中图像的孔洞的坐标(x,y)以及孔洞的宽高(w,h)，并将n张图像以及对应图像中的孔洞的坐标(x,y)以及孔洞的宽高(w,h)输入yolov3网络中训练，得到yolov3的目标检测网络权重二；
[0026]步骤六，根据网络权重二，将待检测图集的图像输入yolov3目标检测网络中，预测出孔洞的位置；
[0027]步骤七，截取孔洞的图像，经过Inception分类，若为孔洞，则为螺栓缺失的缺陷。
[0028]所述的图像采集与合并，将采集到的图像按照行方向将图像合并为一张图像，得到合并图集，具体为，采集的图像为沿着轨道分别获取左右轨道的内侧和外侧图像，按照行方向将左右轨道的内侧和外侧图像合并为一张图像。
[0029]所述的获取待检测合并图像为沿着轨道重新分别获取左右轨道的内侧和外侧图像，并沿行方向进行合并得到的合并图。
[0030]所述的获取待检测合并图像，将待检测的合并图送入yolov3的深度学习网络中，预测出每个扣件在对应图像中的坐标(x,y)以及每个扣件的宽高(w,h)，其中的w为扣件的宽，所述的h为扣件的高。
[0031]所述的将图像中坐标为(x,y)，宽和高为(w,h)的ROI区域保存为图片，并随机选取
出n张作为孔洞检测样本集，余下的作为待检测图集，具体为，所有待检测合并图像均保存出ROI区域图片，得到图片合集，从图片合集中按照设定的提取比例，随机选取出n张图片作为孔洞检测样本集。
[0032]具体的，本方案的主要检测思路：锚固螺栓缺失以后，在图像会表现出一个孔洞的形式，而孔洞的形态与锚固螺栓的外形相差较大。所以采取直接检测孔洞的方式确定锚固螺栓的缺陷。
[0033]1、采用图像合并的方法，减少检测的任务量。
[0034]2、使用先进行扣件区域定位，再细节检测的级联方式实现对孔洞的精确检测。
[0035]3、最终使用分类器直接对孔洞分类，若为分类器则直接为锚固螺栓缺失。
[0036]具体步骤：
[0037]1、图像的合并：取4张图像按照行方向将图像合并成一张图像
[0038]2、选取1000张合并图作为样本集
[0039]3、标记合并图样本集中扣件的区域。并所有标记图像其送入到yolov3网络中进行训练，得到yolov3的网络权重，
[0040]4、将待检测的合并图送入yolov3的深度学习网络中，预测出每个扣件在图像中的具体位置。
[0041]5、在扣件所在位置截取400*400的图像，筛选出本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时在线检测锚固螺栓缺陷的方法，其特征在于，包括如下过程：步骤一，将采集到的图像按照行方向将图像合并为一张图像，得到合并图集；步骤二，获取并记录合并图中扣件的坐标(x,y)以及扣件的宽和高(w,h)，并将合并图集以及合并图中扣件的坐标(x,y)以及扣件的宽和高(w,h)信息输入到yolov3网络中进行训练，得到yolov3的网络权重一；步骤三，获取待检测合并图像，根据网络权重一，将待检测的合并图送入yolov3的深度学习网络中，预测出每个扣件在对应图像中的坐标(x,y)以及宽高(w,h)；步骤四，将图像中坐标为(x,y)，宽和高为(w,h)的ROI区域保存为图像，并随机选取出n张作为孔洞检测样本集，余下的作为待检测图集；步骤五，记录孔洞检测样本集中图像的孔洞的坐标(x,y)以及孔洞的宽高(w,h)，并将n张图像以及对应图像中的孔洞的坐标(x,y)以及孔洞的宽高(w,h)输入yolov3网络中训练，得到yolov3的目标检测网络权重二；步骤六，根据网络权重二，将待检测图集的图像输入yolov3目标检测网络中，预测出孔洞的位置；步骤七，截取孔洞的图像，经过Inception分类，若为孔洞，则为螺栓缺失的缺陷。2.根据权利要...

【专利技术属性】
技术研发人员：范国海，胡文锐，徐绍伟，张桃桃，
申请(专利权)人：成都国铁电气设备有限公司，
类型：发明
国别省市：