一种YOLOv3铁路关键作业流程自动鉴别方法与系统技术方案

本发明专利技术涉及计算机视觉领域,尤其是一种YOLOv3铁路关键作业流程自动鉴别方法与系统，包括：通过人工作业时的视频以及得到的包含列车中关键特征的图像信息；对YOLOv3网络进行预训练，将图像输入darknet53，通过残差网络Residual，将主干的输入与输出结合，进行特征提取，通过下采样操作，获取特征图并利用多尺度模块将特征图划分为低频和高频特征图，通过池化层压缩低频特征图，减少分量冗余。本发明专利技术优化列车安全检查中关键点的识别，提升传统部分对列车安全检查中小目标的关键特征的精度，去除冗余分量，解决人工审查难度大的问题，形成人工作业视频分析全覆盖的目的。成人工作业视频分析全覆盖的目的。成人工作业视频分析全覆盖的目的。

An automatic identification method and system for key operation processes of yolov3 Railway

【技术实现步骤摘要】
一种YOLOv3铁路关键作业流程自动鉴别方法与系统


[0001]本专利技术涉及计算机视觉领域，特别在是一种结合目标检测和目标识别的改进YOLOv3网络结构的铁路关键作业流程自动鉴别的方法与系统。

技术介绍

[0002]YOLOv3网络由三部分组成，分别是darknet53构成主干部分，FPN构成加强特征提取网络，YOLO_Head构成特征融合网络，利用卷积方式对目标特征进行多尺度融合，相比传统的机器学习领域，YOLOv3在目标检测领域对物体的检测精度和检测速度方面进行了提升，但对于较小的物体和关键特征的识别精度仍无法满足列车安全检查中的要求。
[0003][0004]基于此类情况，提出一种YOLOv3铁路关键作业流程自动鉴别方法是有必要的。对于改进的YOLOv3网络，主要是在网络结构、检测分支等角度进行优化和扩展，提高列车安全检查中小目标的关键特征的精度。
[0005]专利技术专利CN113706815A中采用的YOLOv3网络模型对数据集进行训练，结合光流法实现了火灾识别，但对于微型火焰识别精度不够，没有对YOLO_Head模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种YOLOv3铁路关键作业流程自动鉴别方法,其特征在于包括如下步骤，步骤1：通过人工作业视频，对包含关键点的部分进行逐帧提取，获得铁路作业流程中的关键特征的图像信息；步骤2：基于步骤1所述的图像，标注图像内关键特征的矩形包围框，获取矩形包围框在原图像的位置、宽高和类别信息，并生成对应的标签存储信息，搭建数据集；步骤3：基于步骤2所述的数据集，将图像输入darknet53网络，利用残差网络Residual使主干的输入与输出结合，进行特征提取，通过下采样操作，获取特征图并利用YOLO_Head模块将特征图划分为低频和高频特征图，通过池化层使低频特征图压缩，减少分量冗余，传入特征提取网络；步骤4：基于步骤3所述的YOLOv3网络，将所述的YOLOv3网络进行改进，过渡层替换成1
×
1和3
×
3/2的卷积层并交替使用，然后扩展多尺度YOLO_Head模块，将原有的3个YOLO_Head模块扩展为4个，增添104
×
104的YOLO_Head模块；步骤5：基于步骤3所述的darknet53网络，将扩展后的四个有效特征层在加强特征网络FPN中进行特征融合，同时对原有的3个YOLO_Head模块进行上采样，添加输出为52
×
52的上采样过程，并实现和104
×
104特征层级联，结合不同尺度的特征信息，从而获取加强过的有效特征层；步骤6：基于步骤5所述的加强过的有效特征层，传入分类器与回归器，预测特征点对应物体的情况，通过梯度下降法计算关键点对应的置信度损失、类别损失以及位置损失；步骤7：基于步骤4所述的改进的YOLOv3网络，进行冻结以及解冻训练，输入图像大小为416
×
416，在改进的残差网络中提取关键特征，采用原有的3种卷积特征层和新增添的卷积特征层预测目标坐标和位置，保存每个epoch的结果以及tensorboard的结果，输出最终的模型权重；步骤8：基于步骤7所述的模型权重，利用损失值最低的权重文件对作业流程进行分析，判断视频中是否包含了列车中关键点的检查，降低人工检查成本，提高作业视频分析速度，达到作业视频分析全覆盖，从而形成完整的闭环工作的目的。2.根据权利要求1所述的一种YOLOv3铁路关键作业流程自动鉴别方法，其特征在于,步骤2中，首先会将图像转换成RGB形式，进行不失真的尺寸调整；其次对输入的图像进行归一化，并添加batch_size维度；最后采用k
‑
means聚类方法，对归一化的图像宽高进行聚类，获取先验框的宽高。3.根据权利要求1所述的一种YOLOv3铁路关键作业流程自动鉴别方法，其特征在于,步骤3中，初始化YOLOv3网络中的参数，其中，YOLOv3网络中的参数有冻结阶段迭代次数Freeze epoch、冻结阶段学习率Freeze lr、冻结阶段输入图像数量Freeze_batch_size、解冻阶段迭代次数Unfreeze epoch、解冻阶段学习率Unfreeze lr、解冻阶段图像输入数量Unfreeze_batch_size；对冻结阶段迭代训练次数进行设置，并进行迭代训练计算；其中，第一次进行迭代训练时Freeze epoch=1；判断当前训练次数是否小于解冻阶段迭代训练次数；若所述当前训练次数小于所述解冻阶段迭代训练次数，利用多尺度模块将特征图划分为低频和高频特征图；若所述当前训练次数不小于所述解冻阶段迭代训练次数，则结束迭代训练。4.根据权利要求1所述的一种YOLOv3铁路关键作业流程自动鉴别方法,其特征在于，
步骤4中，对于YOLOv3网络进行改进时，删除了YOLOv3检测层前的两组卷积层，为预防下采样过程中特征信息的丢失，过渡层将1
×
1和3
×
3/2的卷积层交替使用，然后扩展多尺度检测YOLO_Head...

【专利技术属性】
技术研发人员：李军，张志晨，王昱凯，高鹤，郑学汉，付文文，吴保航，王靖晗，杨天赐，
申请(专利权)人：山东正晨科技股份有限公司，
类型：发明
国别省市：