基于多任务模型的轨道交通站台门与列车间异物检测和区域感知方法技术

本发明专利技术公开了基于多任务模型的轨道交通站台门与列车间异物检测和区域感知方法，包括：采集轨道交通站台门与列车间具有异物的图片，标注异物检测、区域分割及区域线检测真实标签供后续训练用；构建模型编码器，Backbone提取预处理后的图片的特征以供Neck模块使用，Neck提取更深入的信息供解码器使用；构建模型解码器，解码器根据更深入的信息，得到初步的异物检测、区域分割及区域线检测预测结果；构建总损失函数进行反向传播训练模型以得到模型具体参数，得到更准确的异物检测、区域分割及区域线检测预测结果，将得到的区域分割预测结果和区域线检测预测结果来调整异物检测的预测结果。该方法可检测异物的类型和位置，便于工作人员及时解决安全隐患。于工作人员及时解决安全隐患。于工作人员及时解决安全隐患。

【技术实现步骤摘要】
基于多任务模型的轨道交通站台门与列车间异物检测和区域感知方法


[0001]本专利技术涉及安全监控
，更具体地，涉及基于多任务模型的轨道交通站台门与列车间异物检测和区域感知方法。

技术介绍

[0002]目前城际铁路、高铁、轻轨等轨道交通已经普遍或开始设置站台门，然而站台门与列车之间的间隙(风险空间)常会发生一些影响安全的异物入侵事件。风险空间发生的异物入侵事件包括在站台门与列车之间的站台踏板上、防踏空胶条上和防踏空胶条与列车之间空隙上的间隙异物，站台滑动门门缝和列车门门缝所夹的异物。对于上述区域进行异物检测主要有传统的机器视觉方法和深度学习方法。传统机器视觉算法因为存在大量的超参数，在光照变化较为明显的时候，异物检测效果不稳定。而且因为传统机器视觉算法使用SVM等方法进行异物分类时候，模型本身的表达能力不强，难以对异物进行分类。然而，告知工作人员异物的种类在轨道交通运营中是非常重要的。如果在轨道交通列车门和站台门两者间的缝隙遗留手机等小异物，随着列车启动带来震动，该异物极有可能会掉落到轨行区中。如果能及时发现异物是手机等电子产品，可以马上通知司机停车并携带工具将手机取出，避免列车碾压手机产生火花从而造成重大交通事故。深度学习方法借助高性能设备对标注好的数据集进行学习，相比传统的机器视觉算法，不需要对图像进行复杂的预处理而且有更强的模型表达能力，容易实现异物定位和分类并取得更高的检测精度。但是主流的深度学习方法是对图像的全部区域进行异物检测，而光照等外界干扰极易在门窗等非关键区域产生异物倒影，从而导致一定的误检。为了排除异物倒影干扰，提出了一种多任务深度学习模型完成异物检测、区域分割和区域线检测三个任务，并且借助异物存在于特定的区域而且会打断区域线的场景特性，将分割结果和异物检测任务进行融合从而排除门窗等非关键区域的干扰，进一步地提升异物检测的精度。

技术实现思路

[0003]本专利技术为克服上述现有技术轨道交通站台门与列车间异物自动检测方法存在难以预测异物的类型、异物的位置的问题，提出基于多任务模型的轨道交通站台门与列车间异物检测和区域感知方法。
[0004]为解决上述技术问题，本专利技术采用的技术方案是：基于多任务模型的轨道交通站台门与列车间异物检测和区域感知方法，包括以下步骤：
[0005]S1：采集多张轨道交通站台门与列车间具有异物的图片，标注出异物检测真实标签、区域分割真实标签以及区域线检测真实标签，将各真实标签供后续训练使用；
[0006]S2：将步骤S1采集的图片进行预处理；
[0007]S3：构建模型的编码器，所述编码器包括Backbone模块和Neck模块，所述Backbone模块用于提取步骤S2预处理后的图片的特征以供Neck模块使用，Neck模块用于融合图片不
同阶段的特征信息以提取出更深入的信息供后续的解码器使用；
[0008]S4：构建模型的解码器，所述解码器分别对应异物检测、区域分割和区域线检测的任务，解码器根据步骤S3中更深入的信息，分别得到初步的异物检测预测结果、区域分割预测结果以及区域线检测预测结果；
[0009]S5：根据步骤S1中异物检测真实标签与步骤S4中初步的异物检测预测结果计算得到异物检测损失，根据步骤S1中区域分割真实标签与步骤S4中初步的区域分割预测结果计算得到区域分割损失，根据步骤S1中区域线检测真实标签与步骤S4中初步的区域线检测预测结果计算得到区域线检测损失，构建总损失函数以得到总损失，所述总损失为异物检测损失、区域分割损失和区域线检测损失的加权和；
[0010]S6：根据步骤S5计算得到的总损失进行反向传播训练模型以得到模型权重和偏置的具体值，从而在有具体权重和偏置值的模型上推断出更准确的检测头Detection输出的包含异物的预测框结果、异物检测预测结果、区域分割预测结果以及区域线检测预测结果；
[0011]S7：根据步骤S6中得到的区域分割预测结果和区域线检测预测结果来调整异物检测的预测结果，该过程称为结果融合。
[0012]优选地，在所述步骤S3中，Backbone模块的处理包括以下步骤：
[0013]S31：将步骤S2预处理后且大小为W
×
H
×
3的图片通过Focus模块转换为大小为W
×
H
×
32的特征图F1；
[0014]S32：将特征图F1经过CSP模块得到高维特征图F
11
，特征图F
11
再经过两层CSP模块依次得到高维特征图F
12
、F
13
，同时在最后一层标准卷积加上Convolutional Block Attention Module，特征图F
13
经过该卷积后得到新的特征图F3以使得Neck模块可以更关注异物在图片中的位置信息。
[0015]优选地，在所述步骤S3中，Neck模块的处理包括以下步骤：
[0016]S33：利用YOLOV3
‑
SPP中的Spatial Pyramid Pooling模块，对特征图F3使用多种池化方式提取出融合了多种感受野带来的信息的特征图F4；
[0017]S34：再利用FeaturePyramidNetworks自顶向下的将步骤S33提取到的特征图F4通过两次上采样依次和步骤S32得到的高维特征图F
12
和F
13
融合得到能够传达强语义信息的特征图F5。
[0018]优选地，在所述步骤S33中，多种池化方式包括1
×
1，5
×
5，9
×
9和13
×
13四种池化。
[0019]优选地，在所述步骤S4中，所述解码器有三个，分别对应于异物检测、区域分割和区域线检测这三个任务，其中异物检测任务包括以下步骤：
[0020]S41：利用Path Aggregation Network结构得到三种大小的特征图F
X
，各特征图F
X
中包含了强语义和强定位信息；
[0021]S42：将三种大小的特征图F
X
输入到检测头Detection中进行预测，特征图F
X
的每个网格有三种尺度大小的先验框，每种先验框会得到三个预测框；
[0022]S43：利用Non
‑
Maximum Suppression去除大量多余的预测框，剩余的预测框就是模型输出的异物检测预测结果，该异物检测预测结果包含了异物的置信度概率值、类别概率值和边框位置信息。
[0023]优选地，在所述步骤S4中，区域分割和区域线检测这两个任务利用相同的模型，将
特征图F5进行两次上采样得到W
×
H
×
2的特征图，该W
×
H
×
2的特征图就是区域分割预测结果和区域线检测预测结果，该特本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于多任务模型的轨道交通站台门与列车间异物检测和区域感知方法，其特征在于，包括以下步骤：S1：采集多张轨道交通站台门与列车间具有异物的图片，标注出异物检测真实标签、区域分割真实标签以及区域线检测真实标签，将各真实标签供后续训练使用；S2：将步骤S1采集的图片进行预处理；S3：构建模型的编码器，所述编码器包括Backbone模块和Neck模块，所述Backbone模块用于提取步骤S2预处理后的图片的特征以供Neck模块使用，Neck模块用于融合图片不同阶段的特征信息以提取出更深入的信息供后续的解码器使用；S4：构建模型的解码器，所述解码器分别对应异物检测、区域分割和区域线检测的任务，解码器根据步骤S3中更深入的信息，分别得到初步的异物检测预测结果、区域分割预测结果以及区域线检测预测结果；S5：根据步骤S1中异物检测真实标签与步骤S4中初步的异物检测预测结果计算得到异物检测损失，根据步骤S1中区域分割真实标签与步骤S4中初步的区域分割预测结果计算得到区域分割损失，根据步骤S1中区域线检测真实标签与步骤S4中初步的区域线检测预测结果计算得到区域线检测损失，构建总损失函数以得到总损失，所述总损失为异物检测损失、区域分割损失和区域线检测损失的加权和；S6：根据步骤S5计算得到的总损失进行反向传播训练模型以得到模型权重和偏置的具体值，从而在有具体权重和偏置值的模型上推断出更准确的检测头Detection输出的包含异物的预测框结果、异物检测预测结果、区域分割预测结果以及区域线检测预测结果；S7：根据步骤S6中得到的区域分割预测结果和区域线检测预测结果来调整异物检测的预测结果，该过程称为结果融合。2.根据权利要求1所述的基于多任务模型的轨道交通站台门与列车间异物检测和区域感知方法，其特征在于，在所述步骤S3中，Backbone模块的处理包括以下步骤：S31：将步骤S2预处理后且大小为W
×
H
×
3的图片通过Focus模块转换为大小为W
×
H
×
32的特征图F1；S32：将特征图F1经过CSP模块得到高维特征图F
11
，特征图F
11
再经过两层CSP模块依次得到高维特征图F
12
、F
13
，同时在最后一层标准卷积加上Convolutional Block Attention Module，特征图F
13
经过该卷积后得到新的特征图F3以使得Neck模块可以更关注异物在图片中的位置信息。3.根据权利要求2所述的基于多任务模型的轨道交通站台门与列车间异物检测和区域感知方法，其特征在于，在所述步骤S3中，Neck模块的处理包括以下步骤：S33：利用YOLOV3
‑
SPP中的Spatial Pyramid Pooling模块，对特征图F3使用多种池化方式提取出融合了多种感受野带来的信息的特征图F4；S34：再利用FeaturePyramidNetworks自顶向下的将步骤S33提取到的特征图F4通过两次上采样依次和步骤S32得到的高维特征图F
12
和F
13
融合得到能够传达强语义信息的特征图F5。4.根据权利要求3所述的基于多任务模型的轨道交通站台门与列车间异物检测和区域感知方法，其特征在于，在所述步骤S33中，多种池化方式包括1
×
1，5
×
5，9
×
9和13
×
13四种池化。
5.根据权利要求3所述的基于多任务模型的轨道交通站台门与列车间异物检测和区域感知方法，其特征在于，在所述步骤S4中，所述解码器有三个，分别对应于异物检测、区域分割和区域线检测这三个任务，其中异物检测任务包括以下步骤：S41：利用Path Aggregation Network结构得...

【专利技术属性】
技术研发人员：陈正贵，汪良，毛良，黄德东，刘伟铭，刘一霄，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：