【技术实现步骤摘要】
基于监控视频的空中交通管制员不安全行为分类方法
[0001]本专利技术属于计算机视觉领域，具体是指一种基于目标检测和双域混合注意力池化网络的基于监控视频的空中交通管制员不安全行为分类方法。
技术介绍
[0002]随着科学技术的发展，航空业以其安全，快捷的特点在交通领域发挥越来越重要的作用。其中，空中交通管制员(以下简称为“管制员”)是航空运输体系的重要参与人员，主要负责维护空中交通运行秩序，保障航空运输体系的运行安全。鉴于管制员在航空运输体系中的重要地位，要求其在工作期间保持精神高度集中，并且管制员的工作制度为昼夜轮班，导致管制员易处于疲劳状态。为了保障飞行安全，遏制不安全事件的发生，鉴于管制员工作的重要性、特殊性，需要密切关注其行为的规范和要求，严格防止出现与规范要求不相符的不安全行为。目前，对管制员的不安全行为检测主要利用监控视频，采用人工巡查方式进行识别。人工巡查需要对监控录像进行回放、人工识别和审核，增加了额外的劳动成本，使得管制员视频监控系统没有得到充分利用和发挥有效作用。因此，基于视频监控数据，研究可以高效、精准...
【技术保护点】
【技术特征摘要】
1.一种基于监控视频的空中交通管制员不安全行为分类方法，其特征在于：所述方法包括如下步骤：S1获取数据集：采集空中交通管制员工作监控视频，对视频图像进行预处理，形成数据集；S2数据集处理：将数据集输入至目标检测层，目标检测层定位每一个管制员在图像中的位置坐标，同时将每一个管制员目标从原图像中裁剪出来，作为后续分类模型的输入；S3分类模型搭建：搭建双线性池化网络，使用主干网络EfficentNetV2对数据集中的图像进行分类处理，输出特征图F；S4将管制员不安全行为分类作为细粒度图像分类，在双线性池化网络的基础上，针对图像局部分类特征不明显的特点，设计双域混合注意力机制：首先将所述特征图F输入至通道域注意力机制得到通道域注意力机制加权特征图F
c
，再将所述通道域注意力机制加权特征图F
c
输入至空间域注意力机制得到空间域注意力机制加权特征图F
s
；S5采用交叉熵作为损失函数，使用Pytorch深度学习框架对搭建的网络模型进行训练；S6针对数据集，基于双域混合注意力机制的双线性池化网络生成预测pth文件，进行指标评估，指标评估达到设定值则训练完成，将待检测视频图像输入至基于双域混合注意力机制的双线性池化网络模型得到分类结果。2.根据权利要求1所述的基于监控视频的空中交通管制员不安全行为分类方法，其特征在于：步骤S4中通道域注意力机制的处理过程为：401)使用全局最大池化和全局平均池化并行处理输入特征图F，得到最大池化特征F
GMP
∈R
C
×1×1和平均池化特征F
GAP
∈R
C
×1×1：F
GMP
＝GMP(F),F
GAP
＝GAP(F)
ꢀꢀꢀꢀ
(4)其中GMP()表示全局最大池化，GAP()表示全局平均池化；402)将全局最大池化、全局平均池化特征图输入共享权重的多层感知机MLP进行缩放映射学习后，得到通道域特征C1∈R
C
×1×1、C2∈R
C
×1×1：C1＝f
′
(f(F
GMP
)),C2＝f
′
(f(F
GAP
))
ꢀꢀꢀꢀ
(5)其中，f
′
(f(
·
))表示全连接层的缩放映射学习；403)对全局最大池化、全局平均池化特征并行处理，其中一路通过特征元素拼接，将C1和C2进行融合，再经过全连接层做线性映射处理，另一路通过特征元素相加，将C1和C2进行融合，最后，再将两者以特征元素相加的方式融合并进行Sigmod归一化，此时得到通道域注意力权重向量M
c
∈R
C
×1×1：其中，Sigmoid表示激活函数，表示特征元素相加，concat表示特征拼接，FC表示全连接操作；404)将通道域注意力权重向量M
c
和输入特征图F进行矩阵点乘运算，最终得到与原始输入特征图F尺寸相同的通道域注意力加权特征图F
c
其中，表示矩阵点乘运算。3.根据权利要求1所述的基于监控视频的空中交通管制员不安全行为分类方法，其特
征在于：步骤S4中空间域注意力机制的处理过程为：405)采用与通道域相同的全局最大池化和全局平均池化并行处理输入的通道域加权特征图F
c
∈R
C
×
W
×
H
，生成最大池化特征F
G
′
MP
∈R
C
×1×1和平均池化特征F
G
′
AP
∈R
C
×1×1：F
G
′
MP
＝GMP(F
c
),F
G
′
AP
＝GAP(F
c
)
ꢀꢀꢀꢀ
(8)406)并行处理最大池化特征F
G
′
MP
和平均池化特征F
G
′
AP
，其中一路沿通道方向将F
G
′
MP
和F
G
′
AP
拼接融合,得到特征图M1∈R2...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。