一种基于全局信息的扶梯场景中乘客行为检测方法及装置制造方法及图纸

本发明专利技术公开了一种基于全局信息的扶梯场景中乘客行为检测方法及装置，涉及安全监控技术领域。所述方法包括：通过创建目标检测模型，以标注图像数据集作为卷积神经网络输入提取图像高级语义特征，并通过多层卷积注意力模块保留特征图之间的空间关系；将高级语义特征图作为坐标注意力模块的输入，建模特征图的远程依赖关系；通过多尺度特征融合输出预测图像，即可获得训练好的全局信息的扶梯场景中乘客行为检测模型。本发明专利技术通过坐标注意力和多层卷积注意力模块的结合反应感兴趣处的信息和位置，增强网络对被遮挡目标的部分身体信息的识别能力，构建被遮挡目标与遮挡目标位置信息的远程依赖，缓解了前景目标抑制被遮挡目标的问题，提高了检测精确度。提高了检测精确度。提高了检测精确度。

【技术实现步骤摘要】
一种基于全局信息的扶梯场景中乘客行为检测方法及装置


[0001]本专利技术涉及安全监控
，特别涉及一种基于全局信息的扶梯场景中乘客行为检测方法及装置。

技术介绍

[0002]自动扶梯是带有循环运行梯级，用于向上或向下倾斜输送乘客的固定电力驱动设备，是公共场所中最为常见的运输行人交通工具，大量应用于商场，火车站，地铁等人流量密集的场所。自动扶梯处于一种乘客暴露在外运行情况中，很难媲美电梯所能带来的安全性，因此发生意外事故时死亡率居高不下，造成重大的社会经济损失和人员伤亡。扶梯伤人事件多为跌倒、坠落事故，以及与物体发生碰撞、挤压事故，若能快速发现行人在乘坐自动扶梯时的不安全行为，并做出及时的保护措施，则能够尽可能的降低事故危险程度，减少对乘客的二次伤害。
[0003]电动扶梯在运行时传送带移动平面彼此折叠，形成倾斜向上一个楼梯平台，这样的设计在扶梯入口或出口处的监控角度中会呈现一个角度上的乘客遮挡的情况，即前排乘客遮挡住后排的乘客大部分身体。当扶梯上乘客数量较多时，会造成监控画面中的前排乘客对后排乘客的大面积遮挡。
[0004]由此造成神经网络提取特征较为困难，在行人不安全行为检测时，对过于接近的多个目标最终生成的目标框十分靠近，重叠部分很大，因此目标框之间存在相互抑制问题，检测的结果往往较差，造成了重叠目标的误检和漏检，严重损害了检测的准确性。

技术实现思路

[0005]本专利技术要解决的技术问题，在于提供一种基于全局信息的扶梯场景中乘客行为检测方法及装置，实现对扶梯场景中存在遮挡问题的乘客行为检测的优化，提高模型对重叠目标的注意力，从全局信息获取注意力目标，提高检测的识别率和准确性。
[0006]第一方面，本专利技术提供了一种基于全局信息的扶梯场景中乘客行为检测方法，包括：
[0007]步骤10、获取扶梯中乘客不安全行为数据集，标注出数据集中不安全行为的类别以及位置，生成标注图像数据集；
[0008]步骤20、创建目标检测模型，以标注图像数据集作为目标检测模型的训练样本输入；
[0009]步骤30、在卷积神经网络的backbone部分对所述标注图像数据集逐层提取特征信息，通过缩小图像尺寸并加深图像维度，生成高维语义特征图；通过坐标注意力模块对所述高维语义特征图的水平和垂直两个方向的信息进行全局编码，对相邻像素点之间构建远程依赖关系，得到全局信息特征图；
[0010]步骤40、在卷积神经网络的neck部分通过PANet自下而上的对所述全局信息特征图上采样融合多个低维度特征图，增加每个维度上特征信息的表达，再通过多层卷积注意
力模块融合坐标注意力特征图在空间与通道上的特征信息；通过FPN自下而上的对PANet的输出特征图与多个高维特征图再次融合得到包括低维特征图、中维特征图和高维特征图的多个维度特征图；
[0011]步骤50、在卷积神经网络的head部分通过多尺度特征融合多个维度特征图再通过卷积神经网络输出基于全局信息预测的图像。
[0012]进一步地，所述步骤30中，坐标注意力模块的具体处理过程为：
[0013]对于给定输入特征图x，使用两个空间范围的池化内核(H,1)和(1,W)分别沿水平坐标和垂直坐标对每个通道进行编码；
[0014]高度h处的第c个通道的输出表示为：
[0015][0016]宽度为w的第c个通道的输出表示为：
[0017][0018]上述两个变换分别沿两个空间方向聚合特征，产生一对方向感知特征图和使得坐标注意力模块块沿一个空间方向捕获远程依赖关系，并沿另一个空间方向保留精确的位置信息。
[0019]进一步地，所述步骤40中，多层卷积注意力模块包括通道注意力M
c
(F)和空间注意力M
s
(F)；
[0020]所述通道注意力M
c
(F)利用特征的通道间关系来生成通道注意图，同时使用最大池化和平均池化聚合特征图的空间信息，然后将两个池化结果转发到共享网络MLP以生成通道注意力图，使用逐元素求和来合并输出特征向量；
[0021]所述空间注意力M
s
(F)利用特征的空间关系生成空间注意力图，编码要强调或抑制的位置，通过使用平均池化和最大池化两个池化操作聚合特征图的通道信息，生成两个二维图像，分别表示通道中的平均池化特征和最大池化特征；然后将它们连接起来并通过标准卷积层进行卷积，生成二维空间注意力图。
[0022]进一步地，所述步骤40中，FPN通过Concat方式将上一维度的特征图上采样并裁剪维度，并与下一维度的特征图在空间和维度匹配后进行拼接。
[0023]进一步地，所述步骤10还包括，对所述乘客不安全行为数据集进行Mosaic数据增强，随机选择数据集中4张图片，对其进行随机裁剪、缩放、旋转操作，以第一张输入图片尺寸的1/3
‑
3/2范围内随机选择一点作为中心点拼接，合成1张图像。
[0024]第二方面，本专利技术提供了一种基于全局信息的扶梯场景中乘客行为检测装置，包括：训练样本处理模块、模型创建模块、第一处理模块、第二处理模块以及第三处理模块；
[0025]所述训练样本处理模块，用于获取扶梯中乘客不安全行为数据集，标注出数据集中不安全行为的类别以及位置，生成标注图像数据集；
[0026]所述模型创建模块，用于创建目标检测模型，以标注图像数据集作为目标检测模型的训练样本输入；
[0027]所述第一处理模块，用于在卷积神经网络的backbone部分对所述标注图像数据集逐层提取特征信息，通过缩小图像尺寸并加深图像维度，生成高维语义特征图；通过坐标注
意力模块对所述高维语义特征图的水平和垂直两个方向的信息进行全局编码，对相邻像素点之间构建远程依赖关系，得到全局信息特征图；
[0028]所述第二处理模块，用于在卷积神经网络的neck部分通过PANet自下而上的对所述全局信息特征图上采样融合多个低维度特征图，增加每个维度上特征信息的表达，再通过多层卷积注意力模块融合坐标注意力特征图在空间与通道上的特征信息；通过FPN自下而上的对PANet的输出特征图与多个高维特征图再次融合得到包括低维特征图、中维特征图和高维特征图的多个维度特征图；
[0029]所述第三处理模块，在卷积神经网络的head部分通过多尺度特征融合多个维度特征图再通过卷积神经网络输出基于全局信息预测的图像。
[0030]进一步地，所述第一处理模块中，坐标注意力模块的具体处理过程为：
[0031]对于给定输入特征图x，使用两个空间范围的池化内核(H,1)和(1,W)分别沿水平坐标和垂直坐标对每个通道进行编码；
[0032]高度h处的第c个通道的输出表示为：
[0033][0034]宽度为w的第c个通道的输出表示为：
[0035][0036]上述两个变换分别沿两个空间方向聚合特征，产生一对方向感知特征图和使得坐标注意力模块块沿一个空间方向捕获远程依赖关本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于全局信息的扶梯场景中乘客行为检测方法，其特征在于，包括：步骤10、获取扶梯中乘客不安全行为数据集，标注出数据集中不安全行为的类别以及位置，生成标注图像数据集；步骤20、创建目标检测模型，以标注图像数据集作为目标检测模型的训练样本输入；步骤30、在卷积神经网络的backbone部分对所述标注图像数据集逐层提取特征信息，通过缩小图像尺寸并加深图像维度，生成高维语义特征图；通过坐标注意力模块对所述高维语义特征图的水平和垂直两个方向的信息进行全局编码，对相邻像素点之间构建远程依赖关系，得到全局信息特征图；步骤40、在卷积神经网络的neck部分通过PANet自下而上的对所述全局信息特征图上采样融合多个低维度特征图，增加每个维度上特征信息的表达，再通过多层卷积注意力模块融合坐标注意力特征图在空间与通道上的特征信息；通过FPN自下而上的对PANet的输出特征图与多个高维特征图再次融合得到包括低维特征图、中维特征图和高维特征图的多个维度特征图；步骤50、在卷积神经网络的head部分通过多尺度特征融合多个维度特征图再通过卷积神经网络输出基于全局信息预测的图像。2.根据权利要求1所述的方法，其特征在于：所述步骤30中，坐标注意力模块的具体处理过程为：对于给定输入特征图x，使用两个空间范围的池化内核(H,1)和(1,W)分别沿水平坐标和垂直坐标对每个通道进行编码；高度h处的第c个通道的输出表示为：宽度为w的第c个通道的输出表示为：上述两个变换分别沿两个空间方向聚合特征，产生一对方向感知特征图和使得坐标注意力模块块沿一个空间方向捕获远程依赖关系，并沿另一个空间方向保留精确的位置信息。3.根据权利要求1所述的方法，其特征在于：所述步骤40中，多层卷积注意力模块包括通道注意力M
c
(F)和空间注意力M
s
(F)；所述通道注意力M
c
(F)利用特征的通道间关系来生成通道注意图，同时使用最大池化和平均池化聚合特征图的空间信息，然后将两个池化结果转发到共享网络MLP以生成通道注意力图，使用逐元素求和来合并输出特征向量；所述空间注意力M
s
(F)利用特征的空间关系生成空间注意力图，编码要强调或抑制的位置，通过使用平均池化和最大池化两个池化操作聚合特征图的通道信息，生成两个二维图像，分别表示通道中的平均池化特征和最大池化特征；然后将它们连接起来并通过标准卷积层进行卷积，生成二维空间注意力图。4.根据权利要求1所述的方法，其特征在于：所述步骤40中，FPN通过Concat方式将上一
维度的特征图上采样并裁剪维度，并与下一维度的特征图在空间和维度匹配后进行拼接。5.根据权利要求1所述的方法，其特征在于：所述步骤10还包括，对所述乘客不安全行为数据集进行Mosaic数据增强，随机选择数据集中4张图片，对其进行随机裁剪、缩放、旋转操作，以第一张输入图片尺寸的1/3
‑
3/2范围内随机选择一点作为中心点拼接，合成1张图像。6.一种基于全局信息的扶梯场景中乘客行为检测装置，其特征在于，包括：训练样本处...

【专利技术属性】
技术研发人员：郑力新，林志鸿，
申请(专利权)人：华侨大学，
类型：发明
国别省市：