一种电梯挡门行为识别方法技术

本发明专利技术公开了一种电梯挡门行为识别方法，针对电梯内强制遮挡电梯门这一常见的不良行为，搭建BN

【技术实现步骤摘要】
一种电梯挡门行为识别方法


[0001]本专利技术属于行为识别领域，涉及一种电梯挡门行为识别方法。

技术介绍

[0002]如今轿厢式电梯内不良行为的发生很频繁，一些不安全行为容易导致电梯故障，甚至引发事故。为了及时发现电梯内一些不良行为和突发事故，大部分电梯轿厢内安装了监控摄像头，但传统视频监控系统需要人为对监控视频进行实时监视，容易误判和漏判。此外，还有一些场所使用基于计算机视觉的人工智能算法对视频中的行为进行识别，但此类算法多单独采用3D神经网络直接对视频进行特征提取。现存方法典型做法是基于小窗口分数融合后给出分类判断，不但计算复杂，网络框架繁重，且短时间窗口无法覆盖整个视频，多个小窗口之间的时序关系并不能被最优获取，丧失了跨越数秒的行为间的重要关系。此外，如图1所示，针对电梯内挡门这一行为，其持续时间长，较远帧间行为特征有关联，因此需要网络具有长范围的特征捕捉能力。
[0003]另外，现存视频分类算法中多采用逐帧采样的方法将每一帧视频帧都输入网络，但针对挡门这一行为的特征，即动作幅度不大，帧间差距小，相邻帧大多是冗余的，若采用逐帧采样的方法将大大浪费神经网络的计算力，严重影响神经网络的处理速度，对本地服务器或者云端服务器的内存也有很高的要求，特别是在实际应用场景中，单单一个小型社区就会存在数十台监控视频同时进行监控时，逐帧采样的方法对服务器端的数量要求以及单台服务器计算力的配置要求都会很高，同时长时间运行所产生的耗电及维保等运营成本也会很高。

技术实现思路

[0004]本专利技术目的是：提供一种电梯内挡门行为的识别方法，使用2D与3D神经网络融合的算法网络并加入长时序特征捕获注意力机制，对电梯监控视频内挡门行为进行识别，实现无需人为操作，便可准确识别遮挡电梯门行为的效果。
[0005]本专利技术的技术方案是：一种电梯挡门行为识别方法，所述电梯挡门行为识别方法包括：
[0006]S1：对电梯监控视频进行数据采集和筛选，得到包含挡门和不挡门两类行为的视频段，再通过抽帧制作成包含这两类行为的视频数据集；
[0007]S2：构建网络输入端，通过输入端对输入的视频段进行等份分割，在分割的每一段中进行随机抽帧，再对抽得各帧进行比较筛选，抛弃其中信息冗余帧；
[0008]S3：构建网络主体，将2D神经网络BN-Inception与3D神经网络3D-ResNet进行剪枝融合，保留BN-Inception神经网络中Inception-3c层之前的网络层，和3D-ResNet神经网络中的前18层，将2D神经网络提取出的特征图张量按序堆叠后，送入3D网络中进行时序特征提取；
[0009]S4：在步骤S3构建的网络主体中，在3D神经网络中的res3b和res4a层之间插入一
层长时序特征捕获的注意力机制层；
[0010]S5：采用迁移学习的方法对搭建好的网络进行训练，得到训练好的模型；
[0011]S6：将待检测的电梯监控视频作为输入送入步骤S5中训练得到的模型中，输出分类结果，并根据分类结果，来判断该视频是否出现挡门行为。
[0012]其进一步的技术方案是：步骤S1中制作视频数据集的过程包括：
[0013]S11：将包含两类行为的视频段采用隔帧抽取的方式进行抽帧，生成RGB图像序列；
[0014]S12：为每个视频段建立一个单独文件夹存放对应的抽帧所得的RGB图像序列，并将文件夹命名为该视频段的行为类别名称；
[0015]S13：将所有视频段按预设比例随机拆分成训练集和测试集，制作成数据集。
[0016]其进一步的技术方案是：步骤S2中对抽得各帧进行比较筛选的过程包括：
[0017]S21：对抽得各帧图像计算亮度梯度方向上的光流速率V(x,y)，其中，x，y为光流约束方程中像素点的坐标；
[0018]S22：根据电梯轿厢内的场景设置先验阈值L；
[0019]S23：将亮度梯度方向上光流速率小于先验阈值，即V(x,y)<L的片段认为信息冗余帧，抛弃信息冗余帧。
[0020]其进一步的技术方案是：步骤S21中光流速率V(x,y)的计算公式是：
[0021]E(x，y，t)＝E(x+dx，y+dy，t+dt)
[0022]V(x，y)＝abs(Et/sqrt(Ex*Ex+Ey*Ey))
[0023]其中，E(x，y，t)表示光流约束方程，Ex表示光流约束方程对x坐标的偏导数，Ey表示光流约束方程对y坐标的偏导数，Et表示光流约束方程对时间t的偏导数。
[0024]其进一步的技术方案是：步骤S4中注意力机制层的输入输出关系为：
[0025]其中，x
i
表示时间域中第i点在res3b层的输出张量，x
j
表示遍历时间域中所有点的输出张量，W
g
、和W
μ
均为线性权重系数。
[0026]其进一步的技术方案是：步骤S5中采用迁移学习的方法对搭建好的网络进行训练的过程包括：
[0027]S51：在步骤S1制作的视频数据集中，加入公共视频数据集UCF101中的m类行为视频，生成共包含m+2类行为的数据集；
[0028]S52：训练前设置网络对输入视频段的分割段数，即参数中的segments；
[0029]S53：设置学习率和迭代次数后，开始训练。
[0030]本专利技术的优点是：
[0031]通过使用BN-Inception神经网络和3D-ResNet神经网络融合的方法，并结合长时序特征捕获注意力机制；首先采用自适应的帧采样策略构建网络输入端，抛弃多数冗余帧，提高了网络的计算速度；然后搭建BN-Inception网络与3D-ResNet网络剪枝融合的神经网络，两段分别对单帧图片的静态特征和整个视频时序特征进行学习，该结构中2D网络高效处理单帧，计算量小，且能给出较好的行为初始化分类特征图，随后3D网络捕获较远帧间的时序特征，覆盖整个视频，包括跨越数秒的帧间关系。在3D网络中加入一层长时序特征捕获注意力机制，增强了网络的长距离特征捕获能力，提高了算法网络的识别准确率。经检验，
该方法对电梯内挡门行为的识别准确率达到94.5％，实现了对电梯监控视频中遮挡电梯门行为的准确识别，能够代替人工进行智能监视，对于电梯的安全运行和管理维护有着重要意义。
附图说明
[0032]下面结合附图及实施例对本专利技术作进一步描述：
[0033]图1是电梯挡门行为的示意图；
[0034]图2是本申请提供的电梯挡门行为识别方法的流程图。
具体实施方式
[0035]实施例：高层建筑为方便人们出行，通常设置有电梯，对于电梯的不规范使用包括图1中示出的挡门行为，容易造成安全隐患，针对电梯内强制遮挡电梯门的不良行为，本申请提供了一种电梯挡门行为识别方法，结合参考图2，该电梯挡门行为识别方法包括以下步骤。
[0036]S1：对电梯监控视频进行数据采集和本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种电梯挡门行为识别方法，其特征在于，所述电梯挡门行为识别方法包括：S1：对电梯监控视频进行数据采集和筛选，得到包含挡门和不挡门两类行为的视频段，再通过抽帧制作成包含这两类行为的视频数据集；S2：构建网络输入端，通过输入端对输入的视频段进行等份分割，在分割的每一段中进行随机抽帧，再对抽得各帧进行比较筛选，抛弃其中信息冗余帧；S3：构建网络主体，将2D神经网络BN-Inception与3D神经网络3D-ResNet进行剪枝融合，保留BN-Inception神经网络中Inception-3c层之前的网络层，和3D-ResNet神经网络中的前18层，将2D神经网络提取出的特征图张量按序堆叠后，送入3D网络中进行时序特征提取；S4：在步骤S3构建的网络主体中，在3D神经网络中的res3b和res4a层之间插入一层长时序特征捕获的注意力机制层；S5：采用迁移学习的方法对搭建好的网络进行训练，得到训练好的模型；S6：将待检测的电梯监控视频作为输入送入步骤S5中训练得到的模型中，输出分类结果，并根据分类结果，来判断该视频是否出现挡门行为。2.根据权利要求1所述的电梯挡门行为识别方法，其特征在于，步骤S1中制作视频数据集的过程包括：S11：将包含两类行为的视频段采用隔帧抽取的方式进行抽帧，生成RGB图像序列；S12：为每个视频段建立一个单独文件夹存放对应的抽帧所得的RGB图像序列，并将文件夹命名为该视频段的行为类别名称；S13：将所有视频段按预设比例随机拆分成训练集和测试集，制作成数据集。3.根据权利要求1所述的电梯挡门行为识别方法，其特征在于，步骤S2中对抽得各帧进行...

【专利技术属性】
技术研发人员：牛丹，梁莎莎，丁力，陈夕松，孙长银，唐志荣，钱国华，朱孝慈，
申请(专利权)人：江阴市智行工控科技有限公司东南大学，
类型：发明
国别省市：