一种基于视频监控的手扶电梯乘客行为识别方法技术

本发明专利技术公开了一种基于视频监控的手扶电梯乘客行为识别方法，包括步骤：1)使用关键点提取方法对手扶电梯行为数据集进行骨架提取，并打上标签；2)将提取的骨架划分训练集和验证集；3)搭建合适的图卷积神经网络；4)使用数据集对图卷积神经网络进行训练，并保存最佳的网络模型；5)对手扶电梯场景的图像使用关键点提取方法进行人体关键点提取，并使用行人跟踪方法对行人进行跟踪，得到每个乘客在不同帧的骨架坐标及其置信度；6)将每一帧中的所有乘客的骨架坐标及其置信度输入到训练好的最佳模型中进行行为分类；7)对同一个乘客的行为序列，使用滑动窗统计的方法对其进行滤波，决策出最后的行为。本发明专利技术可有效实现对手扶电梯监控视频的行为识别。

【技术实现步骤摘要】
一种基于视频监控的手扶电梯乘客行为识别方法
本专利技术涉及手扶电梯视频监控和行为识别的
，尤其是指一种基于视频监控的手扶电梯乘客行为识别方法。
技术介绍
手扶电梯通常安装在城市人流量密集的重要场合，给市民出行带来便利。但由于乘客搭乘手扶电梯时安全防范意识不够，导致手扶电梯上的安全事故层出不穷。因此，通过对手扶电梯的监控视频进行算法分析，从而自动检测出乘客搭乘手扶电梯时的异常行为对加强城市安全建设有重要意义。随着计算机的计算性能逐渐提高和算法研究的日益成熟，深度学习给人们的生活带来了巨大变化，其中包括视频监控领域。因此，用深度学习算法对手扶电梯监控视频进行实时有效的处理并对乘客的行为进行识别，可以乘客提供安全保障，有重要的研究和商业价值。一般来说，行人的动作可以通过多种模式识别出来，如行人表情、深度信息、光流信息以及人体骨架等。这些模式的提取方法主要包含了传统方法和深度学习方法。传统方法主要通过人工提取特征，包括人体骨架建模，光流法等。人体骨架建模通过行人轮廓计算人体重心以及各枝干顶点，并将重心和顶点构成的矢量作为特征向量来判断异常行为，但只能用于简单环境中；光流法识别行为主要步骤是使用光流特征来提取运动信息从而来定位感兴趣区域，然后使用方向梯度以及光流直方图来提取出运动特征，最后使用机器学习方法来对行为进行分类，但光流提取过程计算量较大，导致不能实时处理。而深度学习方法普遍使用循环神经网络、卷积神经网络等，卷积神经网络一般用来提取行人的行为特征，然后最后对行人的行为特征进行分类，循环神经网络用于识别行为多考虑了时间维度上的信息，可以对序列进行分类，但是这些方法都没有利用人体骨架的拓扑结构，分类准确率往往不高。综上所述，专利技术一种快速且鲁棒性高的手扶电梯乘客行为识别方法具有较高的科学研究和实际应用价值。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提出了一种基于视频监控的手扶电梯乘客行为识别方法，该方法将人体关键点作为行为识别的主要依据，将人体骨架坐标以及其置信度输入到训练好的图卷积神经网络进行行为分类，并对连续多帧的行为进行滑动窗统计，来大大提高异常行为检测的速度及适用性。为实现上述目的，本专利技术所提供的技术方案为：一种基于视频监控的手扶电梯乘客行为识别方法，包括以下步骤：1)使用关键点提取方法对手扶电梯行为数据集进行骨架提取，并打上标签；2)将提取出来的骨架划分训练集和验证集，其中训练集用来训练网络模型，验证集用来进行模型择优；3)搭建合适的图卷积神经网络，用于乘客行为分类；4)使用数据集对图卷积神经网络进行训练，并保存最佳的网络模型；5)对手扶电梯场景的图像使用关键点提取方法进行人体关键点提取，并使用已有的行人跟踪方法(如卡尔曼滤波、粒子滤波等)对行人进行跟踪，得到每个乘客在不同帧的骨架坐标及其置信度；6)应用步骤4)保留的最佳模型来实现乘客行为分类，将每一帧中的所有乘客的骨架坐标及其置信度输入到训练好的最佳模型中进行分类；7)对同一个乘客的行为序列，使用滑动窗统计的方法对其进行滤波，决策出最后的行为，实现对手扶电梯监控视频的行为识别。在步骤1)中，手扶电梯行为数据集中将乘客搭乘手扶电梯时发生的行为划分为正常站立、向前摔倒、向后摔倒、攀爬扶手带、向手扶电梯外伸头、向手扶电梯外伸手、背靠扶手带7种行为，其它行为归为上述7类行为之中。在步骤3)中，搭建合适的图卷积神经网络用于乘客行为分类，图卷积的定义基于普通卷积。定义如下：首先定义普通卷积，设整数的集合为Z，输入特征图为fin，fin所在的二维整数平面空间为Z2；设采样点位置x是在特征图fin上的点，即x∈Z2；设卷积核大小为K×K，K∈Z,设输入通道数为c,c∈Z；设h,w为卷积核窗口的偏移量，h,w∈Zh,w∈[1,K]；设s:Z2×Z2→Z2为采样函数，即s根据采样点x∈Z2以及偏移量(h,w)∈Z2，可以映射到卷积核窗口中的平面空间Z2的某个位置，从而实现采样功能；设w:Z2→Rc为权重函数，将偏移量(h,w)，(h,w)∈Z2映射到一个用于计算卷积的c维向量。基于上面的定义，位置x的传统卷积的输出fout(x)可以写成下式：图卷积操作的定义在上式基础之上，设人体关键点按照骨骼结构连接成一个空间图V；设特征图映射函数为即对于V中任意一个节点vi，总能将节点映射到一个c维的实数R空间；设节点vi的邻域为B(vi)＝{vj|d(vj,vi)≤1}，其中d(vj,vi)表示节点vi与节点vj的最短路径长度；设图卷积的采样函数为p:B(vi)→V，p(vi,vj)＝vj，即对于在节点vi上的卷积时，采样函数p能定位到vi的邻域节点，从而实现采样的功能；设权重函数为w:(vi,vj)→Rc，vj∈B(vi)，即对每个节点vi以及其相邻的节点vj，采样函数将其映射到一个c维的实数向量。由于邻域的节点数以及权重的顺序并不是固定的，为了将其固定，将邻域节点分为3个部分，即根节点、比根节点到人体重心近的节点、比根节点到人体重心近的节点，因此设ri为节点i到人体重心的距离；设rj为i的相邻节点j到人体重心的距离；设分类函数为li(vj)，表示在对节点vi进行卷积时，其相邻节点vj所属的类别，具体定义如下：其中，当rj＝ri时，将相邻节点vj归为第0部分；当rj＜ri时，将相邻节点vj归为第1部分；当rj＞ri时，将相邻节点vj归为第2部分。由于在对不同节点vi进行卷积时，以上3个部分的每个部分所包含的邻域节点数是由骨架连接方式决定的，并不是固定不变的，因此需要对其进行归一化。设Zi(vj)＝|{vk|li(vk)＝li(vj)}|为用来均衡不同部分邻域节点的权重。基于上面的假设，对节点vi进行图卷积后，输出的单个通道响应fout(vi)如下：基于上面定义的图卷积操作，构建用于乘客行为识别的图卷积神经网络。将乘客骨架坐标及其置信度使用人体骨骼连接成3通道的图，作为输入骨架，输入骨架在经过3次图卷积及Relu激活函数后，提取得到128个通道的深度图特征，然后对每个通道进行全局平均池化，再通过1×1卷积，将通道数降为7，最后通过Softmax层，回归正常站立、向前摔倒、向后摔倒、攀爬扶手带、向手扶电梯外伸头、向手扶电梯外伸手、背靠扶手带这7种乘客行为发生的概率。在步骤4)中，将训练集随机抽取进行20000次迭代，每次迭代样本数为2000，使用Adam优化器，学习率为10-3，正则化系数为10-3，使用交叉熵损失函数。每迭代100次，对当前模型进行训练集上的准确率计算，若训练集准确率达到95％以上且比上一次保存模型的训练集准确率要高时，则保存当前模型。在训练结束后，将训练时保存的多个训练模型在验证集上进行验证，选择验证集上的最优模型作为最终模型；为增大网络训练数据量及适用性，需要使用数据增强方法对原始输入关键点坐标进行数据增强，包括：a、关键点坐标缩放对输入关键点的坐标进行随机放大和缩小，本文档来自技高网...

【技术保护点】
1.一种基于视频监控的手扶电梯乘客行为识别方法，其特征在于，包括以下步骤：/n1)使用关键点提取方法对手扶电梯行为数据集进行骨架提取，并打上标签；/n2)将提取出来的骨架划分训练集和验证集，其中训练集用来训练网络模型，验证集用来进行模型择优；/n3)搭建合适的图卷积神经网络，用于乘客行为分类；/n4)使用数据集对图卷积神经网络进行训练，并保存最佳的网络模型；/n5)对手扶电梯场景的图像使用关键点提取方法进行人体关键点提取，并使用已有的行人跟踪方法对行人进行跟踪，得到每个乘客在不同帧的骨架坐标及其置信度；/n6)应用步骤4)保留的最佳模型来实现乘客行为分类，将每一帧中的所有乘客的骨架及其置信度输入到训练好的最佳模型中进行分类；/n7)对同一个乘客的行为序列，使用滑动窗统计的方法对其进行滤波，决策出最后的行为，实现对手扶电梯监控视频的行为识别。/n

【技术特征摘要】
1.一种基于视频监控的手扶电梯乘客行为识别方法，其特征在于，包括以下步骤：
1)使用关键点提取方法对手扶电梯行为数据集进行骨架提取，并打上标签；
2)将提取出来的骨架划分训练集和验证集，其中训练集用来训练网络模型，验证集用来进行模型择优；
3)搭建合适的图卷积神经网络，用于乘客行为分类；
4)使用数据集对图卷积神经网络进行训练，并保存最佳的网络模型；
5)对手扶电梯场景的图像使用关键点提取方法进行人体关键点提取，并使用已有的行人跟踪方法对行人进行跟踪，得到每个乘客在不同帧的骨架坐标及其置信度；
6)应用步骤4)保留的最佳模型来实现乘客行为分类，将每一帧中的所有乘客的骨架及其置信度输入到训练好的最佳模型中进行分类；
7)对同一个乘客的行为序列，使用滑动窗统计的方法对其进行滤波，决策出最后的行为，实现对手扶电梯监控视频的行为识别。


2.根据权利要求1所述的一种基于视频监控的手扶电梯乘客行为识别方法，其特征在于：在步骤1)中，手扶电梯行为数据集中将乘客搭乘手扶电梯时发生的行为划分为正常站立、向前摔倒、向后摔倒、攀爬扶手带、向手扶电梯外伸头、向手扶电梯外伸手、背靠扶手带7种行为，其它行为归为上述7类行为之中。


3.根据权利要求1所述的一种基于视频监控的手扶电梯乘客行为识别方法，其特征在于：在步骤3)中，搭建合适的图卷积神经网络用于乘客行为分类，其图卷积操作情况如下：
定义普通卷积，设整数的集合为Z，输入特征图为fin，fin所在的二维整数平面空间为Z2；设采样点位置x是在特征图fin上的点，即x∈Z2；设卷积核大小为K×K，K∈Z,设输入通道数为c,c∈Z；设h,w为卷积核窗口的偏移量，h,w∈Zh,w∈[1,K]；设s:Z2×Z2→Z2为采样函数，即s根据采样点x∈Z2以及偏移量(h,w)∈Z2，能够映射到卷积核窗口中的平面空间Z2的某个位置，从而实现采样功能；设w:Z2→Rc为权重函数，将偏移量(h,w)，(h,w)∈Z2映射到一个用于计算卷积的c维向量，基于上面的定义，位置x的传统卷积的输出fout(x)能够写成下式：



图卷积操作的定义在上式基础之上，设人体关键点按照骨骼结构连接成一个空间图V；设特征图映射函数为即对于V中任意一个节点vi，总能将节点映射到一个c维的实数R空间；设节点vi的邻域为B(vi)＝{vj|d(vj,vi)≤1}，其中d(vj,vi)表示节点vi与节点vj的最短路径长度；设图卷积的采样函数为p:B(vi)→V，p(vi,vj)＝vj，即对于在节点vi上的卷积时，采样函数p能定位到vi的邻域节点，从而实现采样的功能；设权重函数为w:(vi,vj)→Rc，vj∈B(vi)，即对每个节点vi以及其相邻的节点vj，采样函数将其映射到一个c维的实数向量；由于邻域的节点数以及权重的顺序并不是固定的，为了将其固定，将邻域节点分为3个部分，即根节点、比根节点到人体重心近的节点、比根节点到人体重心近的节点，因此设ri为节点i到人体重心的距离；设rj为i的相邻节点j到人体重心的距离；设分类函数为li(vj)，表示在对节点vi进行卷积时，其相邻节点vj所属的类别，具体定义如下：



其中，当rj＝ri时，将相邻节点vj归为第0部分；当rj＜ri时，将相邻节点vj归为第1部分；当rj＞ri时，将相邻节点vj归为第2部分；
由于在对不同节点vi进行卷积时，以上3个部分的每个部分所包含的邻域节点数是由骨架连接方式决定的，并不是固定不变的，因此需要对其进行归一化，设Zi(vj)＝|{vk|li(vk)＝li(vj)}|为用来均衡不同部分邻域节点的权重；
基于上面的假设，对节点vi进行图卷积后，输出的单个通道响应fout(vi)如下：



基于上面定义的图卷积操作，构建用于乘客行为识别的图卷积神经网络；
将乘客骨架坐标及其置信度使用人体骨骼连接成3通道的图，作为输入骨架，输入骨架在经过3次图卷积及Relu激活函数后，提取得到128个通道的深度图特征，然后对每个通道进行全局平均池化，再通过1×1卷积，将...

【专利技术属性】
技术研发人员：杜启亮，黄理广，田联房，
申请(专利权)人：华南理工大学，华南理工大学珠海现代产业创新研究院，
类型：发明
国别省市：广东;44