一种基于视频监控的电梯异常行为检测方法及系统技术方案

本发明专利技术提出了一种基于视频监控的电梯异常行为检测方法及系统，所述方法包括以下步骤：步骤1，获取关于电梯内已知行为分类的视频数据；步骤2，根据所述视频数据截取视频片段和深度片段，并按照预设比例分别划分为训练集和验证集；步骤3，构建多个网络模型并利用训练集中的视频片段和深度片段进行训练；步骤4，确定各网络模型的最佳迭代次数；步骤5，利用验证集中的视频片段分别计算各模型的准确率和召回率，以确定最优模型；步骤7，利用所述最优模型作为检测模型对电梯内乘客的异常行为进行检测。本发明专利技术能够低成本且准确地对电梯内乘客的行为进行预测。

【技术实现步骤摘要】
一种基于视频监控的电梯异常行为检测方法及系统
本专利技术涉及电梯视频监控
，具体涉及一种基于视频监控的电梯异常行为检测方法及系统。
技术介绍
电梯一般设置在城市高层建筑物中，比如高层居民楼，购物商城，写字楼等，方便市民的出行。然而，一些危险的电梯内不正当行为，如蹦跳、扒门等，极有可能造成电梯坠落等事故，威胁乘客们的生命财产安全。并且，部分乘客可能在乘坐电梯时突发疾病，出现昏迷或无法按响警报铃等情况，错过急救黄金时间。随着计算机视觉领域技术的发展，用计算机代替人力检测异常情况逐渐普及，因此，通过行为检测及时识别出乘客异常行为并发出相应警报，可以有效的减少电梯意外事故，更好的保障乘客出行安全，从而剧有重要的研究及商业价值。目前，运用纯RGB模态可以识别场景中是否存在异常行为，然而由于遮挡、部分电梯中存在镜子等问题，导致在检测过程中容易出现判断失误，因此单一RGB模态不足以达到足够好的效果；而加入深度图等模态信息有助于更好的判断，排除由于缺少距离信息而引起的错误判断。虽然使用多模态融合方法通过结合RGB和深度图模态信息能够更准确地对异常行为进行检测，然而深度摄像机往往价格过高，使搭建应用系统的成本大大增加；因此急需一种能够利用多模态训练、而利用单模态推理的电梯异常行为检测方法。而且，现有训练方法在训练深度估计模型时存在误差，且级联系统会把误差向深度流预测阶段传递，降低深度信息为RGB流提供的信息的有效性，导致异常行为检测容易出现判断失误的问题。
技术实现思路
针对现有技术的不足，本专利技术提出一种基于视频监控的电梯异常行为检测方法及系统，在训练时利用深度图和RGB模态共同训练，并运用跨模态蒸馏方法生成一个以RGB视频作为输入、输出类似相应深度图特征的伪深度模型，以提升单一RGB模态预测的性能，从而能够低成本且准确地对电梯内的异常行为进行检测。为了实现上述目的，本专利技术公开了一种基于视频监控的电梯异常行为检测方法，包括以下步骤：步骤1，获取关于电梯内已知行为分类的视频数据，并对所述视频数据进行预处理；其中，所述行为分类包括异常行为类别和正常行为类别；步骤2，根据所述视频数据截取视频片段和深度片段，并按照预设比例分别划分为训练集和验证集；步骤3，构建多个网络模型并利用训练集中的视频片段和深度片段进行训练；步骤4，训练过程中计算每次迭代后各网络模型的综合损失，根据迭代过程中在验证集上综合损失最低时所对应的迭代次数为各模型的最佳迭代次数，从而确定各网络模型；步骤5，利用验证集中的视频片段分别计算以上训练好的各网络模型的准确率和召回率，以准确率和召回率的均值最大者所对应的网络模型为最优模型；步骤7，实时获取实际场景下关于电梯内的视频片段，利用所述最优模型作为检测模型对电梯内乘客的异常行为进行检测。进一步的，还包括：步骤6，进行多个电梯背景下多个行为视频的拼接，以合成新的训练视频对所述最优模型进行训练，以确定最终模型；其中，步骤7中以所述最终模型作为检测模型对电梯内乘客的异常行为进行检测。进一步的，步骤1中，对所述视频数据进行预处理的步骤包括：从视频数据的每一帧中识别并分割出人物形象，然后将所分割出的人物形象按照动作分类保存。进一步的，步骤3中，所述多个网络模型包括但不限于后期拼接卷积神经网络模型、中期居中拼接卷积神经网络模型和中期左对齐拼接卷积神经网络模型；其中利用训练集中的视频片段和深度片段对后期拼接卷积神经网络模型进行训练的步骤包括：步骤301a，分别构建RGB流模型、伪深度流模型和深度流模型，对RGB流模型的输入归一化，同时对深度流模型和伪深度流模型的输入进行标准化；其中，RGB流模型的输入为视频片段，而深度流模型的输入为深度片段；步骤302a，训练过程中，对伪深度流模型与深度流模型经池化层后得到的特征向量取加权平均，得到最终深度特征向量；步骤303a，将所述深度特征向量与RGB特征向量在特征维度上拼接，输入分类层并得到每一类预测结果的得分后，作出预测并计算分类损失，然后根据计算的分类损失进行下一轮迭代训练。进一步的，步骤3中，所述多个网络模型包括但不限于后期拼接卷积神经网络模型、中期居中拼接卷积神经网络模型和中期左对齐拼接卷积神经网络模型；其中利用训练集中的视频片段和深度片段对中期居中拼接卷积神经网络模型进行训练的步骤包括：步骤301b，分别构建RGB流模型、伪深度流模型和深度流模型，对RGB流模型的输入归一化，同时对深度流模型和伪深度流模型的输入进行标准化；其中，RGB流模型的输入为视频片段，而深度流模型的输入为深度片段；步骤302b,对伪深度流模型与深度流模型每一模块的输出进行加权平均后，再与RGB流模型的特征图在特征维度上拼接，作为RGBD流相应模块的输入；步骤303b，在经过RGBD流的池化层和分类层后得到每一类预测结果的得分，作出预测并计算分类损失，然后根据计算的分类损失进行下一轮迭代训练。进一步的，步骤3中，所述多个网络模型包括但不限于后期拼接卷积神经网络模型、中期居中拼接卷积神经网络模型和中期左对齐拼接卷积神经网络模型；其中利用训练集中的视频片段和深度片段对中期左对齐拼接卷积神经网络模型进行训练的步骤包括：步骤301c，分别构建RGB流模型、伪深度流模型和深度流模型，对RGB流模型的输入归一化，同时对深度流模型和伪深度流模型的输入进行标准化；其中，RGB流模型的输入为视频片段，而深度流模型的输入为深度片段；步骤302c,将深度流模型和伪深度流模型的每个模块输出的中间特征图在特征维度上取加权平均，并与RGB流模型相应特征图在特征维度上拼接后输入到RGB流的下一个模块；步骤302c，通过RGB流的池化层与分类层后得到每一类预测结果的得分，作出预测并计算分类损失，然后根据计算的分类损失进行下一轮迭代训练。进一步的，步骤5及步骤7中，当模型为后期拼接卷积神经网络模型时，在进行预测时，取伪深度流模型的池化层输出作为最终深度特征向量，与RGB流模型的池化层输出拼接，输送到分类层并得到最终得分，取其中得分最高的类别模型作为输入的预测结果；当模型为中期居中拼接卷积神经网络模型时，在进行预测时，对伪深度流模型与RGB流模型每一模块的输出在特征维度上进行拼接，作为RGBD流相应模块的输入，并在经过RGBD流的池化层和分类层后获得最终得分，取其中得分最高的类别模型作为输入的预测结果；当模型为中期左对齐拼接卷积神经网络模型时，在进行预测时，将RGB流模型和伪深度流模型的每个模块输出的中间特征图在特征维度上拼接，输入到RGB流模型的下一个模块，并继续通过RGB流的池化层与分类层，获得最终得分，取其中得分最高的类别模型作为输入的预测结果。进一步的，步骤6包括：步骤601，从训练集的各类行为视频数据中随机抽取若干视频数据进行拼接，并随机选取一电梯背景与拼接后的视频合成为复杂视频；步骤602，从验证集的各类本文档来自技高网...

【技术保护点】
1.一种基于视频监控的电梯异常行为检测方法，其特征在于，包括以下步骤：/n步骤1，获取关于电梯内已知行为分类的视频数据，并对所述视频数据进行预处理；其中，所述行为分类包括异常行为类别和正常行为类别；/n步骤2，根据所述视频数据截取视频片段和深度片段，并按照预设比例分别划分为训练集和验证集；/n步骤3，构建多个网络模型并利用训练集中的视频片段和深度片段进行训练；/n步骤4，训练过程中计算每次迭代后各网络模型的综合损失，根据迭代过程中在验证集上综合损失最低时所对应的迭代次数为各模型的最佳迭代次数，从而确定各网络模型；/n步骤5，利用验证集中的视频片段分别计算以上训练好的各网络模型的准确率和召回率，以准确率和召回率的均值最大者所对应的网络模型为最优模型；/n步骤7，实时获取实际场景下关于电梯内的视频片段，利用所述最优模型作为检测模型对电梯内乘客的异常行为进行检测。/n

【技术特征摘要】
1.一种基于视频监控的电梯异常行为检测方法，其特征在于，包括以下步骤：
步骤1，获取关于电梯内已知行为分类的视频数据，并对所述视频数据进行预处理；其中，所述行为分类包括异常行为类别和正常行为类别；
步骤2，根据所述视频数据截取视频片段和深度片段，并按照预设比例分别划分为训练集和验证集；
步骤3，构建多个网络模型并利用训练集中的视频片段和深度片段进行训练；
步骤4，训练过程中计算每次迭代后各网络模型的综合损失，根据迭代过程中在验证集上综合损失最低时所对应的迭代次数为各模型的最佳迭代次数，从而确定各网络模型；
步骤5，利用验证集中的视频片段分别计算以上训练好的各网络模型的准确率和召回率，以准确率和召回率的均值最大者所对应的网络模型为最优模型；
步骤7，实时获取实际场景下关于电梯内的视频片段，利用所述最优模型作为检测模型对电梯内乘客的异常行为进行检测。


2.根据权利要求1所述基于视频监控的电梯异常行为检测方法，其特征在于，还包括：
步骤6，进行多个电梯背景下多个行为视频的拼接，以合成新的训练视频对所述最优模型进行训练，以确定最终模型；
其中，步骤7中以所述最终模型作为检测模型对电梯内乘客的异常行为进行检测。


3.根据权利要求1所述基于视频监控的电梯异常行为检测方法，其特征在于，步骤1中，对所述视频数据进行预处理的步骤包括：从视频数据的每一帧中识别并分割出人物形象，然后将所分割出的人物形象按照动作分类保存。


4.根据权利要求1所述基于视频监控的电梯异常行为检测方法，其特征在于，步骤3中，所述多个网络模型包括但不限于后期拼接卷积神经网络模型、中期居中拼接卷积神经网络模型和中期左对齐拼接卷积神经网络模型；其中利用训练集中的视频片段和深度片段对后期拼接卷积神经网络模型进行训练的步骤包括：
步骤301a，分别构建RGB流模型、伪深度流模型和深度流模型，对RGB流模型的输入归一化，同时对深度流模型和伪深度流模型的输入进行标准化；其中，RGB流模型的输入为视频片段，而深度流模型的输入为深度片段；
步骤302a，训练过程中，对伪深度流模型与深度流模型经池化层后得到的特征向量取加权平均，得到最终深度特征向量；
步骤303a，将所述深度特征向量与RGB特征向量在特征维度上拼接，输入分类层并得到每一类预测结果的得分后，作出预测并计算分类损失，然后根据计算的分类损失进行下一轮迭代训练。


5.根据权利要求1所述基于视频监控的电梯异常行为检测方法，其特征在于，步骤3中，所述多个网络模型包括但不限于后期拼接卷积神经网络模型、中期居中拼接卷积神经网络模型和中期左对齐拼接卷积神经网络模型；其中利用训练集中的视频片段和深度片段对中期居中拼接卷积神经网络模型进行训练的步骤包括：
步骤301b，分别构建RGB流模型、伪深度流模型和深度流模型，对RGB流模型的输入归一化，同时对深度流模型和伪深度流模型的输入进行标准化；其中，RGB流模型的输入为视频片段，而深度流模型的输入为深度片段；
步骤302b,对伪深度流模型与深度流模型每一模块的输出进行加权平均后，再与RGB流模型的特征图在特征维度上拼接，作为RGBD流相应模块的输入；
步骤303b，在经过RGBD流的池化层和分类层后得到每一类预测结果的得分，作出预测并计算分类损失，然后根据计算的分类损失进行下一轮迭代训练。


6.根据权利要求1所述基于视频监控的电梯异常行为检测方法，其特征在于，步骤3中，所述多个网络模型包括但不限于后期拼接卷积神经网络模型、中期居中拼接卷积神经网络模型和中期左对齐拼接卷积神经网络模型；其中利用训练集中的视频片段和深度片段对中期左对齐拼接卷...

【专利技术属性】
技术研发人员：李明，陈欣萌，龚绪晨，程铭，潘悦然，邓奇，
申请(专利权)人：昆山杜克大学，通力电梯有限公司，
类型：发明
国别省市：江苏;32