一种基于深度学习的暴力行为识别方法,存储装置及服务器制造方法及图纸

本发明专利技术提供一种基于深度学习的暴力行为识别方法,存储装置及服务器，首先通过视频采集设备，获取暴力识别数据流，标注信息，然后对视频进行数据处理；随后搭建RGB

【技术实现步骤摘要】
一种基于深度学习的暴力行为识别方法,存储装置及服务器
[0001]本专利技术涉及图像处理
，具体涉及一种基于深度学习的暴力行为识别方法。

技术介绍

[0002]暴力识别是基于传统安防摄像头的智能自动监控技术，能有效解决仅靠人力无法做到时时观察监控屏幕，无法及时发现暴力行为；能及时发现产生暴力人员，收集证据，并且大大节省人为识别监控所需的人力和物力；
[0003]一般来说，基于视频的暴力检测概念定义为检测视频数据中的暴力行为，传统的视频暴力检测方法一般采取传统的浅层分类器特征提取和端到端的深度学习框架。对于传统的特征提取方法，研究人员试图建立一个强大的视频描述符集，并将其输入线性分类器。而近年来，人们提出了许多基于端到端深度学习的方法，采用将光流算法融入神经网络结构中的双流法模型能够显著提升暴力识别任务的准确度；
[0004]现有技术中的暴力识别算法存在算法时间复杂度高的问题，具体来说，在计算光流时需要从内存中调用数据流，且计算需要通过CPU模块，不能保证暴力预测的实时性，表现不理想。

技术实现思路

[0005]为解决目前暴力本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的暴力行为识别方法，该方法包括以下步骤：S1：通过视频采集设备获取暴力识别数据流并标注信息；S2：对视频进行数据处理；S3：搭建RGB
‑
光流双分支神经网络结构；S4：构建多任务损失函数训练模型；S5：将待测视频输入到训练好的卷积神经网络中，得到该视频暴力行为识别估计数据。2.如权利要求1所述的一种基于深度学习的暴力行为识别方法，其特征在于，所述步骤S3包括，S31：构建RGB通道分支网络，所述RGB通道分支网络包括4个卷积模块，每个卷积模块包括16个1X3X3的3D卷积核和16个3X1X1的3D卷积核，采用1X2X2最大池化层进行下采样和特征提取，其中3D卷积核增加对时间维度的卷积,3D最大池化针对3D卷积后的数据特征进行下采样；S32构建与S31中网络结构一致的光流通道分支网络；对光流通道提取的特征向量x
flow
进行sigmoid映射，RGB通道提取的向量x
RGB
进行Relu函数激活，两通道提取的特征点乘融合，使得光流分支作为RGB通道的权重；对双分支特征融合后的向量进行3D卷积
‑
池化操作提取特征，提取后的特征为128维的特征向量，将128维特征向量放入全连接，输出2维向量；S33构建反卷积神经网络，所述反卷积神经网络包括4个反卷积模块，每个卷积模块包含1X2X2上采样，对上采样的数据依次进行16个3X1X1的3D反卷积及16个1X3X3的3D反卷积；S34将S33中反卷积神经网络与S32中光流通道分支网络进行连接，构成端到端网络。3.如权利要求1所述的一种基于深度学习的暴力行为识别方法，其特征在于，所述步骤S4包括S41设置S31与S32的双分支网络损失函数；S42设置S33中反卷积网络损失函数SSIM(x,y)；S43将S42中的损失函数SSIM(x,y)和S41中的损失函数Loss统合成Loss
总
做整个神经网络的损失函数，进行多任务训练。4.一种存储设备，其中存储有多条指令，所述指令适于由处理器加载并执行：S1：通过视频采集设备获取暴力识别数据流并标注信息；S2：对视频进行数据处理；S3：搭建RGB
‑
光流双分支神经网络结构；S4：构建多任务损失函数训练模型。5.如权利要求4所述的一种存储设备，其特征在于，所述步骤S3包括，S31：构建RGB通道分支网络，所述RGB通道分支网络包括4个卷积模块，每个卷积模块包括16个1X3X3的3D卷积核和16个3X1X1的3D卷积核，采用1X2X2最大池化层进行下采样和特征提取，其中3D卷积核增加对时间维度的卷积,3D最大池化针对3D卷积后的数据特征进行下采样；S32构建与S31中网络结构一致的光流通道分支网络；对光流通道提取的特征向量x
...

【专利技术属性】
技术研发人员：张秀才，李彬，周伟，刘天宇，吴明洋，易军，杨宁，
申请(专利权)人：四川望村网络科技有限公司，
类型：发明
国别省市：