一种基于深度学习的校园安全视频监测方法技术

本发明专利技术公开了一种基于深度学习的校园安全视频监测方法，对用于视频识别的动作类别进行样本增强，从而得到更加丰富且均衡的样本，然后通过将2D与3D融合的方式实现了低消耗的情况下进行长时间的视频实时动作识别，同时事先提取出时域特征和空域特征中相关联的互补信息并融合回时域特征和空域特征中，实现了更加精准的训练。综上所述，本发明专利技术通过上述操作做到了低消耗下的长时间视频实时识别预警的同时，还通过丰富样本库和对提取的特征进行互补，实现了报警识别的更加精准。

A campus security video monitoring method based on deep learning

【技术实现步骤摘要】
一种基于深度学习的校园安全视频监测方法
本专利技术属于机器学习领域，具体地说，涉及一种基于深度学习的校园安全视频监测方法。
技术介绍
安全一直是社会讨论的热点话题，尤其是校园安全，更是重中之重，孩子是世界的未来，更加需要社会用更多的精力去呵护。校园是学生的聚集之地，人员密集，对于中学及其以下的孩子来说，处于身体发育期，不够强壮，不能很好地保护自身；而对于高等院校来说，高等院校是一个较为开放的环境，除了学生以外，还会有更多社会人士的出入，由于没有实行封闭管理，更容易出现一些危险的事故。现有的监控多为保安对着监控器进行探查，但人力有时尽，无法做到同一时间对所有的视频区域都做到关注，且人的精力有限无法做到24小时全神贯注到所有的视频内容，并进行判断；监控的作用，多数情况都是严重事故已经发生了，当事人或有关部门对于事发时的视频进行调取，来证明事故的发生，而非使用监控作为一个实时的事故警报。而现有技术在此之上通过使用深度学习进行视频的异常动作识别的技术基于规则实现，需要在监控中画辅助线、当画面中有人进入指定区域，达到相关规则触发报警，或者说检测到单张画面有规定物品如火焰、烟雾等，才触发报警。对于纯3D的卷积网络，开销极大，无法做到长时间的信息识别。同时现有技术中对于视频动作类别的识别方法，都将时域特征和空域特征分开进行提取，然后在后端进行特征的融合，这样在样本中时域特征与空域特征中相关联的关键信息则在处理中被忽略掉了。且在深度学习中，因现有的图片样本非常丰富，而视频样本量远远少于图片样本量，对于视频中的动作类别进行训练识别的样本则更加匮乏，这对于实际训练的识别精度会有很大影响。
技术实现思路
本专利技术针对现有技术3D卷积网络对视频进行深度学习开销极大，不适用与实时视频监控的问题，提出了一种基于深度学习的校园安全视频监测方法，通过2D融合3D深度卷积网络，解决了纯粹3D卷积网络开销大的问题，且把2D的特征通过3D网络融合起来，不需要将视频保存后再分析，实现了在线实时监测。本专利技术具体实现内容如下：一种基于深度学习的校园安全视频监测方法，首先训练预训练模型，然后进行校园监控视频特征提取，最后进行异常分类打分；所述校园监控视频特征提取的具体步骤为：步骤S1、以16帧为一组，将一段连续的监控视频分为多组小片段；步骤S2、对每一组小片段中的16帧图像按照间隔1帧的原则进行采样得到8张采样图像，并将8张采样图像送入2D卷积网络进行预测处理，得到8张2D特征图；步骤S3、将每8张2D特征图作为一组特征图进行保存，当收集满5组特征图时，按照1:1:2:4:8的比例，从5组特征图中进行随机采样，从5组特征图中，最先获得的两组特征图中各随机采样1张特征图，从第三个获得的一组特征图中随机抽样2张特征图，从第四个获得的一组特征图中随机抽样4张特征图，从最新获得的一组特征图中采样全部8张特征图；步骤S4、将所述步骤S3中从五组特征图中采样获得的共16张特征图送入3D卷积网络进行异常分类打分；步骤S5、将采样后的五组特征图丢弃，继续提取后续视频进行上述步骤S1-步骤S4的处理。为了更好地实现本专利技术，进一步地，所述异常分类打分的具体操作为：步骤SA、对送入3D卷积网络的16张特征图进行时域序列特征和空域序列特征的提取；步骤SB、将提取后的时域序列特征和空域序列特征进行信息交互，得到时域序列特征和空域序列特征的互补信息；步骤SC、将互补信息分别与时域序列特征和空域序列特征进行互补，得到互补后的时域序列特征和互补后的空域序列特征；步骤SD、将互补后的时域特征和互补后的空域特征进行序列特征聚合，得到时域特征和空域特征。为了更好地实现本专利技术，进一步地，将时域特征和空域特征同时进行正则化处理，再输入共享权值层，从而提取出时域特征分数和空域特征分数；然后将时域特征分数和空域特征分数进行融合，得到用于预测监控视频中动作类别的预测时空特征分类分数向量。为了更好地实现本专利技术，进一步地，所述训练预训练模型的具体步骤为：步骤Sa、先使用包含多种动作类别id的数据集进行第一次模型训练，并为每个动作类别id确定类中心；步骤Sb、然后设定相似阈值t，筛选出数据集中每个动作类别id中与类中心相似度大于相似阈值t的样本；步骤Sc、对筛选出的与类中心相似度大于相似阈值t的样本进行样本增强，所述样本增强包括投影变换、明暗调节、色彩变换；所述样本增强的力度根据实际情况调节；步骤Sd、对进行了样本增强后的样本图片与对应的样本类中心进行比较，选出相似度在（a，b）区间范围内的增强后的样本，并使用选出的样本进行第二次模型训练，并将第二次训练后的模型用于后续异常操作。为了更好地实现本专利技术，进一步地，在选出与类中心的相似度在（a，b）区间范围内的增强后的样本后，还要生成一项用于抽样的抽样序列，所述抽样序列的元素为各动作类别id的id序号；每个id序号在所述抽样序列中出现的次数为h，所述次数h为可变值，根据实际需要的样本数量及数据集的样本大小进行调节。为了更好地实现本专利技术，进一步地，所述第二次模型训练时同样生成时域特征和空域特征，并计算出交叉熵损失函数L1、异构三连体对损失函数L2、判别嵌入限制损失函数L3，将三个函数结合为第二次模型训练的损失函数L进行模型训练，得到各动作类别id的类别索引。为了更好地实现本专利技术，进一步地，将生成的预测时空特征分类分数向量按照从大到小的顺序进行排序，值最大的预测时空特征分类分数向量对应的类别索引即代表了监控视频中的动作类别。为了更好地实现本专利技术，进一步地，事先设置报警动作类别，将实际的监控视频识别中每一个识别出的动作类别都送入缓存队列进行时间先后排序，对排序后的动作类别进行判断，当判断为报警动作类别时，将被判断为报警动作类别的样本进行保存，并进行报警推送。为了更好地实现本专利技术，进一步地，设置阈值K，当识别为报警动作后，若在缓冲队列后续K个动作类别中再次出现了判断为报警动作识别的，将再次判断为报警动作类别的样本与前一次被判断为报警动作类别的样本进行识别，若两组样本的相似度高于或等于U，则继续判断后序的动作类别，若相似度低于U，则将再次判断为报警动作类别的样本进行保存，并再次进行报警推送。为了更好地实现本专利技术，进一步地，对于保存的判断为报警动作识别的样本，在样本图片上使用圈选框将样本上对应的报警动作位置圈选出来。本专利技术与现有技术相比具有以下优点及有益效果：（1）采用2D与3D融合的方式，解决了纯3D卷积网络开销大，难以进行长时间的实时视频异常监控警报的问题；（2）通过第一次模型训练和第二次模型训练，增强了样本的丰富度，解决了视频的动作类别样本库少的问题；（3）通过事先提取时域特征和空域特征中的相关联的互补信息，相对提高了识别的精度。附图说明图1为训练模型的具体流程图；图2为特征提取的具体流程图；图3为视频动作类别异常打分本文档来自技高网...

【技术保护点】
1.一种基于深度学习的校园安全视频监测方法，首先训练预训练模型，然后进行校园监控视频特征提取，最后进行异常分类打分，其特征在于，所述校园监控视频特征提取的具体步骤为：/n步骤S1、以16帧为一组，将一段连续的监控视频分为多组小片段；/n步骤S2、对每一组小片段中的16帧图像按照间隔1帧的原则进行采样得到8张采样图像，并将8张采样图像送入2D卷积网络进行预测处理，得到8张2D特征图；/n步骤S3、将每8张2D特征图作为一组特征图进行保存，当收集满5组特征图时，按照1:1:2:4:8的比例，从5组特征图中进行随机采样，从5组特征图中，最先获得的两组特征图中各随机采样1张特征图，从第三个获得的一组特征图中随机抽样2张特征图，从第四个获得的一组特征图中随机抽样4张特征图，从最新获得的一组特征图中采样全部8张特征图；/n步骤S4、将所述步骤S3中从五组特征图中采样获得的共16张特征图送入3D卷积网络进行异常分类打分；/n步骤S5、将采样后的五组特征图丢弃，继续提取后续视频进行上述步骤S1-步骤S4的处理。/n

【技术特征摘要】
1.一种基于深度学习的校园安全视频监测方法，首先训练预训练模型，然后进行校园监控视频特征提取，最后进行异常分类打分，其特征在于，所述校园监控视频特征提取的具体步骤为：
步骤S1、以16帧为一组，将一段连续的监控视频分为多组小片段；
步骤S2、对每一组小片段中的16帧图像按照间隔1帧的原则进行采样得到8张采样图像，并将8张采样图像送入2D卷积网络进行预测处理，得到8张2D特征图；
步骤S3、将每8张2D特征图作为一组特征图进行保存，当收集满5组特征图时，按照1:1:2:4:8的比例，从5组特征图中进行随机采样，从5组特征图中，最先获得的两组特征图中各随机采样1张特征图，从第三个获得的一组特征图中随机抽样2张特征图，从第四个获得的一组特征图中随机抽样4张特征图，从最新获得的一组特征图中采样全部8张特征图；
步骤S4、将所述步骤S3中从五组特征图中采样获得的共16张特征图送入3D卷积网络进行异常分类打分；
步骤S5、将采样后的五组特征图丢弃，继续提取后续视频进行上述步骤S1-步骤S4的处理。


2.如权利要求1所述的一种基于深度学习的校园安全视频监测方法，其特征在于，所述异常分类打分的具体操作为：
步骤SA、对送入3D卷积网络的16张特征图进行时域序列特征和空域序列特征的提取；
步骤SB、将提取后的时域序列特征和空域序列特征进行信息交互，得到时域序列特征和空域序列特征的互补信息；
步骤SC、将互补信息分别与时域序列特征和空域序列特征进行互补，得到互补后的时域序列特征和互补后的空域序列特征；
步骤SD、将互补后的时域特征和互补后的空域特征进行序列特征聚合，得到时域特征和空域特征。


3.如权利要求2所述的一种基于深度学习的校园安全视频监测方法，其特征在于，将时域特征和空域特征同时进行正则化处理，再输入共享权值层，从而提取出时域特征分数和空域特征分数；然后将时域特征分数和空域特征分数进行融合，得到用于预测监控视频中动作类别的预测时空特征分类分数向量。


4.如权利要求3所述的一种基于深度学习的校园安全视频监测方法，其特征在于，所述训练预训练模型的具体步骤为：
步骤Sa、先使用包含多种动作类别id的数据集进行第一次模型训练，并为每个动作类别id确定类中心；
步骤Sb、然后设定相似阈值t，筛选出数据集中每个动作类别id中与类中心相似度大于相似阈值t的样本；
步骤Sc、对筛选出的与...

【专利技术属性】
技术研发人员：黄希，聂贻俊，刘翼，
申请(专利权)人：成都派沃智通科技有限公司，
类型：发明
国别省市：四川;51