一种基于时序特征的监控视频行为分析方法、系统及终端技术方案

本发明专利技术涉及监控视频行为分析领域，并提供一种基于时序特征的监控视频行为分析方法、系统及终端，对考场监控视频进行预处理，形成图像帧序列；提取图像帧序列的特征；辨识考场视频中人员身份信息；提取视频中包含动作行为的时序片段；对时序片段进行行为分类；判别监考老师和考生的异常行为。实现端到端的监控视频行为分析方式。使考场监控系统达到较高的智能化水平，提高监控的工作效率，保障监控的准确度，实现自动检测并反馈异常情况。实现自动检测并反馈异常情况。实现自动检测并反馈异常情况。

【技术实现步骤摘要】
一种基于时序特征的监控视频行为分析方法、系统及终端


[0001]本专利技术涉及监控视频行为分析领域，具体涉及一种基于时序特征的监控视频行为分析方法、系统及终端。

技术介绍

[0002]近年来，随着计算机视觉领域的飞速发展，以及深度学习技术和计算能力的进步(GPU等)，基于监控视频的拓展研究领域越来越受到广泛。目前考场中的视频监控系统大多处于传统模式，其主要功能和应用还是停留在摄像和存储上，即“只记录不判断”，一旦发现异常情况，只能通过人工回看存储的视频查找异常，因此目前的视频监控主要存在以下三方面的问题：
[0003]1.需人工回看查找异常，工作效率低；
[0004]2.视频存储冗余大，无法过滤无关紧要的视频；
[0005]3.无法自动实时判别异常情况并进行反馈。
[0006]另外，目前大多数的研究和应用仅仅限于对考生目标的检测，将现有的简单行为识别和语义描述推广到更为复杂的未知场景下的行为分析与自然语言描述甚少。

技术实现思路

[0007]本专利技术提供一种基于时序特征的监控视频行为分析方法，方本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于时序特征的监控视频行为分析方法，其特征在于，方法包括：步骤一：对考场监控视频进行预处理，形成图像帧序列；步骤二：提取图像帧序列的特征；步骤三：辨识考场视频中人员身份信息；步骤四：提取视频中包含动作行为的时序片段；步骤五：对时序片段进行行为分类；步骤六：判别监考老师和考生的异常行为。2.根据权利要求1所述的基于时序特征的监控视频行为分析方法，其特征在于，步骤一还包括：截取考试过程中的监控视频，将非考试时间监控视频去除，然后对不同格式的视频进行解码，并且每经过一预设时长抽取1帧图像，最终得到n张图像组成的图像帧序列I
n
。3.根据权利要求2所述的基于时序特征的监控视频行为分析方法，其特征在于，步骤二还包括：使用多层卷积神经网络提取图像帧序列的高层级视觉特征，来表达图像帧序列的语义信息；使用卷积神经网络提取图像帧序列I
n
中的图像特征，得到特征矩阵X＝[x1,x2,x3,.....,x
n
]∈R
n
×
d
；其中，特征矩阵宽高及深度一致。4.根据权利要求2所述的基于时序特征的监控视频行为分析方法，其特征在于，步骤三还包括：使用faster
‑
rcnn网络中的RPN网络和分类网络将特征矩阵X进行组合；截取开考前预设时间段内的监考视频对应的特征矩阵X
clip
,对监控视频中的考生及教师进行目标跟踪；记录所有运动目标的位置信息，得到位置信息矩阵根据公式C＝|x1‑
x2|+|y1‑
y2|计算目标的位移、时长，区分监考老师和考生；根据要求的监考教师数量，得到监考老师位置信息矩阵5.根据权利要求4所述的基于时序特征的监控视频行为分析方法，其特征在于，步骤四还包括：利用步骤二中提取的图像帧特征矩阵X作为输入，使用两层时序卷积进一步提取特征；分别使用时序评估模块和提名评估模块对图像帧特征矩阵X进行处理；其中，时序评估模块用于获取视频每个位置的开始边界概率序列和结束边界概率序列；提名评估模块用于得到任一候选提名视频序列的置信度分数。6.根据权利...

【专利技术属性】
技术研发人员：马磊，陈义学，胡代国，侯庆，
申请(专利权)人：山东山大鸥玛软件股份有限公司，
类型：发明
国别省市：