一种基于互补时序行为提案生成的时序行为检测网络模型的构建方法技术

本发明专利技术公开了一种基于互补时序行为提案生成的时序行为检测网络模型的构建方法，得到的深度神经网络模型对给定的一段未分割的长视频，检测视频中的行为片段，包括其开始时间、结束时间以及行为类别。该方法包括以下步骤：1)对一段可能包含一个或多个行为片段的未分割的长视频进行数据预处理，提取特征。2)利用互补时序行为提案生成器模型，进行行为提案互补过滤生成。3)基于互补时序行为提案生成器模型和三维兴趣区域池化的时序行为分类神经网络。4)模型训练，利用反向传播算法训练神经网络参数。本发明专利技术能够实现高质量的时序提案生成和准确的行为分类。

A Method of Constructing a Network Model for Detecting Sequential Behavior Based on Complementary Sequential Behavior Proposal Generation

【技术实现步骤摘要】
一种基于互补时序行为提案生成的时序行为检测网络模型的构建方法
本专利技术涉及一种针对时序行为检测的深度神经网络模型的构建方法。
技术介绍
时序行为检测是一个计算机视觉研究领域的热门方向，旨在使计算机更好的理解视频内容，极具应用前景。时序行为检测的目标是给定一段未分割的长视频，算法需要检测视频中的行为片段(ActionInstance)，包括其开始时间、结束时间以及行为类别，其中一段视频可能包含一个或多个行为片段。随着近年来深度学习的迅速发展，使用深度神经网络，如深度卷积神经网络(ConvolutionalNeuralNetworks，CNN)和深度循环神经网络(RecurrentNeuralNetworks，RNN)构建网络模型成为目前计算机视觉领域的主流研究方向。在时序行为检测算法中，如何更好的引入深度神经网络，构建更具高效性和精准度的网络模型是一个值得深入探索的研究问题。在实际应用方面，时序行为检测具有非常广泛的运用前景。如在入侵检测领域，传统的检测方法普遍使用各类传感器(如红外传感器)方案，这种方案的特点是检测率高，但是成本高，误报率高，无法立刻判断报警是否为误报，需要立刻派遣本文档来自技高网...

【技术保护点】
1.一种基于互补时序行为提案生成的时序行为检测网络模型的构建方法，包括以下步骤：1)数据预处理首先将视频数据按设定的单位长度剪切成图像帧，然后从图像帧中提取带有时序和空间信息的单元级特征；2)建立互补时序行为提案生成器的模型2.1)将步骤1)得到的单元级特征分别输入到时序行为小组网络和滑动窗口采样网络中；所述时序行为小组网络，首先对每一个单元级特征生成对应的动作得分，然后对该视频数据的所有单元级特征进行过滤组合并生成候选提案；所述滑动窗口采样网络，首先使用不同大小的滑动窗口，均匀覆盖所有的单元级特征，生成对应的候选提案；再评估这些候选提案是否会被所述时序行为小组网络遗漏，收集可能被遗漏的候选提...

【技术特征摘要】
1.一种基于互补时序行为提案生成的时序行为检测网络模型的构建方法，包括以下步骤：1)数据预处理首先将视频数据按设定的单位长度剪切成图像帧，然后从图像帧中提取带有时序和空间信息的单元级特征；2)建立互补时序行为提案生成器的模型2.1)将步骤1)得到的单元级特征分别输入到时序行为小组网络和滑动窗口采样网络中；所述时序行为小组网络，首先对每一个单元级特征生成对应的动作得分，然后对该视频数据的所有单元级特征进行过滤组合并生成候选提案；所述滑动窗口采样网络，首先使用不同大小的滑动窗口，均匀覆盖所有的单元级特征，生成对应的候选提案；再评估这些候选提案是否会被所述时序行为小组网络遗漏，收集可能被遗漏的候选提案；2.2)对分别来自时序行为小组网络和滑动窗口采样网络的候选提案进行联合互补过滤；2.3)将联合互补过滤后的候选提案输入到时序卷积调整和排序网络中进行提案排序和时序边界调整，最终得到融合了滑动窗口排名和动作得分分组的互补特点的时序行为提案；3)建立基于三维兴趣区域池化的时序行为分类神经网络将步骤2)获取的提案输入到三维兴趣区域池化层来提取固定尺寸的特征，再根据池化的特征为选定的提案进行行为分类和边界调整；输出时序行为检测结果；4)模型训练使用“视频-行为类别-开始时间-结束时间”四元组构成的训练集，首先对步骤2)产生的预测行为提案与实际视频中真实的行为片段之间的差异，利用反向传播算法对互补时序行为提案生成器的模型参数进行训练，直至互补时序行为提案生成器模型收敛；再对步骤3)产生的行为类别预测值和行为起止时间边界预测值同该行为在实际视频中的差异，并利用反向传播算法对基于三维兴趣区域池化的时序行为分类神经网络的模型参数进行训练，直至整个网络模型收敛。2.根据权利要求1所述的基于互补时序行为提案生成的时序行为检测网络模型的构建方法，其特征在于，步骤1)具体实现如下：首先将视频数据v剪切成图像帧vp，其中c是图像帧的通道数，h和w分别是图像帧的高和宽；再将多张连续的图像帧先统一裁剪后再组合成视频段clip，具体公式如下：clip＝[frame_length，crop_size1，crop_size2，channel_num]其中frame_length代表组合的连续图像帧的数量，crop_size1、crop_size2分别代表统一裁剪后图像帧的高和宽，channel_num代表图像帧的通道数；然后对于组合后的视频段clip，利用C3D网络提取带有时序和空间信息的单元级特征。3.根据权利要求1所述的基于互补时序行为提案生成的时序行为检测网络模型的构建方法，其特征在于，步骤2.1)中，所述时序行为小组网络具体实现如下：基于提取的单元级特...

【专利技术属性】
技术研发人员：李红昌，王晶，韩建军，张金民，杨玉山，韩园园，
申请(专利权)人：西安特种设备检验检测院，
类型：发明
国别省市：陕西,61