【技术实现步骤摘要】
一种时空行为检测方法
本专利技术属于计算机视觉领域，更具体地，涉及一种时空行为检测方法。
技术介绍
行为分析是当前计算机视觉中一个重要而活跃的研究热点，它不但在社会安全领域有着广泛应用，比如监控环境下的异常行为检测、商场中的偷窃行为检测识别，还在人机交互中有着不可取代的地位，比如服务机器人对老人的行为进行有效的预测以防止意外发生，除此之外，还可用于现有的社交网络、直播平台等色情、反动、暴力等行为的检测与识别。目前的行为检测方法，从需要的监督信息上划分为两大类：一种为基于强监督的方法，其监督信号包括检测框，行为在时间上的起始和截至标记以及视频标签；另一种为基于弱有监督的方法，其监督信号只有视频的类别标记。目前对第一类方法研究较多，并且在公开数据集上取得了较好的性能，但还仍然不能满足实际需求，因为在实际场景下如果要取得可接受的性能需要大量的样本标记，而且由于行为标记的困难和特殊性导致这种需求很难被满足。第二类方法基于弱有监督的方法更好的利用现有的仅包含类别标记的样本，能够以自学习的方式有效地挖掘行为特征。但是行为必须具备三要素，分别是行为执行者、特定运动信息和时序性，...
【技术保护点】
1.一种时空行为检测方法，其特征在于，包括：(1)对样本视频中所有帧进行对象检测，获取候选对象集合；(2)计算样本视频中所有帧间光流信息，获取运动集合；(3)基于候选对象集合和运动集合，构建附加对象注意机制和运动注意机制的时空卷积‑反卷积网络；(4)以时空卷积‑反卷积网络为输入，对样本视频的各时间片段进行时空卷积处理后，均添加对应的稀疏变量和稀疏约束得到网络结构S；(5)以基于交叉熵的分类损失和稀疏约束的损失为目标函数，对网络结构S进行训练；(6)以网络结构S为基础，计算测试样本视频中各时间片段对应的行为类别、稀疏系数以及其分布概率图，获取对象行为时空位置。
【技术特征摘要】
1.一种时空行为检测方法，其特征在于，包括：(1)对样本视频中所有帧进行对象检测，获取候选对象集合；(2)计算样本视频中所有帧间光流信息，获取运动集合；(3)基于候选对象集合和运动集合，构建附加对象注意机制和运动注意机制的时空卷积-反卷积网络；(4)以时空卷积-反卷积网络为输入，对样本视频的各时间片段进行时空卷积处理后，均添加对应的稀疏变量和稀疏约束得到网络结构S；(5)以基于交叉熵的分类损失和稀疏约束的损失为目标函数，对网络结构S进行训练；(6)以网络结构S为基础，计算测试样本视频中各时间片段对应的行为类别、稀疏系数以及其分布概率图，获取对象行为时空位置。2.如权利要求1所述的时空行为检测方法，其特征在于，所述步骤(1)具体包括：(1.1)将样本视频中包含的图像缩放到同一尺寸下；(1.2)利用目标检测器和FPN分别对归一化后的图像进行对象检测，获取两种对象检测框结果；(1.3)对两种对象检测框的并集进行非极大抑制，获取筛选的对象位置；(1.4)利用快速跟踪方法和滤波器对未被筛选的对象检测框进行跟踪，找回未检出的对象位置。3.如权利要求1或2所述的时空行为检测方法，其特征在于，所述步骤(2)具体包括：(2.1)对光流信息包含的光流水平和竖直方向上的值进行归一化；(2.2)在光流图水平和竖直方向上利用勾股定理，获取单通道的灰度图；(2.3)根据灰度图获取运动信息区间。4.如权利要求3所述的时空行为检测方法，其特征在于，所述步骤(3)具体包括：(3.1)全局平均池化时空卷积网络中下采样层的最后一层，获取卷积层的向量化表达；(3.2)将卷积层的向量化表达与下层样的最后一层相加获取反卷积网络上采样层的第一层；(3.3)在反卷积网络的每一层特征图上叠加对应下采样层的特征图，完成时空卷积和反卷积网络的构建；(3.4)对时空反卷积网络上采样层的最后一层特征图采用全局平均池化做向量化表达；(3.5)在上述时空卷积和反卷积网络中选取任一层的特征图中加入对象显著性监督；(3.6)在上述时空卷积和反卷积网络中选取任一层的特征图中加入运动显著性监督，完成时空卷积-反卷积网络的构建；(3.7)在卷积层的向量化表达和反卷积层的向量化表达后均连接全连接层，所述全连接层用于对行为类别的预测。5.如权利要求4所述的时空行为检测方法，其特征在于，所述步骤(4)具体包括：(4.1)样本视频分成的T个时间片段通过时空卷积后，将时空卷积网络连接的全连接层的特征xi(i＝1,...,T)拼接；(4.2)采用全局平均池化方法计算T维的权值向量w＝[w1,w...
【专利技术属性】
技术研发人员：桑农，张士伟，李致远，高常鑫，邵远杰，
申请(专利权)人：华中科技大学，
类型：发明
国别省市：湖北,42
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。