基于时空注意卷积神经网络的行为识别方法及装置制造方法及图纸

本发明专利技术属于计算机视觉技术领域，具体涉及一种基于时空注意卷积神经网络的行为识别方法及装置，旨在解决如何准确识别视频中目标行为的技术问题。本发明专利技术提供的行为识别方法包括：将待测视频等间隔地分割为多个视频段；基于预先构建的空间注意网络提取每个视频段的光流特征，根据每个视频段的光流特征获取每个视频段的运动显著区域并且根据运动显著区域生成空间运动显著性映射图；基于预先构建的视频分类网络并且根据多个预设的行为类别、每个视频段以及相应的空间运动显著性映射图预测每个视频段对应的行为类别；按可信度降序选取前N个视频段的预测结果的加权平均值作为待测视频的行为识别结果。本发明专利技术能够有效提升行为识别的效果。

【技术实现步骤摘要】
基于时空注意卷积神经网络的行为识别方法及装置
本专利技术属于计算机视觉
，具体涉及一种基于时空注意卷积神经网络的行为识别方法及装置。
技术介绍
人体行为识别技术广泛应用于人机智能交互、虚拟实现和视频监控等领域，其能够对人在不同场景下面的行为进行区分和判断。近年来人体行为识别得到了广泛的研究，提出了大量的算法，基于卷积神经网络的方法主要包括两大类，一类在RGB视频帧和光流帧中分别训练一个深度卷积网络，接着融合两个网络的预测结果能有效提升单个神经网络的识别精度；另一类是利用人体关节点坐标或者人体边界框提取人体部位的表观特征，再利用该表观特征进行行为分类预测。在真实场景中有效的人体行为识别仍然非常困难，主要的挑战来自于视频数据的复杂性、类内散度大、背景运动和相机运动等。视频中不同时间片段及不同空间区域对分类贡献差别很大，传统的行为识别算法同等对待不同时间片段及不同空间区域信息，这将会引入干扰信息到分类模型中。为了定位视频中的显著区域，通常在行为识别中引入视觉注意机制，然而以往的基于视觉注意机制的行为识别方法仅包含空域的视觉注意机制，而没有涉及时域的视觉注意机制，并且计算复杂度高，实验本文档来自技高网...

【技术保护点】
1.一种基于时空注意卷积神经网络的行为识别方法，其特征在于包括：将待测视频等间隔地分割为多个视频段；基于预先构建的空间注意网络提取每个所述视频段的光流特征，根据每个所述视频段的光流特征获取每个所述视频段的运动显著区域并且根据所述运动显著区域生成空间运动显著性映射图；基于预先构建的视频分类网络并且根据多个预设的行为类别、每个所述视频段以及相应的空间运动显著性映射图预测所述每个视频段对应的行为类别；计算每个所述视频段的预测结果的可信度，并且按所述可信度降序选取前N个视频段的预测结果，以所述前N个视频段的预测结果的加权平均值作为所述待测视频的行为识别结果；其中，所述空间注意网络和视频分类网络均是基于...

【技术特征摘要】
1.一种基于时空注意卷积神经网络的行为识别方法，其特征在于包括：将待测视频等间隔地分割为多个视频段；基于预先构建的空间注意网络提取每个所述视频段的光流特征，根据每个所述视频段的光流特征获取每个所述视频段的运动显著区域并且根据所述运动显著区域生成空间运动显著性映射图；基于预先构建的视频分类网络并且根据多个预设的行为类别、每个所述视频段以及相应的空间运动显著性映射图预测所述每个视频段对应的行为类别；计算每个所述视频段的预测结果的可信度，并且按所述可信度降序选取前N个视频段的预测结果，以所述前N个视频段的预测结果的加权平均值作为所述待测视频的行为识别结果；其中，所述空间注意网络和视频分类网络均是基于预设的视频样本并且利用机器学习算法所构建的深度卷积神经网络；所述空间运动显著性映射图包括所述运动显著区域的位置坐标和每个所述位置坐标对应的显著性权值。2.根据权利要求1所述的基于时空注意卷积神经网络的行为识别方法，其特征在于，所述空间注意网络还包括空间运动显著性映射图生成器和第一卷积处理单元，所述第一卷积处理单元包括多个顺次连接的卷积层，所述空间运动显著性映射图生成器包括卷积层；所述空间运动显著性映射图生成器按照下式所示的方法获取所述运动显著区域中每个位置坐标对应的显著性权值：其中，所述M(x,y)为所述运动显著区域中位置坐标为(x,y)处的显著性权值，所述wk为所述空间运动显著性映射图生成器的卷积层中第k个卷积单元的权值，所述为所述第一卷积处理单元最后一层卷积层中第k个卷积单元在位置坐标(x,y)输出的光流特征，所述Sn为第n个输送至所述空间注意网络的视频段，所述θ为预设的空间注意网络的卷积参数。3.根据权利要求2中所述的基于时空注意卷积神经网络的行为识别方法，其特征在于，所述空间注意网络还包括全局平均池化层和辅助损失层；所述全局平均池化层的输入端连接所述第一卷积处理单元的输出端；所述辅助损失层的输入端连接所述全局平均池化层的输出端；所述全局平均池化层，配置为对所述第一卷积处理单元输出的光流特征进行平均池化处理；所述辅助损失层，配置为基于预设的特征样本和所述全局平均池化层处理后的光流特征计算所述全局平均池化层处理后的光流特征的损失函数。4.根据权利要求2所述的基于时空注意卷积神经网络的行为识别方法，其特征在于，所述视频分类网络包括顺次连接的第二卷积处理单元、空间池化层、全连接层和分类函数层；所述第二卷积处理单元包括多个顺次连接的卷积处理子单元并且每个所述卷积处理子单元均包括顺次连接的卷积层和批量归一化层；所述空间池化层还与所述空间注意网络中空间运动显著性映射图生成器的输出侧连接；所述空间池化层按照下式所示的方法获取每个所述视频段的时空特征：其中，所述K为所述时空特征f的空间...

【专利技术属性】
技术研发人员：胡卫明，杨浩，原春锋，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：北京,11