基于视频的行为识别方法、行为识别装置及终端设备制造方法及图纸

本发明专利技术提供了一种基于视频的行为识别方法、行为识别装置、终端设备及计算机可读存储介质，所述行为识别方法包括：通过特征提取器对视频的RGB帧提取第一个全连接层的特征和最后一个卷积层的特征；将所述第一个全连接层的特征输入至全连接长短期记忆网络LSTM进行时序建模，将所述最后一个卷积层的特征输入至卷积LSTM进行时序建模；将经过所述全连接LSTM进行时序建模后的特征和经过所述卷积LSTM进行时序建模后的特征输入至联合优化层；通过所述联合优化层对所述视频的RGB帧进行行为识别。通过本发明专利技术可解决现有行为识别方法存在背景信息复杂、对时序建模能力不够强等问题。

Video based behavior recognition method, behavior recognition device and terminal equipment

【技术实现步骤摘要】
基于视频的行为识别方法、行为识别装置及终端设备
本专利技术属于计算机视觉
，尤其涉及一种基于视频的行为识别方法、行为识别装置、终端设备及计算机可读存储介质。
技术介绍
视频行为识别是计算机视觉领域里最具挑战性的问题之前。视频行为识别就是利用计算机自动地分析视频数据，从而识别行为类别。视频行为识别在很多领域都有重要的应用价值，例如智能视频监控、视频检索、人机交互等。然而，现有行为识别方法存在背景信息复杂、对时序建模能力不够强等问题。故，有必要提出一种新的技术方案，以解决上述技术问题。
技术实现思路
有鉴于此，本专利技术提供了一种基于视频的行为识别方法、行为识别装置、终端设备及计算机可读存储介质，以解决现有行为识别方法存在背景信息复杂、对时序建模能力不够强等问题。本专利技术的第一方面提供了一种基于视频的行为识别方法，所述行为识别方法包括：通过特征提取器对视频的RGB帧提取第一个全连接层的特征和最后一个卷积层的特征；将所述第一个全连接层的特征输入至全连接长短期记忆网络LSTM进行时序建模，将所本文档来自技高网...

【技术保护点】
1.一种基于视频的行为识别方法，其特征在于，所述行为识别方法包括：/n通过特征提取器对视频的RGB帧提取第一个全连接层的特征和最后一个卷积层的特征；/n将所述第一个全连接层的特征输入至全连接长短期记忆网络LSTM进行时序建模，将所述最后一个卷积层的特征输入至卷积LSTM进行时序建模；/n将经过所述全连接LSTM进行时序建模后的特征和经过所述卷积LSTM进行时序建模后的特征输入至联合优化层；/n通过所述联合优化层对所述视频的RGB帧进行行为识别。/n

【技术特征摘要】
1.一种基于视频的行为识别方法，其特征在于，所述行为识别方法包括：
通过特征提取器对视频的RGB帧提取第一个全连接层的特征和最后一个卷积层的特征；
将所述第一个全连接层的特征输入至全连接长短期记忆网络LSTM进行时序建模，将所述最后一个卷积层的特征输入至卷积LSTM进行时序建模；
将经过所述全连接LSTM进行时序建模后的特征和经过所述卷积LSTM进行时序建模后的特征输入至联合优化层；
通过所述联合优化层对所述视频的RGB帧进行行为识别。


2.如权利要求1所述的行为识别方法，其特征在于，将经过所述全连接LSTM进行时序建模后的特征和经过所述卷积LSTM进行时序建模后的特征输入至联合优化层包括：
将经过所述全连接LSTM进行时序建模后的特征输入至所述全连接LSTM附属的注意力机制，将经过所述卷积LSTM进行时序建模后的特征输入至所述卷积LSTM附属的注意力机制；
将经过所述全连接LSTM附属的注意力机制处理后的特征和经过所述卷积LSTM附属的注意力机制处理后的特征输入至联合优化层。


3.如权利要求2所述的行为识别方法，其特征在于，在将经过所述卷积LSTM附属的注意力机制处理后的特征输入至联合优化层之前，还包括：
将经过所述卷积LSTM附属的注意力机制处理后的特征输入至池化层。


4.如权利要求3所述的行为识别方法，其特征在于，所述将经过所述全连接LSTM附属的注意力机制处理后的特征和经过所述卷积LSTM附属的注意力机制处理后的特征输入至联合优化层包括：
将经过所述全连接LSTM附属的注意力机制处理后的特征和经过所述池化层处理后的特征输入至所述联合优化层。


5.如权利要求1至4任一项所述的行为识别方法，其特征在于，所述联合优化层包括全连接层、dropout层和SoftMax层。


6.一种基于视频的行为识别装置，其特征在于，所述行为识...

【专利技术属性】
技术研发人员：徐洋洋，王磊，程俊，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：广东;44