一种针对视频中复杂人类行为的识别方法技术

本发明专利技术公开了一种针对视频中复杂人类行为的识别方法，首先将视频平均分为K个片段，并利用视频拆帧算法将视频拆分成连续的RGB帧；然后从每个视频片段中随机抽取一个RGB帧输入特征提取网络提取特征；随后利用长短时记忆网络关联分段特征得到包含行为模式变化信息的特征，并将该特征与之前的静态特征相拼接得到既包含完整行为动态演变模式又包含行为外观信息的特征；最后将该特征输入分类器进行分类从而得到最终的行为识别结果。该方法通过关联复杂行为的上下文信息，可以准确的发掘视频中复杂行为的变化模式，能显著提升复杂行为的识别准确率。

【技术实现步骤摘要】
一种针对视频中复杂人类行为的识别方法
本专利技术属于视频内容理解领域，尤其涉及一种针对视频中复杂人类行为的识别方法。
技术介绍
随着互联网技术的发展和智能终端设备的普及，越来越多的视频被上传到互联网上。传统的视频管理与分析严重依靠人工观看的方式，但是由于每个人的认知不同，导致最后对视频的分类标准不统一。与此同时，面对海量视频，依靠人工处理的方式已经不切实际，因此设计出可以自动分析视频内容的算法就显得尤为重要。然而在各类视频中人类往往是信息的主要载体，而人类行为往往包含了视频数据中值得分析的信息，所以设计出一个鲁棒性较好的视频中的人类行为识别方法就很重要。随着深度学习技术的发展，基于深度学习的人类行为识别方法已经被广泛提出，主要分为三类：基于双流网络的行为识别方法基于3D卷积网络的行为识别方法基于卷积网络+循环神经网络的行为识别方法。以上方法存在一个共同问题，它们只利用了完整视频中的部分行为信息，对部分行为信息识别的结果是不准确的。目前将视频分段的策略可以兼顾完整的视频信息，但采用平均视频分段得分的方式不足以发掘行为在视频中前后的演变模式本文档来自技高网...

【技术保护点】
1.一种针对视频中的人类行为的识别方法，其特征在于，包括以下步骤：/n(1)视频分段拆帧：将视频平均分为K个片段，并利将视频拆分成连续的RGB帧；/n(2)特征提取：从每个视频片段中随机抽取一帧RGB帧送入特征提取网络；/n(3)特征关联及特征拼接：将提取到的每个分段的特征输入长短时记忆网络以发掘这些特征之间的一个内在关联，并选取长短时记忆网络的最后一个时间步的输出作为关联之后的特征；对步骤(2)提取到视频每个分段的特征向量求平均，并将结果与特征关联模块的输出特征进行拼接；/n(4)分类：将步骤(3)得到的特征输入全连接层以及softmax分类器进行分类，最终得到识别结果。/n

【技术特征摘要】
1.一种针对视频中的人类行为的识别方法，其特征在于，包括以下步骤：
(1)视频分段拆帧：将视频平均分为K个片段，并利将视频拆分成连续的RGB帧；
(2)特征提取：从每个视频片段中随机抽取一帧RGB帧送入特征提取网络；
(3)特征关联及特征拼接：将提取到的每个分段的特征输入长短时记忆网络以发掘这些特征之间的一个内在关联，并选取长短时记忆网络的最后一个时间步的输出作为关联之后的特征；对步骤(2)提取到视频每个分段的特征向量求平均，并将结果与特征关联模块的输出特征进行拼接；
(4)分类：将步骤(3)得到的特征输入全连接层以及softmax分类器进行分类，最终得到识别结果。


2.根据权利要求1所述的一种针对视频中复杂人类行为的识别方法，其特征在于，步骤(1)所述K个片段，K不受视频时间长度的影响。


3.根据权利要求1所述的一种针对视频中复杂人类行为的识别方法，其特征在于，所述步骤(2)包括以下步骤：
(21)利用现有的视频拆帧算法将视频的每个分段拆解为RGB帧；
(22)从每个视频分段中随机抽取一个RGB帧作为视频中完整行为的一部分表示。


4.根据权利要求1所述的一种针对视频中复杂人类行为的识别方法，其特征在于，步骤(3)所述的特征包括动态特征和...

【专利技术属性】
技术研发人员：何鑫，许娟，金莹莹，
申请(专利权)人：南京航空航天大学，
类型：发明
国别省市：江苏;32