一种基于稠密边界时空网络的时序行为检测方法技术

本发明专利技术公开一种基于稠密边界时空网络的时序行为检测方法，包括如下步骤：步骤1：采用two‑stream提取待检测视频的时空特征，得到时空特征图；步骤2：采用LSTM学习视频信息中的长期依赖关系，增强上下文信息特征，获得多尺度的稠密边界特征；步骤3：采用稠密边界提取模块，得到尽可能多的候选提议时序片段，并预测所述候选提议时序片段的置信度得分；步骤4：采用Soft‑NMS方法对提取出的若干候选片段进行筛选，去除视频中的冗余片段。本发明专利技术方法能够提高特征的多样性，保证时序定位的精度，生成精准的时间边界候选，从而提升时序行为检测的召回率和AreaUnder Curve(AUC)大小。

【技术实现步骤摘要】
一种基于稠密边界时空网络的时序行为检测方法
本专利技术属于计算机视觉和模式识别
，具体涉及一种基于稠密边界时空网络的时序行为检测方法。
技术介绍
随着目前信息数据爆炸式增长，视频数据成为当代社会的主流数据，特别地，视频大多数是人体的行为活动，为了有效地解释这些数据，人体时序行为检测成为计算机视觉领域中非常重要的课题。时序行为检测作为视频理解的基石，其目的是在一段未剪辑的视频中找到动作的开始时间点和结束时间点。目前时序行为检测技术已应用于多个领域，例如教育、社交、娱乐、短视频等多个场景。以短视频领域为例，用户在上传一段原始视频后，可以通过时序行为检测算法功能接口完成动作视频的提取，并且进行智能剪辑，帮助用户自动生成更加专业的视频。时序行为检测分为两个步骤：首先，尽可能多的生成动作开始时间与结束时间提名；其次，通过对提取出的开始时间、结束时间提名进行评估，最终得到高精度、高召回率的动作提名。现阶段主流的时序行为检测方法是滑动窗口法(sliding-windows)和片段级别的动作概率法(snippet-levelactionnesss本文档来自技高网...

【技术保护点】
1.一种基于稠密边界时空网络的时序行为检测方法，其特征在于，包括以下步骤：/n步骤1：采用two-stream提取待检测视频的时空特征，生成RGB特征和光流特征；/n步骤2：将RGB特征和光流特征分别通过堆叠的两层一维卷积，然后融合得到融合特征；将3路特征序列再分别通过LSTM网络与一维卷积网络，产生3路增强特征序列，然后将3路增强特征序列进行融合，得到动作概率特征；/n步骤3：将动作概率特征和融合特征输入候选特征生成层，将这两类特征转化为特征序列，输入到稠密边界提取模块。动作概率特征序列通过3层二维卷积得到动作完整性置信度图，融合特征序列通过1个三维卷积和2个二维卷积得到边界置信度图；/n步...

【技术特征摘要】
1.一种基于稠密边界时空网络的时序行为检测方法，其特征在于，包括以下步骤：
步骤1：采用two-stream提取待检测视频的时空特征，生成RGB特征和光流特征；
步骤2：将RGB特征和光流特征分别通过堆叠的两层一维卷积，然后融合得到融合特征；将3路特征序列再分别通过LSTM网络与一维卷积网络，产生3路增强特征序列，然后将3路增强特征序列进行融合，得到动作概率特征；
步骤3：将动作概率特征和融合特征输入候选特征生成层，将这两类特征转化为特征序列，输入到稠密边界提取模块。动作概率特征序列通过3层二维卷积得到动作完整性置信度图，融合特征序列通过1个三维卷积和2个二维卷积得到边界置信度图；
步骤4：采用Soft-NMS方法对提取出的若干候选片段进行筛选，去除视频中的冗余片段。


2.根据权利要求1所述基于稠密边界时空网络的时序行为检测方法，其特征在于，步骤2中，针对视频...

【专利技术属性】
技术研发人员：潘晓英，薛玉锋，刘妮，王红玉，
申请(专利权)人：西安邮电大学，
类型：发明
国别省市：陕西;61