一种基于结构化分段网络的时间动作检测方法技术

本发明专利技术中提出的一种基于结构化分段网络的时间动作检测方法，其主要内容包括：三级结构、结构时间金字塔池、活动和完整性分类器、位置回归和多任务损失函数、降低计算成本，其过程为，框架产生一组不同持续时间的时间提案，每个提案都有一个开始和结束的时间；在每个提案之后，将构建一个时间金字塔，从而产生提案的全局表示；最后分别用于识别活动类别和评估完整性的两个分类器，并将它们的预测组合起来，从而产生有类别标签的实例的一个子集，过滤背景或不完整的提案。本发明专利技术克服了长期建模的计算问题，实现了长视频高效的端到端训练；能够精确地定位时间边界和定位动作，降低计算成本，从而允许对长期时间结构进行建模，进一步提高检测性能。

A temporal motion detection method based on structured segmented network

The present invention in a structured network time segment method based on motion detection, the main contents include: three level structure, Pyramid pool, activity and the integrity of the classifier, position regression and multi task loss function, reduce the computational cost of the process is to generate a group of different frame duration proposal each proposal has a beginning and ending time; in each proposal, will build a time in Pyramid, resulting in the overall proposal; finally two classifiers were used to assess the integrity and activity categories, and combine their predictions, resulting in a sub instance with the category label set filter background or incomplete proposal. The invention overcomes the calculation problem of long-term modeling, to achieve a long video efficient end-to-end training; capable of accurately positioning time boundary and positioning, reduce the computational cost, thus allowing the modeling of long time structure, to further improve the detection performance.

【技术实现步骤摘要】
一种基于结构化分段网络的时间动作检测方法
本专利技术涉及动作检测领域，尤其是涉及了一种基于结构化分段网络的时间动作检测方法。
技术介绍
随着影视、网络等媒体的迅速普及和发展，视频已成为信息的主要载体，且视频数据的数量呈爆炸式增长，因此相关的视频处理技术也正在发展中。针对视频的动作检测技术是当前研究的重点之一，具有很高的研究价值和广泛的应用前景，比如，它可以用于自动售货机、ATM机、商场、车站等公共场合的智能监控、人群中危险姿势的监控、虚拟现实、人机交互、体育及娱乐运动分析等，在工业、医疗、军事和生活等也需要用到人体动作检测装置来进行模拟训练。然而，现今的动作检测方法计算成本高，定位动作时精确度不高，急需改进以满足使用需求。本专利技术提出了一种基于结构化分段网络的时间动作检测方法，框架产生一组不同持续时间的时间提案，每个提案都有一个开始和结束的时间；在每个提案之后，将构建一个时间金字塔，从而产生提案的全局表示；最后分别用于识别活动类别和评估完整性的两个分类器，并将它们的预测组合起来，从而产生有类别标签的实例的一个子集，过滤背景或不完整的提案。本专利技术克服了长期建模的计算问题，实现了长本文档来自技高网...

【技术保护点】
一种基于结构化分段网络的时间动作检测方法，其特征在于，主要包括三级结构(一)；结构时间金字塔池(二)；活动和完整性分类器(三)；位置回归和多任务损失函数(四)；降低计算成本(五)。

【技术特征摘要】
1.一种基于结构化分段网络的时间动作检测方法，其特征在于，主要包括三级结构(一)；结构时间金字塔池(二)；活动和完整性分类器(三)；位置回归和多任务损失函数(四)；降低计算成本(五)。2.基于权利要求书1所述的结构化分段网络，其特征在于，提出的结构化分段网络框架将输入视频和一组时间动作提案；它输出一组与类别标签相关联的预测活动实例和时间范围(由起始点和终点界定)；从输入到输出，需要三个关键步骤；首先，框架产生一组不同持续时间的时间提案，每个提案都有一个开始和结束的时间；在每个提案之后，将构建一个时间金字塔，从而产生提案的全局表示；最后，分别用于识别活动类别和评估完整性的两个分类器，并将它们的预测组合起来，从而产生有类别标签的实例的一个子集，背景或不完整的其他提案将被过滤掉。3.基于权利要求书1所述的三级结构(一)，其特征在于，在输入级别，视频可以表示为T片段序列，表示为这里，一个片段包含几个连续的帧，其总体上由RGB图像和光流栈组合表征；考虑一组给定的N个提议每个提案pi由起始时间si和结束时间ei组成；因此，pi的持续时间为di＝ei-si；在s′i＝si-di/2和e′i＝ei+di/2的情况下，将每个提案pi增加到p′i＝[s′i,e′i]；增加的提案p′i将pi的跨度加倍，超过起始点和结束点，分别为di/2；如果提案与完成的实例精确对齐，则增强的提案不仅将捕获活动的固有过程，而且还将捕获如何开始以及如何结束；按照三个阶段的概念，将增强提案p′i划分为三个连续的间隔：和分别对应于开始、进程和结束阶段。4.基于权利要求书1所述的结构时间金字塔池(二)，其特征在于，结构化分段网络框架通过时间金字塔池来为每个提案提供全局表示；具体来说，给定一个增加的提案p′i分为三个阶段和首先分别通过时间金字塔池合并计算逐级特征向量fis，fic和fie，然后将它们连接成全局表示；具体来说，间隔[s,e]将覆盖一系列片段，表示为{St|s≤t≤e}；对于每个片段，可以获得一个特征向量vt；基于这些特征，构建一个K级时间金字塔，每个级别将区间均匀分为Bk部分；对于第k级的第i部分，其间隔是[ski,eki]，可以得到一个汇集的特征：这个阶段的整体表现可以通过连接所有层面所有部分的汇集特征来获得5.基于权利要求书1所述的活动和完整性分类器(三)，其特征在于，活动分类器A将输入提案分类为K+1类，即K活动类(标签为1,…,K)和附加“背景”类(标签为0)；完整性分类器是一组二进制分类器，每个分类器用于一个活动类；特别地，Ck根据涵盖所有三个阶段的全局表示{fis,fic,fie}，预测提案是否捕获k类的完整活动实例；这样，完整性不仅取决于提案本身，而且也取决于其周围环境；两...

【专利技术属性】
技术研发人员：夏春秋，
申请(专利权)人：深圳市唯特视科技有限公司，
类型：发明
国别省市：广东,44