用于检测时序动作的方法和装置制造方法及图纸

本申请实施例公开了用于检测时序动作的方法和装置。该方法的一具体实施方式包括：获取动作视频；将动作视频输入至预先训练的高斯时间感知网络，得到动作视频中的时序动作的定位信息，其中，高斯时间感知网络通过引入高斯核来动态优化时序动作的时间尺度，用于对动作视频进行一步时序动作检测，定位信息包括时序动作的开始时间、结束时间和动作类别。该实施方式利用高斯时间感知网络检测动作视频中的时序动作，使得高斯时间感知网络能够通过引入高斯核来动态优化时序动作的时间尺度，改善时序动作的检测性能，从而提高了对时序动作的检测精准度。

【技术实现步骤摘要】
用于检测时序动作的方法和装置
本申请实施例涉及计算机
，具体涉及用于检测时序动作的方法和装置。
技术介绍
随着在线和个人媒体档案的大量增加，人们正在生成、存储和消费大量视频。在这种趋势下，鼓励开发高效的算法以智能地解析视频数据。这些改进成功的基础挑战之一是时间方面和空间方面的视频中的动作检测，即，时序动作检测。时序动作检测是当前计算机视频理解领域一个十分具有挑战的问题。大多数已有的时序动作检测方法都是从图像目标检测方法(例如SSD和FasterR-CNN)中受到启发，并通过扩展得到，检测一维时序序列上的动作位置。然而，这些方法因为提前固定了时间尺度，忽视了动作视频的固有结构而有着鲁棒性不高的问题。对于多变的动作视频，检测变得困难。
技术实现思路
本申请实施例提出了用于检测时序动作的方法和装置。第一方面，本申请实施例提供了一种用于检测时序动作的方法，包括：获取动作视频；将动作视频输入至预先训练的高斯时间感知网络，得到动作视频中的时序动作的定位信息，其中，高斯时间感知网络通过引入高斯核动态调节动作视频的时间本文档来自技高网...

【技术保护点】
1.一种用于检测时序动作的方法，包括：/n获取动作视频；/n将所述动作视频输入至预先训练的高斯时间感知网络，得到所述动作视频中的时序动作的定位信息，其中，所述高斯时间感知网络通过引入高斯核来动态优化所述时序动作的时间尺度，用于对所述动作视频进行一步时序动作检测，所述定位信息包括所述时序动作的开始时间、结束时间和动作类别。/n

【技术特征摘要】
1.一种用于检测时序动作的方法，包括：
获取动作视频；
将所述动作视频输入至预先训练的高斯时间感知网络，得到所述动作视频中的时序动作的定位信息，其中，所述高斯时间感知网络通过引入高斯核来动态优化所述时序动作的时间尺度，用于对所述动作视频进行一步时序动作检测，所述定位信息包括所述时序动作的开始时间、结束时间和动作类别。


2.根据权利要求1所述的方法，其中，所述高斯时间感知网络包括基本特征网络和多个级联的具有高斯核的一维时间卷积层。


3.根据权利要求2所述的方法，其中，所述将所述动作视频输入至预先训练的高斯时间感知网络，得到所述动作视频中的时序动作的定位信息，包括：
将所述动作视频输入至所述基本特征网络，得到所述动作视频的特征图；
将所述动作视频的特征图输入至所述多个级联的具有高斯核的一维时间卷积层，得到所述动作视频中的时序动作的定位信息。


4.根据权利要求3所述的方法，其中，所述基本特征网络包括三维卷积神经网络、一维卷积层和最大池化层。


5.根据权利要求4所述的方法，其中，所述将所述动作视频输入至所述基本特征网络，得到所述动作视频的特征图，包括：
将所述动作视频输入至所述三维卷积神经网络，得到所述动作视频中的视频片段的特征；
将所述动作视频中的视频片段的特征顺序连接，生成所述动作视频的特征图；
将所述动作视频的特征图输入至所述一维卷积层和所述最大池化层，来增加所述动作视频的特征图的感受野的时间尺寸。


6.根据权利要求3-5之一所述的方法，其中，所述将所述动作视频的特征图输入至所述多个级联的具有高斯核的一维时间卷积层，得到所述动作视频中的时序动作的定位信息，包括：
将所述动作视频的特征图输入至多个级联的一维时间卷积层，得到多个不同时间分辨率的特征图；
对于所述多个不同时间分辨率的特征图的单元格，学习高斯核来预测所述单元格对应的动作提名的时间尺度；
聚合所述单元格的上下文特征，生成所述单元格对应的动作提名的聚合特征；
将所述单元格对应的动作提名的聚合特征分别输入多个并行的一维...

【专利技术属性】
技术研发人员：姚霆，梅涛，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京;11