基于上下文信息与提议分类解耦的时序动作检测方法技术

本发明专利技术涉及计算机视觉领域，具体涉及一种基于上下文信息与提议分类解耦的时序动作检测方法。该方法在时序提议生成的基础上，提出了时序上下文信息融合模块，对每个时序提议进行扩展，并融合上下文信息，使得时序提议尽可能多的包含丰富的动作上下文信息；同时对动作分类网络进行解耦，构建动作分类分支和时序边界回归分支，分别侧重于分类任务和时序边界回归任务，以优化每个子任务的性能；通过单独的时序边界回归分支对时序边界进行调整，并将两个分支得到的分类分数进行融合，使之能够更为准确的对视频中的动作进行分类和定位。本发明专利技术提高了时序动作检测模型对视频中动作分类和定位的准确性。定位的准确性。定位的准确性。

【技术实现步骤摘要】
基于上下文信息与提议分类解耦的时序动作检测方法


[0001]本专利技术涉及计算机视觉领域，具体涉及一种基于上下文信息与提议分类解耦的时序动作检测方法。

技术介绍

[0002]时序动作检测是计算机视觉领域中的基础任务之一，该任务的目的是通过对真实场景拍摄的视频进行分析和理解，检测其中存在的人类动作的类别和动作起止时间，让计算机可以代替人工更好的检测视频中存在的人类活动，减少人力物力的损耗，在视频推荐、智能安防、人机交互以及辅助驾驶等领域有着广泛的应用。现有的时序动作检测方法还面临着许多难点和挑战，其一，在时序动作检测方法中会生成大量的时序候选提议，但这些提议并不一定能完全覆盖动作片段的时间范围，对于包含不完整动作的时序候选提议，缺乏动作前后的上下文信息，动作分类器很容易因为表观信息的不同造成分类不准确；其二，常规的两阶段方法中动作分类网络将分类任务和时序边界回归任务放在一起考虑，对于时序边界的回归并不准确。对此，本专利技术提出一种更有效的时序动作检测方法以解决上述问题。

技术实现思路

[0003]针对上述时序动作检测方法中动作类别本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于上下文信息与提议分类解耦的时序动作检测方法，其特征在于，包括如下步骤：1)输入视频帧序列其中，n为帧序号，T是视频总帧数，v
n
为视频帧序列的第n帧，每个视频帧序列V有X个窗口位置；2)通过3D ConvNet提取视频帧序列的时序特征f
s
＝E(s
i
)；3)通过时序提议生成网络时序提议集合P；4)通过扩展时序提议，连接时序上下文，融合时序上下文信息，计算新的时序提议特征f
p
；5)构建动作分类分支和时序边界回归分支，并利用两个分支的动作分类分数进行互补融合，计算最终的动作类别概率Ps；6)通过与动作片段的真值匹配，给时序提议分配动作标签lp，输出最终的时序动作检测结果。2.如权利要求1所述的基于上下文信息与提议分类解耦的时序动作检测方法，其特征在于，所述步骤2)中提取视频帧序列的时序特征，包括如下步骤：2.1)对于每个视频帧序列V，位置i窗口所得视频帧片段记为s
i
＝(c
i
,l
i
)，其中c
i
表示该片段的中心位置，l
i
表示该片段的长度；2.2)采用3D ConvNet进行基础特征的提取，特征提取函数为E(
·
)，提取后的视频帧片段的时序特征记为f
s
＝E(s
i
)。3.如权利要求1所述的基于上下文信息与提议分类解耦的时序动作检测方法，其特征在于，所述步骤3)中提取时序提议集合P，包括如下步骤：3.1)在时序提议生成网络，输入时序特征f
s
，在每个时间位置生成K个锚框，位置j所得锚框记为3.2)通过二分类器对锚框进行动作分类，由(1
×
1)卷积核的时序卷积预测其类别分数，通过softmax函数计算输出动作概率p
′
；3.3)通过边界回归器对锚框进行边界回归，由(1
×
1)卷积核的时序卷积预测锚框的中心位置的偏移c
′
和长度的偏移l
′
，预测输出时序提议集合记为4.如权利要求1所述的基于上下文信息与提议分类解耦的时序动作检测方法，其特征在于，所述步骤4)中计算新的时序提议特征f
p
，包括如下步骤：4.1)输入时序提议集合P；4.2)对时序提议集合P中的每个提议片段进行扩展，向前向后分别扩展为原提议片段长度的一半；每个片段的中心位置为c，持续时间为l，即提议前后的上下文表示为其中v
i
表示片段中的第i帧，这使提议能够涵盖所有可能包含动作的时序片段；4.3)通过平均池化层D从时序特征f
s
中分离出初始提议特征和上下文特征；4.4)将提议特征和时序上下文特征进行矢量连接，使得时序上下文信息与初始提议信
息融合；4.5)计算新的时序提议特征f
p
，计算公式如下：其中，代表矢量连接，D由平均池化层进行。5.如权利要求1所述的基于上下文信息与提议分类解耦的时序动作检测方法，其特征在...

【专利技术属性】
技术研发人员：詹永照，严丽婷，
申请(专利权)人：江苏大学，
类型：发明
国别省市：