一种基于特征解耦的时序动作定位方法及系统技术方案

本发明专利技术公开了一种基于特征解耦的时序动作定位方法及系统，所述方法包括以下步骤：提取获得每个视频片段的粗糙特征；将每个视频片段的粗糙特征分别输入预训练好的解耦定位模型，所述解耦定位模型输出动作分类结果和动作定位结果；其中，所述解耦定位模型包括：自编码器，用于输入视频片段的粗糙特征，解耦并输出对应视频片段的细腻分类特征和细腻定位特征；分类网络，用于输入所述细腻分类特征，输出动作分类结果；定位网络，用于输入所述细腻定位特征，输出动作定位结果。本发明专利技术提供的方法，能够使得分类和定位各自关注的部分不再互相影响，可提高分类的准确率和定位的精准性。可提高分类的准确率和定位的精准性。可提高分类的准确率和定位的精准性。

【技术实现步骤摘要】
一种基于特征解耦的时序动作定位方法及系统


[0001]本专利技术属于计算机视觉
，特别涉及一种基于特征解耦的时序动作定位方法及系统。

技术介绍

[0002]现阶段，时序动作定位因为在动作检索、视频摘要、智能安防等广泛的应用而越来越受到研究界的关注。时序动作定位是视频理解中的基本任务，它要求对动作实例分类并且定位动作实例的时序边界；有效地处理时序动作定位任务需要追求两个目标：对于动作分类来说，需要追求足够的视觉不变性；对于定位来说，需要细粒地区分动作的起止时刻。
[0003]现有传统的时序动作定位方法中，对分类和定位任务使用共享的输入(示例解释性的，如提案等级的特征)，并没有很完善的考虑到上述两个目标。需要强调的是，分类任务需要特征关注于最具有分类判决力的地方，也可以理解为不同动作之间的区别；而定位任务需要特征关注于当前动作的起止时刻以及动作本身是否完整。公知的，最有判决力的地方和动作的起止时刻大部分情况下都是不同的(对于分类和定位任务来说，它们互为噪声)。
[0004]综上，目前共享的输入无法同时兼顾分类和定位任务，导致分本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于特征解耦的时序动作定位方法，其特征在于，包括以下步骤：获取待时序动作定位的视频并剪切为若干个视频片段，提取获得每个视频片段的粗糙特征；将每个视频片段的粗糙特征分别输入预训练好的解耦定位模型，所述解耦定位模型输出动作分类结果和动作定位结果；其中，所述解耦定位模型包括：自编码器，用于输入视频片段的粗糙特征，解耦并输出对应视频片段的细腻分类特征和细腻定位特征；分类网络，用于输入所述细腻分类特征，输出动作分类结果；定位网络，用于输入所述细腻定位特征，输出动作定位结果。2.根据权利要求1所述的一种基于特征解耦的时序动作定位方法，其特征在于，所述自编码器包括：编码器，用于输入视频片段的粗糙特征，输出三部分隐变量；其中，所述三部分隐变量包括只适合分类的隐变量、只适合定位的隐变量以及定位分类均适合的隐变量；解码器，用于输入所述三部分隐变量，输出还原的粗糙特征。3.根据权利要求2所述的一种基于特征解耦的时序动作定位方法，其特征在于，所述预训练好的解耦定位模型的获取步骤包括：(1)获取样本训练集；其中，每个样本均包括样本视频片段的粗糙特征、动作定位标签、动作分类标签；(2)将每个样本视频片段的粗糙特征输入自编码器，通过自编码器中的编码器输出三部分隐变量；将所述三部分隐变量输入自编码器的解码器，获得还原的粗糙特征；(3)将所述三部分隐变量进行处理后输入自编码器中的解码器，获得细腻分类特征；将所述细腻分类特征输入分类网络，获得预测分类结果；其中，处理的规则为，将所述三部分隐变量中任意一部分隐变量替换为0向量；(4)将所述三部分隐变量进行处理后输入自编码器中的解码器，获得细腻定位特征；将所述细腻定位特征输入定位网络，获得预测定位结果；其中，处理的规则为，将步骤(3)替换0向量后剩余的两部分隐变量中任意一部分隐变量替换为0向量；(5)计算所述解耦定位模型的损失值，基于所述损失值更新模型参数，获得所述预训练好的解耦定位模型。4.根据权利要求3所述的一种基于特征解耦的时序动作定位方法，其特征在于，所述解耦定位模型的损失值L的计算表达式为，L＝l
a
+l
c
+l
l
；式中，l
a
是自编码器的重构损失，l
c
是分类损失，l
l
是定位损失。5.根据权利要求4所述的一种基于特征解耦的时序动作定位方法，其特征在于，所述自编码器的重构损失为余弦相似度或欧式距离损失；所述分类损失为交叉熵损失；所述定位损失为绝对值距离损失损失。6.一种基于特征解耦的时序动作...

【专利技术属性】
技术研发人员：王乐，朱子欣，周三平，陈仕韬，辛景民，郑南宁，
申请(专利权)人：宁波市舜安人工智能研究院，
类型：发明
国别省市：