基于片段特征传播的弱监督时序行为定位方法及系统技术方案

本发明专利技术提出基于片段特征传播的弱监督时序行为定位方法及系统，涉及计算机视觉技术领域

【技术实现步骤摘要】
基于片段特征传播的弱监督时序行为定位方法及系统


[0001]本专利技术属于计算机视觉
，尤其涉及基于片段特征传播的弱监督时序行为定位方法及系统
。

技术介绍

[0002]本部分的陈述仅仅是提供了与本专利技术相关的
技术介绍
信息，不必然构成在先技术
。
[0003]随着计算机技术的蓬勃发展，互联网视频快速生成和传播，相较于之前的纯文字和图片等表现形式，视频的内容更加丰富多样吸引眼球，已经成为一种信息传播和表达的重要载体
。
在这种时代背景下，迫切地需要寻求一种工具对海量视频进行分类
、
识别和检测等，因此视频内容理解算法应运而生
。
时序行为定位作为视频内容理解领域的一个子任务，能够对未剪辑的长视频进行分析，预测出视频中行为的起止时间，并判断其行为类别，应用场景更为广泛，为视频分析技术实现智能自动化提供了重要的支持和推动作用
。
[0004]目前，深度学习技术在图像处理方面的成功运用为该任务提供了解决思路，现阶段的时序行为定位模型主要有全监督和弱监督两种学习方式，两者的区别在于，前者是以帧级的行为实例注解为标签进行训练，后者则以视频级的粗粒度标签进行训练
。
相比之下，全监督的模型需要提供精确的时序边界标注信息，且考虑到标注人员的主观性，需要耗费大量的标注成本和精力，因此弱监督时序行为定位由于其标签的易获取性和标注客观性，获得了广泛地关注
。
[0005]由于现实生活中产生的视频较长，且背景和动作复杂多变，视频结构复杂，导致目前的研究仍处于初级阶段，还存在背景
、
上下文易和动作混淆以及时序关系难以建模等问题，这使得弱监督时序行为定位算法无法满足现实需求
。

技术实现思路

[0006]为克服上述现有技术的不足，本专利技术提供了基于片段特征传播的弱监督时序行为定位方法及系统，能够过滤无用的背景帧并补偿短时动作信息，提高对短动作定位的精确度，同时更新动作的代表性特征，并在视频内和视频间之间传播代表性信息，以便生成更好的伪标签对行为建议进行监督，进一步细化动作边界，提高定位性能
。
[0007]为实现上述目的，本专利技术的一个或多个实施例提供了如下技术方案：
[0008]本专利技术第一方面提供了基于片段特征传播的弱监督时序行为定位方法
。
[0009]基于片段特征传播的弱监督时序行为定位方法，包括以下步骤：
[0010]获取待处理视频，将待处理视频划分为多个视频片段，分别提取视频片段特征输入至待训练的检测器中；
[0011]采用期望最大化注意力获取每个视频片段的代表性片段，得到段内视频特征；采用自注意力机制对多个视频片段之间的关系进行建模，得到段间视频特征；
[0012]将每个段内视频特征和段间视频特征在多个视频片段之间进行迭代传播，得到更
新后的段内视频特征和段间视频特征；
[0013]构造伪标签，基于更新后的段间视频特征得到不确定性分数
、
时间类激活序列和前景
‑
背景注意力，利用不确定性分数加权伪标签损失，指导待训练的检测器从伪标签中学习，得到最终训练好的检测器；
[0014]基于最终训练好的检测器，获得注意力加权的视频级动作概率，实现对待处理视频中动作的检测
。
[0015]本专利技术第二方面提供了基于片段特征传播的弱监督时序行为定位系统
。
[0016]基于片段特征传播的弱监督时序行为定位系统，包括：
[0017]视频片段特征获取模块，被配置为：获取待处理视频，将待处理视频划分为多个视频片段，分别提取视频片段特征输入至待训练的检测器中；
[0018]段内视频特征和段间视频特征获取模块，被配置为：采用期望最大化注意力获取每个视频片段的代表性片段，得到段内视频特征；采用自注意力机制对多个视频片段之间的关系进行建模，得到段间视频特征；
[0019]迭代传播模块，被配置为：将每个段内视频特征和段间视频特征在多个视频片段之间进行迭代传播，得到更新后的段内视频特征和段间视频特征；
[0020]伪标签训练模块，被配置为：构造伪标签，基于更新后的段间视频特征得到不确定性分数
、
时间类激活序列和前景
‑
背景注意力，利用不确定性分数加权伪标签损失，指导待训练的检测器从伪标签中学习，得到最终训练好的检测器；
[0021]检测模块，被配置为：基于最终训练好的检测器，获得注意力加权的视频级动作概率，实现对待处理视频中动作的检测
。
[0022]本专利技术第三方面提供了计算机可读存储介质，其上存储有程序，该程序被处理器执行时实现如本专利技术第一方面所述的基于片段特征传播的弱监督时序行为定位方法中的步骤
。
[0023]本专利技术第四方面提供了电子设备，包括存储器
、
处理器及存储在存储器上并可在处理器上运行的程序，所述处理器执行所述程序时实现如本专利技术第一方面所述的基于片段特征传播的弱监督时序行为定位方法中的步骤
。
[0024]以上一个或多个技术方案存在以下有益效果：
[0025]本专利技术提供了一种基于片段特征传播的弱监督时序行为定位方法及系统，能够进行背景过滤，过滤无用的背景帧并补偿短时动作信息，提高对短动作定位的精确度；同时在视频内和视频间之间传播代表性信息，从而生成更好的伪标签对行为建议进行监督，进一步细化动作边界，提高定位性能
。
[0026]本专利技术为了处理伪标签噪声的影响，使用
FC
层输出不确定性评分，使用该评分在每个时间步重新加权伪标签损失，能够指导模型从有噪声的伪标签中更好的学习
。
[0027]本专利技术附加方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践了解到
。
附图说明
[0028]构成本专利技术的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定
。
[0029]图1为第一个实施例的方法流程图
。
[0030]图2为第一个实施例过滤采样流程图
。
具体实施方式
[0031]应该指出，以下详细说明都是示例性的，旨在对本专利技术提供进一步的说明
。
除非另有指明，本文使用的所有技术和科学术语具有与本专利技术所属
的普通技术人员通常理解的相同含义
。
[0032]需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本专利技术的示例性实施方式
。
[0033]在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合
。
[0034]研究背景：
[0035](1)
时序行为定位：
[0036]全监督时序行为定位算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
基于片段特征传播的弱监督时序行为定位方法，其特征在于，包括以下步骤：获取待处理视频，将待处理视频划分为多个视频片段，分别提取视频片段特征输入至待训练的检测器中；采用期望最大化注意力获取每个视频片段的代表性片段，得到段内视频特征；采用自注意力机制对多个视频片段之间的关系进行建模，得到段间视频特征；将每个段内视频特征和段间视频特征在多个视频片段之间进行迭代传播，得到更新后的段内视频特征和段间视频特征；构造伪标签，基于更新后的段间视频特征得到不确定性分数
、
时间类激活序列和前景
‑
背景注意力，利用不确定性分数加权伪标签损失，指导待训练的检测器从伪标签中学习，得到最终训练好的检测器；基于最终训练好的检测器，获得注意力加权的视频级动作概率，实现对待处理视频中动作的检测
。2.
如权利要求1所述的基于片段特征传播的弱监督时序行为定位方法，其特征在于，所述提取视频片段特征，具体包括：获取每一个视频片段的嵌入特征；对嵌入特征进行背景过滤和动态采样，得到视频片段特征
。3.
如权利要求2所述的基于片段特征传播的弱监督时序行为定位方法，其特征在于：对嵌入特征进行背景过滤和动态采样，具体为：将嵌入特征经由两个卷积层和
sigmoid
函数，输出前景权重；将前景权重乘以嵌入特征，抑制背景帧
、
对背景进行过滤；获取视频片段中行为动作的估计持续时间，更新采样权重，计算更新后采样权重的累积分布函数，利用累积分布函数的逆函数均匀采样，扩大短时动作片段，得到视频片段特征
。4.
如权利要求1所述的基于片段特征传播的弱监督时序行为定位方法，其特征在于，所述期望最大化注意力使用基于高斯混合模型的期望最大化算法，采用分离的高斯混合模型获取每个视频片段的段内视频特征
。5.
如权利要求1所述的基于片段特征传播的弱监督时序行为定位方法，其特征在于，段内视频特征和段间视频特征在多个视频片段之间进行迭代传播，具体公式为：内视频特征和段间视频特征在多个视频片段之间进行迭代传播，具体公式为：
Z
*(t)
＝
softmax(
λ
Norm2(X
fs
)Norm2(
μ
(t
‑
1)
)
T
)
其中，
t
表示第
t
次迭代；
μ
*(0)
为初始的段内视频特征；
ω
表示控制特征传播与原始特征之间权衡的参数；
X
fs
为当前视频的片段特征；
μ
*(t)
为第
t
次迭代的段内视频特征；为第
t
次迭代的段间视频特征；为第
t
‑1次迭代的段间视频特征；
Z
*(t)
为第
t
次迭代时，计算出来的高斯函数的新权重；
Norm1(Z
*
)
T
为
(Z
*(t)
)
T
的逐列
l1归一化；
λ
表示控制分布平滑度的超参数
。6.
如权利要求1所...

【专利技术属性】
技术研发人员：常发亮，马瑞一，刘春生，王德鑫，郇恒强，王彬，常致富，
申请(专利权)人：山东大学，
类型：发明
国别省市：