弱监督时序边界定位方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例公开了一种弱监督时序边界定位方法及装置，所述方法包括：获取视频，并分别对视频中的各视频帧和视频对应的文本描述进行特征提取，得到各视频帧的原始特征和文本描述的文本特征；根据各视频帧的原始特征与文本描述的文本特征之间的相关性，得到各视频帧的正相关特征和负相关特征；利用掩码重建将视频的视频特征与文本描述的文本特征进行对齐，分别得到各视频帧的重建文本特征和重建视频特征；视频的视频特征包括原始特征、正相关特征和负相关特征；根据各视频帧的重建文本特征和重建视频特征，对视频中动作的时序边界进行定位，得到边界定位结果。本申请解决了相关技术无法对齐语言和视频特征，不能实现时序边界定位的问题。定位的问题。定位的问题。

【技术实现步骤摘要】
弱监督时序边界定位方法、装置、电子设备及存储介质


[0001]本申请属于视频分析
，尤其涉及一种弱监督时序边界定位方法、装置、电子设备及存储介质。

技术介绍

[0002]时序边界定位作为视频分析领域中的研究热点，对于未裁剪的视频而言至关重要，在多种场景下有很大的应用潜力，时序边界定位不仅要求标注动作发生的片段区间，还需要识别动作的类别。例如，定位一名运动员短跑动作的视频即需要确定跑步片段区间的开始区间和结束区间，同时识别该片段区间内的动作类别为跑步。由于对视频进行人工的边界标记耗时耗力，近年来的研究主要集中在弱监督的设置中，即在训练过程中，不提供明确的时序边界的监督信息，而只有文本描述或者视频级的动作标签。
[0003]然而，相关技术中，如何将语言和视频特征对齐是有难度的，即，暂时只能实现时序语言定位或者时序动作定位中的其中一种定位，而无法同时完成两种定位，进而无法对齐语言和视频特征，从而不能实现时序边界定位。
[0004]因此，急需一种能够对齐语言和视频特征，来实现时序边界定位的弱监督方案。

技术实现思路

...

【技术保护点】

【技术特征摘要】
1.一种弱监督时序边界定位方法，其特征在于，所述方法包括：获取视频，并分别对所述视频中的各视频帧和所述视频对应的文本描述进行特征提取，得到各视频帧的原始特征和所述文本描述的文本特征；所述文本描述用于描述所述视频对应的动作标签；根据各视频帧的原始特征与所述文本描述的文本特征之间的相关性，得到各视频帧的正相关特征和负相关特征；利用掩码重建将所述视频的视频特征与所述文本描述的文本特征进行对齐，分别得到各视频帧的重建文本特征和重建视频特征；所述视频的视频特征包括各视频帧的原始特征、正相关特征和负相关特征；根据各视频帧的重建文本特征和重建视频特征，对所述视频中动作的时序边界进行定位，得到边界定位结果。2.如权利要求1所述的方法，其特征在于，所述分别对所述视频中的各视频帧和所述视频对应的文本描述进行特征提取，得到各视频帧的原始特征和所述文本描述的文本特征，包括：对所述视频中的各视频帧进行特征提取，得到各视频帧的原始特征；对各视频帧的原始特征进行动作类别预测，得到所述视频对应的动作标签，并将所述视频对应的动作标签转换为所述视频对应的文本描述；对所述视频对应的文本描述进行特征提取，得到所述文本描述的文本特征。3.如权利要求1所述的方法，其特征在于，所述根据各视频帧的原始特征与所述文本描述的文本特征之间的相关性，得到各视频帧的正相关特征和负相关特征，包括：根据各视频帧的原始特征与所述文本描述的文本特征之间的相关性，分别计算各视频帧与所述文本描述的正相关分数和负相关分数；根据计算得到的正相关分数和各视频帧的原始特征，计算各视频帧的正相关特征；根据计算得到的负相关分数和各视频帧的原始特征，计算各视频帧的负相关特征。4.如权利要求1所述的方法，其特征在于，所述利用掩码重建将所述视频的视频特征与所述文本描述的文本特征进行对齐，分别得到各视频帧的重建文本特征和重建视频特征，包括：基于掩码重建，引导所述视频的视频特征重建掩码后的文本特征，得到各视频帧的重建文本特征；基于掩码重建，引导所述文本描述的文本特征重建掩码后的视频特征，得到各视频帧的重建视频特征。5.如权利要求4所述的方法，其特征在于，所述基于掩码重建，引导所述视频的视频特征重建掩码后的文本特征，得到各视频帧的重建文本特征，以及基于掩码重建，引导所述文本描述的文本特征重建掩码后的视频特征，得到各视频帧的重建视频特征，包括：针对每一个视频帧，根据所述视频帧的原始特征、正相关特征和负相关特征分别对掩码后的文本特征进行掩码重建，得到所述视频帧的多个重建文本特征；根据所述文本描述...

【专利技术属性】
技术研发人员：王亚立，乔宇，马钰儿，刘熠，
申请(专利权)人：中国科学院深圳先进技术研究院，
类型：发明
国别省市：