【技术实现步骤摘要】
本专利技术属于深度学习、计算机视觉及视频行为理解领域,具体涉及一种基于双向时序编码及双信息融合的无监督视频行为分割方法。
技术介绍
1、视频行为分割是计算机视觉领域的核心任务,其主要目标是将视频行为数据分割成不同的时间片段,其中每个片段对应特定行为或动作,为行为识别、检测和安防监控等视频理解领域提供关键应用价值。
2、现有视频行为分割方法通常依赖于有监督学习,需要耗费大量时间和人力资源进行帧级别的行为标签标注,这严重限制了实际应用的可行性。此外,有监督视频行为分割方法通常面临难以泛化到不同场景的问题,因为它们通常在特定数据集上训练,无法应对不同环境和数据变化。
3、为了克服有监督视频行为分割方法的局限性,近年来无监督视频行为分割方法受到关注。这类方法旨在自动分割视频中的不同行为片段,无需预先提供行为标签,从而显著减少了标注成本,增加了实际应用的可行性。目前,无监督视频行为分割方法主要分为两类:基于预测的方法和基于聚类的方法。基于预测的方法通常采用时序模型(如:循环神经网络)进行未来帧预测,使用预测损失序列的局部极
...【技术保护点】
1.一种基于双向时序编码及双信息融合的无监督视频行为分割方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的方法,其特征在于,所述步骤S1具体包括:为输入的行为视频提取改进的密集轨迹特征,用于描述视频中物体的轨迹和运动特征。
3.根据权利要求1所述的方法,其特征在于,所述步骤S2中双向时序上下文特征编码网络用于对预提取的视频帧特征序列进行重新编码,以充分利用时序上下文信息,具体步骤包括:
4.根据权利要求1所述的方法,其特征在于,所述步骤S3具体包括:
5.根据权利要求1所述的方法,其特征在于,所述步骤S4具体包括
6....
【技术特征摘要】
1.一种基于双向时序编码及双信息融合的无监督视频行为分割方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的方法,其特征在于,所述步骤s1具体包括:为输入的行为视频提取改进的密集轨迹特征,用于描述视频中物体的轨迹和运动特征。
3.根据权利要求1所述的方法,其特征在于,所述步骤s2中双向时序上下文特征编码网络用于对预提取的视频帧特征序列进行重新编码,以充分利用时序上下文信息,...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。