当前位置: 首页 > 专利查询>浙江大学专利>正文

一种基于双向时序编码及双信息融合的无监督视频行为分割方法技术

技术编号:40580969 阅读:31 留言:0更新日期:2024-03-06 17:24
本发明专利技术提供一种基于双向时序编码及双信息融合的无监督视频行为分割方法,具体包括:S1.构建特征预提取模块,用于提取视频中物体的轨迹和运动特征;S2.构建双向时序上下文特征编码网络,包含两个多层感知机特征映射层、前向和后向自回归编码器、及特征融合层;S3.构建两阶段视频行为分割模块,包含基于预测‑相似融合信息的初始分割模块、及优化模块;S4.基于预提取的视频帧特征构建训练集,训练特征编码网络;S5.使用特征预提取模块、训练好的特征编码网络、及两阶段视频行为分割模块对输入视频进行无监督行为分割。相比于已有方法,本发明专利技术充分利用了时序上下文信息及预测‑相似融合信息,提高了分割质量和性能。

【技术实现步骤摘要】

本专利技术属于深度学习、计算机视觉及视频行为理解领域,具体涉及一种基于双向时序编码及双信息融合的无监督视频行为分割方法


技术介绍

1、视频行为分割是计算机视觉领域的核心任务,其主要目标是将视频行为数据分割成不同的时间片段,其中每个片段对应特定行为或动作,为行为识别、检测和安防监控等视频理解领域提供关键应用价值。

2、现有视频行为分割方法通常依赖于有监督学习,需要耗费大量时间和人力资源进行帧级别的行为标签标注,这严重限制了实际应用的可行性。此外,有监督视频行为分割方法通常面临难以泛化到不同场景的问题,因为它们通常在特定数据集上训练,无法应对不同环境和数据变化。

3、为了克服有监督视频行为分割方法的局限性,近年来无监督视频行为分割方法受到关注。这类方法旨在自动分割视频中的不同行为片段,无需预先提供行为标签,从而显著减少了标注成本,增加了实际应用的可行性。目前,无监督视频行为分割方法主要分为两类:基于预测的方法和基于聚类的方法。基于预测的方法通常采用时序模型(如:循环神经网络)进行未来帧预测,使用预测损失序列的局部极值点作为分割边界,但本文档来自技高网...

【技术保护点】

1.一种基于双向时序编码及双信息融合的无监督视频行为分割方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的方法,其特征在于,所述步骤S1具体包括:为输入的行为视频提取改进的密集轨迹特征,用于描述视频中物体的轨迹和运动特征。

3.根据权利要求1所述的方法,其特征在于,所述步骤S2中双向时序上下文特征编码网络用于对预提取的视频帧特征序列进行重新编码,以充分利用时序上下文信息,具体步骤包括:

4.根据权利要求1所述的方法,其特征在于,所述步骤S3具体包括:

5.根据权利要求1所述的方法,其特征在于,所述步骤S4具体包括

6....

【技术特征摘要】

1.一种基于双向时序编码及双信息融合的无监督视频行为分割方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的方法,其特征在于,所述步骤s1具体包括:为输入的行为视频提取改进的密集轨迹特征,用于描述视频中物体的轨迹和运动特征。

3.根据权利要求1所述的方法,其特征在于,所述步骤s2中双向时序上下文特征编码网络用于对预提取的视频帧特征序列进行重新编码,以充分利用时序上下文信息,...

【专利技术属性】
技术研发人员:郑能干宋智颖
申请(专利权)人:浙江大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1