行为识别方法、装置、电子设备及存储介质制造方法及图纸

技术编号:40908672 阅读:14 留言:0更新日期:2024-04-18 14:38
本申请实施例提供了一种行为识别方法、装置、电子设备及存储介质,涉及行为识别技术领域。其中,该行为识别方法包括:获取待识别视频及对应的视频标签;对所述待识别视频对应的视频标签进行相应领域场景下的拓展性描述,生成所述待识别视频对应的至少一个拓展文本;根据所述待识别视频、以及对应的视频标签和至少一个拓展文本,对所述待识别视频中的行为进行类别预测,得到第一预测向量和至少一个第二预测向量;将所述第一预测向量和各所述第二预测向量进行融合,生成所述待识别视频的行为识别结果;所述行为识别结果用于指示所述待识别视频中行为的类别。本申请实施例解决了相关技术中视频行为识别鲁棒性差,准确度低的问题。

【技术实现步骤摘要】

本申请涉及行为识别,具体而言,本申请涉及一种行为识别方法、装置、电子设备及存储介质


技术介绍

1、行为识别是视频理解的重要问题。然而,目前现有技术中对图像进行行为识别时,使用基于领域对抗或特征对齐映射的方法,以期将两个领域的数据映射到相同的特征空间中,通过将图片-文本的多模态与训练模型迁移到视频领域进行行为识别。然而,在开放域场景下进行行为识别时,由于领域差异过大,且只使用简单的标签文本进行对应,不能充分体现视觉信息,导致视频行为识别准确度低,鲁棒性差。

2、由此可知,现有技术中视频行为识别鲁棒性差,准确度低的问题亟需解决。


技术实现思路

1、本申请各实施例提供了一种行为识别方法、装置、电子设备及存储介质,可以解决相关技术中存在的行为识别鲁棒性差,准确度低的问题。所述技术方案如下:

2、根据本申请实施例的一个方面,一种行为识别方法,包括:获取待识别视频及对应的视频标签;对所述待识别视频对应的视频标签进行相应领域场景下的拓展性描述,生成所述待识别视频对应的至少一个拓展文本;所述拓展文本本文档来自技高网...

【技术保护点】

1.一种行为识别方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述根据所述待识别视频、以及对应的视频标签和至少一个拓展文本,对所述待识别视频中的行为进行类别预测,得到第一预测向量和至少一个第二预测向量,包括:

3.如权利要求2所述的方法,其特征在于,所述分别对所述待识别视频、以及对应的视频标签和各拓展文本进行特征提取,获得对应所述待识别视频的视频特征、对应视频标签的视频标签特征和分别对应各拓展文本的多个拓展文本特征,包括:

4.如权利要求1所述的方法,其特征在于,所述将所述第一预测向量和各所述第二预测向量进行融合,生成所述待...

【技术特征摘要】

1.一种行为识别方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,所述根据所述待识别视频、以及对应的视频标签和至少一个拓展文本,对所述待识别视频中的行为进行类别预测,得到第一预测向量和至少一个第二预测向量,包括:

3.如权利要求2所述的方法,其特征在于,所述分别对所述待识别视频、以及对应的视频标签和各拓展文本进行特征提取,获得对应所述待识别视频的视频特征、对应视频标签的视频标签特征和分别对应各拓展文本的多个拓展文本特征,包括:

4.如权利要求1所述的方法,其特征在于,所述将所述第一预测向量和各所述第二预测向量进行融合,生成所述待识别视频的行为识别结果,包括:

5.如权利要求4所述的方法,其特征在于,所述将各所述第二预测向量与所述第一预测向量进行加权计算,得到所述行为识别结果之前,所述将所述第一预测...

【专利技术属性】
技术研发人员:王亚立许清林乔宇
申请(专利权)人:中国科学院深圳先进技术研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1