基于开放集的视频动作识别方法、装置、设备及存储介质制造方法及图纸

技术编号:40805624 阅读:20 留言:0更新日期:2024-03-28 19:29
本申请公开了一种基于开放集的视频动作识别方法、装置、设备及存储介质,涉及计算机视觉技术领域,包括:获取待识别视频,并基于预设时间长度将待识别视频划分为若干视频片段;基于预设关键帧提取规则从若干视频片段中分别提取出相应的若干关键帧;利用预设视觉编码器对若干关键帧进行处理,得到包含时间信息和空间信息的视觉编码特征;通过预设文本解码器对视觉编码特征进行解码处理,得到与待识别视频对应的动作描述文本;预设文本解码器由多头自注意力和前馈神经网络构成;从动作描述文本中确定出与待识别视频对应的若干动作类别。这样一来,本申请结合空间和时间信息识别动作,直接从动作描述文本确定动作类别,提高了准确性和鲁棒性。

【技术实现步骤摘要】

本专利技术涉及计算机视觉,特别涉及一种基于开放集的视频动作识别方法、装置、设备及存储介质


技术介绍

1、视频动作识别是指通过对视频序列进行分析和处理,从中提取出动作相关的信息,并将其归类为不同的动作类别。而开放集的视频动作识别是指在识别的动作类别集合中存在未知类别的情况下进行动作识别。相比于封闭集的视频动作识别,开放集的视频动作识别更具挑战性,因为模型需要有能力识别未见过的动作类别。在开放集的视频动作识别中,训练和测试的动作类别不完全重叠,模型需要具备对未知类别进行识别的能力。开放集的视频动作识别的目标是识别和分类已知类别的动作,同时也要能够检测和区分未知类别的动作。而基于零样本学习的视频动作识别则更注重通过学习已知类别的属性信息来推广到未见过的类别,从而实现对未知类别的识别。

2、开放集的视频动作识别具有广泛的应用场景,主要包括:视频监控与安全、交通监管与智能驾驶、运动分析与健身监测、智能辅助与增强现实等。开放集的视频动作识别的意义在于提高对未知动作类别的识别能力,拓宽了视频动作识别的适用范围和实用性。它能够提供更智能化和可靠的影像分析解决本文档来自技高网...

【技术保护点】

1.一种基于开放集的视频动作识别方法,其特征在于,包括:

2.根据权利要求1所述的基于开放集的视频动作识别方法,其特征在于,所述基于预设关键帧提取规则从所述若干视频片段中分别提取出相应的若干关键帧,包括:

3.根据权利要求1所述的基于开放集的视频动作识别方法,其特征在于,所述利用预设视觉编码器对所述若干关键帧进行处理,得到包含时间信息和空间信息的视觉编码特征之前,还包括:

4.根据权利要求3所述的基于开放集的视频动作识别方法,其特征在于,所述根据预设关键帧提取规则对所述训练数据集中的视频进行处理,以提取出相应的视频关键帧,并将所述训练数据集中的图像确定...

【技术特征摘要】

1.一种基于开放集的视频动作识别方法,其特征在于,包括:

2.根据权利要求1所述的基于开放集的视频动作识别方法,其特征在于,所述基于预设关键帧提取规则从所述若干视频片段中分别提取出相应的若干关键帧,包括:

3.根据权利要求1所述的基于开放集的视频动作识别方法,其特征在于,所述利用预设视觉编码器对所述若干关键帧进行处理,得到包含时间信息和空间信息的视觉编码特征之前,还包括:

4.根据权利要求3所述的基于开放集的视频动作识别方法,其特征在于,所述根据预设关键帧提取规则对所述训练数据集中的视频进行处理,以提取出相应的视频关键帧,并将所述训练数据集中的图像确定为相应的图像关键帧,包括:

5.根据权利要求3或4所述的基于开放集的视频动...

【专利技术属性】
技术研发人员:刘伟华李娇娇肖要林李林严宇崔潇王月佳
申请(专利权)人:智慧眼科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1