基于视频去重的在线动作识别方法、装置及相关设备制造方法及图纸

技术编号:40738052 阅读:18 留言:0更新日期:2024-03-25 19:59
本发明专利技术公开了一种基于视频去重的在线动作识别方法、装置、计算机设备及存储介质,所述方法包括:从在线视频中获取当前帧图像和历史帧图像序列,并将当前帧图像和历史帧图像序列输入动作识别模型中。确定当前帧图像对应的空间编码向量和历史帧图像序列对应的空间编码向量序列;对所述空间编码向量序列中的向量进行时间编码,得到编码结果,对编码结果中满足预设条件的特征进行去重,得到历史时间编码向量;对所述历史时间编码向量和所述当前帧图像对应的空间编码向量进行交互注意力计算,并对得到的注意力结果进行连接,得到解码结果;对解码结果进行动作识别,得到动作识别结果,采用本发明专利技术提高在线视频动作识别的精度、增强模型的鲁棒性。

【技术实现步骤摘要】

本专利技术涉及动作识别领域,尤其涉及一种基于视频去重的在线动作识别方法、装置及相关设备


技术介绍

1、在动作识别
,随着人工智能、模式识别等技术的飞速发展,人体的动作识别受到越来越多人的关注。目前对人体动作识别的方法的过程为:从与人体的动作行为有关的视频中抽取固定帧数的图像,将抽取的图像输入到模型中进行分类。但利用模型对整段视频的部分图像进行动作识别,对输入数据的质量的要求较高,导致模型的鲁棒性较差。例如,当抽取的图像不含特定动作时,会导致动作识别错误,降低模型的识别准确率。对于重复动作,如:睡觉、玩手机等,不同帧之间变化不明显,从而导致大量重复计算。

2、因此,现有的动作识别方法存在模型鲁棒性较差的问题。


技术实现思路

1、本专利技术实施例提供一种基于视频去重的在线动作识别方法、装置、计算机设备和存储介质,以提高在线视频动作识别的精度、增强模型的鲁棒性。

2、为了解决上述技术问题,本申请实施例提供一种基于视频去重的在线动作识别方法,包括:

3、从在线视频中获取当前本文档来自技高网...

【技术保护点】

1.一种基于视频去重的在线动作识别方法,其特征在于,所述基于视频去重的在线动作识别方法包括:

2.如权利要求1所述的基于视频去重的在线动作识别方法,其特征在于,所述基于所述去重模块,对所述时间编码特征中满足预设条件的特征进行去重,得到历史时间编码向量的步骤包括:

3.如权利要求1所述的基于视频去重的在线动作识别方法,其特征在于,所述图像解码器包括多头自注意力层、多头交互注意力层和前馈网络层,所述多头自注意力层与所述多头交互注意力层连接,所述多头交互注意力层与所述前馈网络层连接。

4.如权利要求3所述的基于视频去重的在线动作识别方法,其特征在于,所述基于...

【技术特征摘要】

1.一种基于视频去重的在线动作识别方法,其特征在于,所述基于视频去重的在线动作识别方法包括:

2.如权利要求1所述的基于视频去重的在线动作识别方法,其特征在于,所述基于所述去重模块,对所述时间编码特征中满足预设条件的特征进行去重,得到历史时间编码向量的步骤包括:

3.如权利要求1所述的基于视频去重的在线动作识别方法,其特征在于,所述图像解码器包括多头自注意力层、多头交互注意力层和前馈网络层,所述多头自注意力层与所述多头交互注意力层连接,所述多头交互注意力层与所述前馈网络层连接。

4.如权利要求3所述的基于视频去重的在线动作识别方法,其特征在于,所述基于所述图像解码器,对所述历史时间编码向量和所述当前帧图像对应的空间编码向量进行交互注意力计算,并对得到的注意力结果进行连接,得到解码结果的步骤包括:

5.如权利要求1所述的基于视频去重的在线动作识别方法,其特征在于,所述识别模...

【专利技术属性】
技术研发人员:刘伟华李娇娇严宇肖要林王栋
申请(专利权)人:智慧眼科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1