一种基于深度学习的黑暗条件下动作识别方法技术

技术编号:29403554 阅读:40 留言:0更新日期:2021-07-23 22:41
本发明专利技术公开了一种基于深度学习的黑暗条件下动作识别方法,包括以下步骤:S1、选择实时黑暗条件识别或黑暗视频片段识别;S2、从已选择的待识别模式中取出F帧原始黑暗帧作为暗亮双通道模型的输入;S3、对取出的原始黑暗帧进行预处理,得到黑暗帧以及对应的增亮帧;S4、将得到的黑暗帧和增亮帧分别输入到共享特征提取器,得到两个通道的高级语义特征;S5、将得到的两个通道的高级语义特征并行输入到自注意力机制,得到输出分类向量;S6、将得到的输出分类向量输入到全连接层,得到类别概率,再通过softmax函数得到概率最大的类别,作为输出;S7、判断是否结束识别。本发明专利技术解决了计算复杂度及存储的问题,大大提高了在暗光条件下识别的准确度。

【技术实现步骤摘要】
一种基于深度学习的黑暗条件下动作识别方法
本专利技术涉及计算机视觉的
,尤其涉及到一种基于深度学习的黑暗条件下动作识别方法。
技术介绍
目前,基于深度学习的动作识别模型通常从原始视频帧中提取出光流信息进行辅助识别,成为双流模型。然而,传统的双流方法通常涉及光流的计算或估计,需要较高的计算能力和较大的存储资源。此外,光流只有在相邻帧之间像素值的变化非常显著时才有用,但这对于暗视频并不适用。由于目前尚未有针对黑暗条件下动作识别的专利,所以与本专利最为相近的现有方案是在正常光照条件下的动作识别,如中国专利CN110135386A所公开的一种基于深度学习的人体动作识别方法和系统。其中所采用的方法就是双流法,搭配开源模型ResNet网络作为特征提取器,最后采用多层感知机进行分类。此模型在处理正常光照下的动作识别任务具有一定的准确度,然而在遇到黑暗情况时性能却急剧下降,在论文“ARIDANewDatasetforRecognizingActionintheDark”中的相关实验表明ResNet50-I3D模型在公开数据集ARID的准确率仅为73.39本文档来自技高网...

【技术保护点】
1.一种基于深度学习的黑暗条件下动作识别方法,其特征在于,包括以下步骤:/nS1、选择实时黑暗条件识别或黑暗视频片段识别;/nS2、从步骤S1已选择的待识别中取出F帧原始黑暗帧作为暗亮双通道模型的输入;实时黑暗条件识别时,保存每一帧信息并在保存到F帧时进入步骤S3,而选择黑暗视频片段识别则计算所有视频帧数,保证F帧的情况下等间隔提取,其间隔为2或4帧,视总帧数情况选择,如果视频片段少于F帧则进行循环取帧;/nS3、对上一步取出的原始黑暗帧进行预处理,得到黑暗帧以及对应的增亮帧;/nS4、将步骤S3得到的黑暗帧和增亮帧分别输入到对应通道的共享特征提取器中,得到两个通道的高级语义特征;/nS5、将...

【技术特征摘要】
1.一种基于深度学习的黑暗条件下动作识别方法,其特征在于,包括以下步骤:
S1、选择实时黑暗条件识别或黑暗视频片段识别;
S2、从步骤S1已选择的待识别中取出F帧原始黑暗帧作为暗亮双通道模型的输入;实时黑暗条件识别时,保存每一帧信息并在保存到F帧时进入步骤S3,而选择黑暗视频片段识别则计算所有视频帧数,保证F帧的情况下等间隔提取,其间隔为2或4帧,视总帧数情况选择,如果视频片段少于F帧则进行循环取帧;
S3、对上一步取出的原始黑暗帧进行预处理,得到黑暗帧以及对应的增亮帧;
S4、将步骤S3得到的黑暗帧和增亮帧分别输入到对应通道的共享特征提取器中,得到两个通道的高级语义特征;
S5、将步骤S4得到的两个通道的高级语义特征并行输入到自注意力机制,得到输出分类向量Ycls;
S6、将步骤S5得到的输出分类向量Ycls输入到一个全连接层,得到类别概率,再通过softmax函数得到概率最大的类别,作为输出,并显示对应的概率值;
S7、如果步骤S1选择的是黑暗视频片段识别,则识别结束;如果步骤S1选择的是实时黑暗条件识别,则判断现时的实时黑暗条件识别是否已结束,如果没有结束,则等待接受完新的F帧后返回步骤S3,否则识别结束。


2.根据...

【专利技术属性】
技术研发人员:陈锐高怀恩陈嘉俊蔡晖曼
申请(专利权)人:广东工业大学
类型:发明
国别省市:广东;44

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1