【技术实现步骤摘要】
本专利技术涉及图像识别领域,特别涉及基于骨骼数据的视频动作分类方法、装置、设备及介质。
技术介绍
1、随着对图片进行检测、识别、分类等任务逐渐成熟。更多的任务开始对视频进行分析。其中对视频中主要人物的行为动作进行分析被称为动作识别。动作识别的研究对于多个领域都有所帮助,包括但不限于健康保健、安防监控和增强现实(ar)等领域。目前,动作识别经过长时间的研究和探索,已经有了非常丰富的解决方法和流程。当前该领域研究主要是在两个方向:第一个方向是探索更好的神经网络。第二个方向则是探索如何利用除rgb信息外的信息去解决动作识别问题,其中,从该研究领域提出开始,主流研究方向就是如何用更好的神经网络去提取视频内的信息。研究大致经历了四个阶段:1)最开始考虑到视频的序列化信息,有研究使用rnn模型去对视频信息进行处理。2)随着卷积神经网络的兴起,人们开始使用卷积神经网络去分析处理视频特征信息。3)在考虑到视频具有时间上的特性后,3d卷积被应用到该领域。4)随着transformer在图片领域的应用,有研究也将其引入动作识别领域并在当下成为主流方法。
...【技术保护点】
1.一种基于骨骼数据的视频动作分类方法,其特征在于,包括:
2.根据权利要求1所述的一种基于骨骼数据的视频动作分类方法,其特征在于,所述获取待分类的视频信息,并基于双流放大模块对所述待分类的视频信息进行采样分解,以生成RGB信息流和骨骼信息流具体为:
3.根据权利要求1所述的一种基于骨骼数据的视频动作分类方法,其特征在于,所述时序感知网络的表达式为:
4.根据权利要求1所述的一种基于骨骼数据的视频动作分类方法,其特征在于,所述对所述骨骼信息流进行转化成为三维数据,并调用图卷积网络对进行时序交叉后的所述三维数据进行处理,以生成所述待分
...【技术特征摘要】
1.一种基于骨骼数据的视频动作分类方法,其特征在于,包括:
2.根据权利要求1所述的一种基于骨骼数据的视频动作分类方法,其特征在于,所述获取待分类的视频信息,并基于双流放大模块对所述待分类的视频信息进行采样分解,以生成rgb信息流和骨骼信息流具体为:
3.根据权利要求1所述的一种基于骨骼数据的视频动作分类方法,其特征在于,所述时序感知网络的表达式为:
4.根据权利要求1所述的一种基于骨骼数据的视频动作分类方法,其特征在于,所述对所述骨骼信息流进行转化成为三维数据,并调用图卷积网络对进行时序交叉后的所述三维数据进行处理,以生成所述待分类的视频信息的骨骼特征,具体为:
5.根据权利要求1所述的一种基于骨骼数据的视频动作分类方法,其特征在于,所述对所述色彩特征和所述骨骼特征进行融合,并根据所述融合结果生成...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。