当前位置: 首页 > 专利查询>厦门大学专利>正文

基于骨骼数据的视频动作分类方法、装置、设备及介质制造方法及图纸

技术编号:41133982 阅读:24 留言:0更新日期:2024-04-30 18:04
本发明专利技术提供了一种基于骨骼数据的视频动作分类方法、装置、设备及介质,先获取待分类的视频信息,并基于双流放大模块对所述待分类的视频信息进行采样分解,以生成RGB信息流和骨骼信息流,接着,调用时序感知网络对所述RGB信息流进行特征提取,以生成所述待分类的视频信息的色彩特征;同时,对所述骨骼信息流进行转化成为三维数据,并调用图卷积网络对进行时序交叉后的所述三维数据进行处理,以生成所述待分类的视频信息的骨骼特征;最后,对所述色彩特征和所述骨骼特征进行融合,并根据所述融合结果生成视频信息的动作分类结果。解决了现有技术中通过色彩信息进行分类会受光照影响而出现分类失误的问题。

【技术实现步骤摘要】

本专利技术涉及图像识别领域,特别涉及基于骨骼数据的视频动作分类方法、装置、设备及介质


技术介绍

1、随着对图片进行检测、识别、分类等任务逐渐成熟。更多的任务开始对视频进行分析。其中对视频中主要人物的行为动作进行分析被称为动作识别。动作识别的研究对于多个领域都有所帮助,包括但不限于健康保健、安防监控和增强现实(ar)等领域。目前,动作识别经过长时间的研究和探索,已经有了非常丰富的解决方法和流程。当前该领域研究主要是在两个方向:第一个方向是探索更好的神经网络。第二个方向则是探索如何利用除rgb信息外的信息去解决动作识别问题,其中,从该研究领域提出开始,主流研究方向就是如何用更好的神经网络去提取视频内的信息。研究大致经历了四个阶段:1)最开始考虑到视频的序列化信息,有研究使用rnn模型去对视频信息进行处理。2)随着卷积神经网络的兴起,人们开始使用卷积神经网络去分析处理视频特征信息。3)在考虑到视频具有时间上的特性后,3d卷积被应用到该领域。4)随着transformer在图片领域的应用,有研究也将其引入动作识别领域并在当下成为主流方法。p>

2、在对神本文档来自技高网...

【技术保护点】

1.一种基于骨骼数据的视频动作分类方法,其特征在于,包括:

2.根据权利要求1所述的一种基于骨骼数据的视频动作分类方法,其特征在于,所述获取待分类的视频信息,并基于双流放大模块对所述待分类的视频信息进行采样分解,以生成RGB信息流和骨骼信息流具体为:

3.根据权利要求1所述的一种基于骨骼数据的视频动作分类方法,其特征在于,所述时序感知网络的表达式为:

4.根据权利要求1所述的一种基于骨骼数据的视频动作分类方法,其特征在于,所述对所述骨骼信息流进行转化成为三维数据,并调用图卷积网络对进行时序交叉后的所述三维数据进行处理,以生成所述待分类的视频信息的骨骼特...

【技术特征摘要】

1.一种基于骨骼数据的视频动作分类方法,其特征在于,包括:

2.根据权利要求1所述的一种基于骨骼数据的视频动作分类方法,其特征在于,所述获取待分类的视频信息,并基于双流放大模块对所述待分类的视频信息进行采样分解,以生成rgb信息流和骨骼信息流具体为:

3.根据权利要求1所述的一种基于骨骼数据的视频动作分类方法,其特征在于,所述时序感知网络的表达式为:

4.根据权利要求1所述的一种基于骨骼数据的视频动作分类方法,其特征在于,所述对所述骨骼信息流进行转化成为三维数据,并调用图卷积网络对进行时序交叉后的所述三维数据进行处理,以生成所述待分类的视频信息的骨骼特征,具体为:

5.根据权利要求1所述的一种基于骨骼数据的视频动作分类方法,其特征在于,所述对所述色彩特征和所述骨骼特征进行融合,并根据所述融合结果生成...

【专利技术属性】
技术研发人员:陈涵艺苏松志
申请(专利权)人:厦门大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1