一种基于骨架自适应图卷积改进的行为识别算法制造技术

技术编号:43007415 阅读:18 留言:0更新日期:2024-10-18 17:14
一种基于骨架自适应图卷积改进的行为识别算法,首先对视频集合进行预处理,得到视频序列,然后通过姿态识别网络AlphaPose得到人体关键点坐标。其次,一旦人体关键点坐标被确定,依照预先定义的人体骨架自然连接,多帧累积之后构建人体的关键点时空图模型。传统的时空图模型没有考虑到非临近关键点之间的联系,导致骨架信息无法充分利用。本方法对图卷积进行改造,不再是固定的图卷积结构,而是随着模型训练的深入,图卷积的结构也能随着关键点之间的联系自适应地改变,大大提高了行为分类模型的性能和准确度。

【技术实现步骤摘要】


技术介绍

0、
技术介绍

1、目前,视频中的人体行为识别是目前计算机视觉领域中最活跃的研究主题之一,它在智能视频监控、人机交互、基于内容的视频检索、虚拟现实等方面具有广泛的应用前景和潜在经济价值。现有的视频监控系统大多都是通过相关人员进行事后分析的,缺少实效性,无法应对特殊场所的突发情况,比如说拥挤场景,例如商场中的跌倒行为,如果不能够实时监测,那将会造成严重的踩踏事故。

2、随着深度学习在目标检测,姿态识别,行为检测领域取得的突破性进展,传统的计算机视觉算法的性能已经远远落后于深度学习的方法。在异常行为检测领域,主要的关注点在复杂行为的分类上,即通过行为检测模型提取视频中的人体行为,并与预先定义好的异常行为进行匹配。

3、传统的行为识别算法多用rgb视频作为输入,但带来的问题,诸如背景动态干扰较多,光照不稳定,噪声严重,这些问题将会导致传统行为识别算法的效果大打折扣。近年来,基于2d或者3d人体骨架的行为识别,因其对动态环境和复杂背景的适应性强而越来越受到关注。目前基于人体骨架的深度学习研究方向主要分为cnn,rnn本文档来自技高网...

【技术保护点】

1.一种基于骨架自适应图卷积改进的行为识别算法,其特征在于,所述方法包括以下步骤:

2.根据权利要求1所述的一种基于骨架自适应图卷积改进的行为识别算法,其特征在于:所述步骤a中,针对于视频的预处理,采用Alphapose人体姿态估计模型对每个目标人体进行人体姿态估计,获得每个人体目标的18个关键点坐标(x,y,acc)和置信度分数acc,得到位置特征(x,y,acc)。

3.根据权利要求1所述的一种基于骨架自适应图卷积改进的行为识别算法,其特征在于:所述步骤b中,获得人体关键点坐标以后,搭建时空图模型的步骤包括:

4.根据权利要求1所述的一种基于骨架自...

【技术特征摘要】

1.一种基于骨架自适应图卷积改进的行为识别算法,其特征在于,所述方法包括以下步骤:

2.根据权利要求1所述的一种基于骨架自适应图卷积改进的行为识别算法,其特征在于:所述步骤a中,针对于视频的预处理,采用alphapose人体姿态估计模型对每个目标人体进行人体姿态估计,获得每个人体目标的18个关键点坐标(x,y,acc)和置信度分数acc,得到位置特征(x,y,acc)。

3.根据权利要求1所述的一种基于骨架自适应图卷积改进的行为识别算法,其特征在于:所述步骤b中,获得人体关键点坐标以后,搭建时空图模型的步骤包括:

4.根据权利要求1所述的一种基于骨架自适应图卷积改进的行为识别算法,其特征在于:所述步骤c中,自适应时空图卷积模型中主要结构是自适应图卷积块,自适应图卷积块的基本结构是自适应图卷积层,它的公式如下:

5.根据权利要求4所述的一种基于骨架自适应图卷积改进的行为识别算法,其特征在于:在权利4中提出的自适应图卷积网络的主要公式,其中的bk是一个n×n的邻接矩阵,它是一个可训练的权重,作用是在表示两个节点是否存在联系及联系的强弱。

【专利技术属性】
技术研发人员:杜振龙刘万霖李晓丽
申请(专利权)人:南京工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1