一种基于自适应图卷积的步态情感识别方法技术

本发明专利技术公开了一种基于自适应图卷积的步态情感识别方法，首先获取人体关节点按照时间顺序排列的坐标序列；然后构建自适应图卷积网络，图卷积块是以时空图卷积为基础模块，结合了自适应图的构建方法，形成新的图结构，并以此图结构生成邻接矩阵从而进行自适应图卷积操作；最后将获得的坐标序列输入到网络中，经过三个依次连接自适应图卷积块提取到的特征，再经过全局平均池化和全连接操作得到情感识别的初步结果，最后通过Softmax函数得到各类情感的预测分值，分值最高的即为该步态的情感识别结果。本发明专利技术将手工设计的固定的图结构和可训练链接通过网络训练得到的非固定的图结构相结合，保留双方优势，互为补充，使得网络对于情感识别的性能明显提升。

【技术实现步骤摘要】
一种基于自适应图卷积的步态情感识别方法
本专利技术涉及情感识别领域，尤其涉及一种基于自适应图卷积的步态情感识别方法。
技术介绍
随着人工智能技术的发展，机器能否理解人类情感引起广泛关注，由此情感识别任务也逐渐成为研究的热点。用于情感识别研究的数据种类有很多，大多数研究采用面部图片、文本、语音、生理信号的数据，近期的一些研究使用步态信息进行情感识别。步态信息相比其他模态数据有着更难以模仿、远距离可观察、不需要被测人很高的参与度等优势，有着更高的实际应用价值。目前基于步态的情感识别相关方法通过人体骨架关节点坐标的时间序列表征步态，通过传统机器学习方法或深度学习的方法进行特征提取并根据特征进行情感预测。人体骨架关键点的时间坐标序列获取方式一般有两种：一种是采用成熟的人体姿态评估算法从步态视频中提取，另外一种是在参与者身上安装追踪标记并通过相应的检测设备获取各标记点的坐标信息。现有大多数基于步态的情感识别方法采用传统机器学习技术，坐标信息经过处理后，从中提取并筛选有效的相关特征，例如关节点速度、加速度等，最后通过支持向量机、朴素贝叶斯、随机森林、决策树等经典的分类算法进行情感分类。除此之外，少部分方法采用深度学习技术，通过深度神经网络自动学习和提取情感相关特征并进行分类。采用的深度学习技术主要包括长短期记忆（Longshort-termmemory，LSTM）、时空图卷积（SpatialTemporalGraphConvolutionalNetworks，ST-GCN）网络模型。Randhavane等人采用长短期记忆（LSTM）网络模型，将步态序列按照时间顺序输入到LSTM中对应的时间步（time-step)，利用步态数据的时间信息来提取步态特征；Bhattacharya等人提出了以时空图卷积（SpatialTemporalGraphConvolutionNetworks，ST-GCN)为基本模块搭建的STEP(SpatialTemporalGraphConvolutionalNetworksforEmotionPerception)网络模型，通过构建骨架时空图从而生成图的拓扑结构，从时间、空间两个维度分别对步态时序信息进行图卷积操作，以获取步态信息的时空特征；Zhuang等人对时空图卷积进行了改进，基于情感识别任务特点提出了从步态的整体状态感知情绪的globallink,globallink与原始的图结构结合构成了新的骨架时空图，并进一步基于此提出了全局图卷积网路(Global-GraphConvolutionNetwork,G-GCN)。以上两个方法是基于先验知识等，手工设计出的固定的图结构，会忽略除固定的图结构之外的节点间的依赖关系，使得特征传递和特征提取都不够充分。本专利技术基于步态的情感识别问题，创新提出了自适应骨架时空图，并进一步提出了自适应图卷积网络，基于自适应的图结构进行自适应卷积操作来更有效地提取出与情感相关的步态特征。
技术实现思路
本专利技术目的在于针对现有技术的不足，提出一种基于自适应图卷积的步态情感识别方法，本专利技术创新提出了可训练链接（trainablelink），与手工设计的图结构共同构成自适应的骨架时空图。手工设计的图结构包括人体骨架物理结构的自然链接naturallink和全局链接globallink。可训练链接通过网络训练可以挖掘手工设计的固定的图结构之外节点之间的依赖关系，随着网络的优化构建更恰当的的图结构，与手工设计的图结构互为补充。此外，基于自适应图提出了自适应图卷积网络，以更充分、更有效地提取情感相关的步态特征。本专利技术的目的是通过以下技术方案来实现的：一种基于自适应图卷积的步态情感识别方法，具体步骤如下：（1）从步态视频中获取步态数据，构造网络输入；（2）构建自适应图卷积网络；所述自适应图卷积网络主要包括三个依次连接自适应图卷积块；所述的自适应图卷积块主要依据自适应图的邻接矩阵进行图卷积操作，自适应图包括以下三部分：第一部分：自然链接naturallink，按人体物理结构将骨架上关节点相连形成的自然链接；第二部分：全局链接globallink，是以脊椎节点为中心，其他节点与中心节点相连构成的全局链接；第三部分：可训练链接trainablelink，是一种可训练的图结构构造方式，将其转化为图结构的邻接矩阵形式放入网络中训练；（3）将步骤（1）中获得步态数据输入到自适应图卷积网络中，根据网络提取到的特征进行步态情感类别的预测。进一步地，步骤（2）中，网络中自适应图卷积有三层，每层有不同的语义信息，需要的可训练链接trainablelink可能是不同的，所以每层的可训练链接trainablelink使用不同的参数进行训练，使得网络更加灵活。进一步地，所述可训练链接trainablelink通过网络的训练自动学习到合适的图结构，能够挖掘到除手工设计的固定图结构之外节点之间存在的关联关系，通过节点之间的特征交互，发掘相关特征，从而丰富图的结构，使得在图卷积过程中能更充分的进行特征的传递和提取。本专利技术的有益效果：（1）本专利技术提出基于可训练链接（trainablelink）的新的骨架时空图构造方法，通过网络训练，不断优化图结构，使其能更好的挖掘除手工设计的固定图结构之外的节点间的依赖关系；使得网络对于情感识别的性能明显提升。（2）本专利技术将手工设计的固定的图结构和可训练链接通过网络训练得到的非固定的图结构相结合，保留双方优势，互为补充，构成自适应骨架时空图。（3）本专利技术基于自适应骨架时空图提出用于步态情感识别任务的自适应图卷积网络。自适应图卷积网络通过堆叠自适应图卷积块搭建，随着网络层数加深，每层语义信息各不相同。每层的自适应图中trainablelink使用不同的参数来满足不同层的语义需求，使得网络更加灵活。与现有技术相比，本专利技术方法可以达到当前基于步态的情感识别的最好性能。附图说明图1为本专利技术提出中自适应图卷积网络示意图；图2为自适应图卷积过程示意图；图3为自适应图的组成部分：自然链接（naturallink）示意图；图4为自适应图的组成部分：全局链接（globallink）示意图；图5为自适应图的组成部分：可训练链接（trainablelink）邻接矩阵示意图。具体实施方式以下结合附图对本专利技术具体实施方式作进一步详细说明。如图1所示，本专利技术提供的一种基于自适应图卷积(AdaptiveGraphConvolutionNetwork,AGCN)的步态情感识别方法，具体步骤如下：（1）从步态视频每一帧中提取出表征步态的人体关节点的坐标序列，并按照时间顺序排列成规整矩阵，作为步骤（2）中网络的输入；（2）构建自适应图卷积网络；所述自适应图卷积网络包括三个依次连接自适应图卷积块（AGC)，一个全局平均池化层，一个全连接层和一个Softmax层；其中图卷积块是以时空图卷积为基础模块，结合了自适应图的构建方法，本文档来自技高网...

【技术保护点】
1.一种基于自适应图卷积的步态情感识别方法，其特征在于，具体步骤如下：/n（1）从步态视频中获取步态数据，构造网络输入；/n（2）构建自适应图卷积网络；所述自适应图卷积网络主要包括三个依次连接自适应图卷积块；所述自适应图卷积块主要依据自适应图的邻接矩阵进行图卷积操作，自适应图包括以下三部分：/n第一部分：自然链接natural link，按人体物理结构将骨架上关节点相连形成的自然链接；/n第二部分：全局链接global link，是以脊椎节点为中心，其他节点与中心节点相连构成的全局链接；/n第三部分：可训练链接trainable link，是一种可训练的图结构构造方式，将其转化为图结构的邻接矩阵形式放入网络中训练；/n（3）将步骤（1）中获得步态数据输入到自适应图卷积网络中，根据网络提取到的特征进行步态情感类别的预测。/n

【技术特征摘要】
1.一种基于自适应图卷积的步态情感识别方法，其特征在于，具体步骤如下：
（1）从步态视频中获取步态数据，构造网络输入；
（2）构建自适应图卷积网络；所述自适应图卷积网络主要包括三个依次连接自适应图卷积块；所述自适应图卷积块主要依据自适应图的邻接矩阵进行图卷积操作，自适应图包括以下三部分：
第一部分：自然链接naturallink，按人体物理结构将骨架上关节点相连形成的自然链接；
第二部分：全局链接globallink，是以脊椎节点为中心，其他节点与中心节点相连构成的全局链接；
第三部分：可训练链接trainablelink，是一种可训练的图结构构造方式，将其转化为图结构的邻接矩阵形式放入网络中训练；
（3）将步骤（1）中获得步态数据输入到自适应图卷积网络中，根据网络提取到的特征进行步态情感类别的预测。


2.根据权利要求1所述的一种基于自适应图卷积的步态情感识别方法，其特征在于，步骤（2）中，网络中自适应图卷积有三层，每层有不同的语义信息，需要的可训练链接trainablelink可能是不同的，所以每层的可训练链接...

【专利技术属性】
技术研发人员：庄圆，林兰芬，陈延伟，童若锋，李劲松，
申请(专利权)人：之江实验室，
类型：发明
国别省市：浙江;33