一种基于互信息相似度的零样本动作识别方法及系统技术方案

本发明专利技术涉及计算机视觉技术领域，为一种基于互信息相似度的零样本动作识别方法及系统，S1，在零样本的动作分类任务中使用视频特征提取模块进行骨架动作特征提取；S2，利用语义特征提取模块对动作标签的语义信息进行特征化处理；S3，构建出语义特征和视频特征之间的非线性映射，同时设计出随帧数递增而互信息递增的互信息判别网络，以增强互信息对两类特征的判别能力。通过最大化视觉特征和语义特征之间的互信息来捕捉两者分布之间的非线性统计相关性，进而提高对不可见类的泛化效果；保证了互信息在时序上的递增单调约束，从而使得时序信息融合进了互信息的判别网络之中，提升了网络的判别效果；具有更好的性能。具有更好的性能。具有更好的性能。

【技术实现步骤摘要】
一种基于互信息相似度的零样本动作识别方法及系统


[0001]本专利技术涉及计算机视觉
，具体涉及一种基于互信息相似度的零样本动作识别方法及系统。

技术介绍

[0002]随着深度学习在骨架动作识别上面的应用越来越广泛，大规模的骨架动作识别的标注问题凸显出来。现实中难以构建出包含所有动作类的数据集用于训练，基于这种情况，零样本的学习方法被用于学习训练中并不涉及到的不可见类。利用一些语义上的信息，例如动作名称、属性和描述作为可见类和不可见类联系的桥梁。与图像数据相比，视频数据集的采集和标注尤为困难，因此，在骨架动作视频数据集上进行零样本动作识别是很有意义的现实问题。
[0003]深度学习系统在动作识别领域面对给定的训练集和标签类已经取得了非常好的效果，但是对于测试集中的不可见类却无能为力。为了缓解这个问题，研究人员提出了零样本的动作识别方法。在零样本的视频分类领域，通用方法是先利用预训练好的网络从视频帧中提取视觉特征。
[0004]现阶段大多数的零样本动作识别方法是从零样本的图像识别方法上扩展而来。在训练阶段，它们通过在训练集的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于互信息相似度的零样本动作识别方法，其特征在于，包括以下步骤：S1，在零样本的动作分类任务中使用视频特征提取模块进行骨架动作特征提取；S2，利用语义特征提取模块对动作标签的语义信息进行特征化处理；S3，构建出语义特征和视频特征之间的非线性映射，同时设计出随帧数递增而互信息递增的互信息判别网络，以增强互信息对两类特征的判别能力。2.根据权利要求1所述的基于互信息相似度的零样本动作识别方法，其特征在于，所述S1具体包括：利用预训练好的3D图神经网络从人体骨架动作视频中提取特征向量，将骨架动作视频表示成动作特征向量X＝[x1，
…
，x
n
]，x
i
∈R
d
×
T
，其中T为向量长度，d为帧特征的维数。3.根据权利要求2所述的基于互信息相似度的零样本动作识别方法，其特征在于，所述S2具体包括：用预训练好的词向量模型将视频动作的标签转化为相对应的语义向量，词性越接近的标签在距离度量上越短，并将各类标签表示成标签语义特征向量Y＝[y1，
…
，y
n
]，y
i
∈R
c
其中c为标签语义特征向量的维数。4.根据权利要求3所述的基于互信息相似度的零样本动作识别方法，其特征在于，所述S3具体包括：整个骨架视频动作类别分为可见类和不可见类；在训练阶段，仅用可见类的骨架动作视频以及相对应的标签进行模型的训练，在测试阶段，对选定的不可见类进行骨架动作的分类，以达到动作识别的零样本要求。5.根据权利要求4所述的基于互信息相似度的零样本动作识别方法，其特征在于：在训练阶段，通过导入动作特征向量X以及对应的标签语义特征向量Y到互信息估计网络T中，通过最大化X和Y两者之间的互信息同时调整X在时序维度上与Y的互信息的递增关系，从而构建出一个优秀的互信息判别网络T，为后续测试阶段做好模型上的准备。6.根据权利要求5所述的基于互信息相似度的零样本动作识别方法，其特征在于：在测试阶段，将不可见类的骨架动作特征分别与不可见类所有的标签语义向量Y导入到训练好的互信息判别网络T中，选择计算结果中互信息最大的那一个标签类作为该骨架动作的预测标签。7.根据权利要求1所述的基于互信息相似度的零样本动作识别方法，其特征在于，所述互信息判别网络的具体构造方法步骤如下：(1)设置超参数：n为每个骨架动作视频的采样帧数；a为总体互信息损失和时序互信息损失之间的比例参数；(2)对输入骨架序列采样n帧，送入预训练的3D图神经网络中获得对应的视觉特征向量[f1，f2，
…
，f

【专利技术属性】
技术研发人员：苏冰，周彧杰，饶安逸，强文文，文继荣，
申请(专利权)人：中国人民大学，
类型：发明
国别省市：