一种基于骨架与知识图谱对比学习的动作识别方法技术

本申请涉及一种基于骨架与知识图谱对比学习的动作识别方法，通过大语言模型得到先验知识，其进一步被知识图谱编码器转化为用于对比学习的特征向量；同时构建实例库和特征库用于双分支对比学习；而后将时空通道自适应特征融合模块插入到骨架编码器的内部，以丰富特征库中的特征表达；通过骨架编码器和时空通道骨架编码器获得动作的特征信息，通过知识图谱编码器获得标准学习模板；最终在实例库和特征库中拉近正例推远负例来规范特征学习。本申请利用先验知识构造知识图谱作为模板来规范特征的学习，提升了模型对相似动作的判别能力，进一步提高了动作识别精度。

【技术实现步骤摘要】

本申请涉及动作识别领域，具体地，涉及一种基于骨架与知识图谱对比学习的动作识别方法。

技术介绍

1、人体动作识别是计算机视觉领域的一个热门研究课题，在人机交互、监控系统、虚拟现实和医学诊断等领域有着广泛的应用。与rgb数据和光流数据相比，骨架数据能够提供高层次的语义信息，具有很强的环境鲁棒性，能够简化数据表示，降低计算复杂度，因此在人体动作识别中得到了广泛的应用。

2、使用骨架进行动作识别的典型方法是构造图卷积网络(gcns)。图卷积网络将卷积从图像扩展到图形，已成功应用于许多领域。考虑到gcns可以更有效地处理由关节和骨骼形成的图形结构并挖掘它们的结构信息，现有技术中将gcns应用于人体动作识别，并将骨骼数据表示为基于自然人类关节和骨骼之间的运动依赖关系的有向无环图，以提取关节、骨骼及其相互关系的信息。现有技术中还存在将cnn中的移位运算思想移植到gcns中，并提出了一种移位图卷积网络来克服这两个缺点。然而，这些方法很少考虑时间边缘的优化。现有技术中进一步提出了一种gcn和cnn相结合的方法st-gcn，该方法利用时空图卷积技术获取骨骼序列数据本文档来自技高网...

【技术保护点】

1.一种基于骨架与知识图谱对比学习的动作识别方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述骨架编码器包括：四个骨架编码单元，分别为Stage1、Stage2、Stage3、Stage4，其中，Stage1包括1个TGN，Stage2包括4个TGN，Stage3包括3个TGN，Stage4包括2个TGN。

3.如权利要求1所述的方法，其特征在于，所述时空通道骨架编码器包括：四个时空通道骨架编码单元，分别为Stage1、Stage2、Stage3、Stage4，其中，Stage1包括1个TGN和1个STC-AFFN，Stage2包括4个TGN和...

【技术特征摘要】

1.一种基于骨架与知识图谱对比学习的动作识别方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述骨架编码器包括：四个骨架编码单元，分别为stage1、stage2、stage3、stage4，其中，stage1包括1个tgn，stage2包括4个tgn，stage3包括3个tgn，stage4包括2个tgn。

3.如权利要求1所述的方法，其特征在于，所述时空通道骨架编码器包括：四个时空通道骨架编码单元，分别为stage1、stage2、stage3、stage4，其中，stage1包括1个tgn和1个stc-affn，stage2包括4个tgn和1个stc-affn，stage3包括3个tgn和1个stc-affn，stage4包括2个tgn和1个stc-affn。

4.如权利要求3所述的方法，其特征在于，所述stc-affn包括：2个stc-net和1个af...

【专利技术属性】
技术研发人员：谢林睿，齐晨雨，范婕，郭军，
申请(专利权)人：西北大学，
类型：发明
国别省市：