骨架行为识别方法、装置及电子设备制造方法及图纸

本发明专利技术提供一种骨架行为识别方法、装置及电子设备，其中骨架行为识别方法，包括：确定待识别动物的骨架数据；基于预设骨架行为识别模型，对所述骨架数据进行全局特征提取，基于所述全局特征提取所得的第一骨架行为特征的相关性以及第二骨架行为特征，对所述骨架数据进行融合，并基于融合所得的特征进行骨架行为识别。由于第一骨架行为特征和第二骨架行为特征都是经由全局特征提取所得，因此都能够保留骨架数据涵盖的待识别动物的骨架在时间和空间维度上的真实行为，进一步通过第一骨架行为特征的相关性和第二骨架行为特征对骨架数据进行融合的方式，能够涵盖骨架行为涉及的各个肢节动作，从而有效提高了骨架行为识别的准确率。率。率。

Skeleton behavior recognition method, device and electronic equipment

【技术实现步骤摘要】
骨架行为识别方法、装置及电子设备


[0001]本专利技术涉及计算机视觉
，尤其涉及一种骨架行为识别方法、装置及电子设备。

技术介绍

[0002]骨架行为识别作为计算机视觉领域中的一个重要研究分支，不仅包括人体骨架行为识别，还包括动物骨架行为识别，由于识别动物行为(比如识别猴类动物骨架行为)对于新型药物评估具有重要意义和应用前景，因此，如何准确识别动物骨架行为成为热门研究方向。
[0003]相关技术中，动物骨架行为识别方法与人体骨架行为识别方法的原理类似。动物骨架行为识别方法通常分为两个阶段。先使用姿态估计模型识别出视频中含有动物关键点的骨架信息，再对该骨架信息进行分析得到对应的行为状态，比如骨架行为识别方法可采用时空图卷积网络(Spatio
‑
Temporal Graph Convolutional Networks，ST
‑
GCN)模型。
[0004]然而，由于ST
‑
GCN模型只能对骨架信息中的某几帧视频图像进行特征提取，所提取的信息也只涉及动物的局部特征，从而导致本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种骨架行为识别方法，其特征在于，包括：确定待识别动物的骨架数据；基于预设骨架行为识别模型，对所述骨架数据进行全局特征提取，基于所述全局特征提取所得的第一骨架行为特征的相关性以及第二骨架行为特征，对所述骨架数据进行融合，并基于融合所得的特征进行骨架行为识别。2.根据权利要求1所述的骨架行为识别方法，其特征在于，所述基于预设骨架行为识别模型，对所述骨架数据进行全局特征提取，包括：基于预设骨架行为识别模型中的预设ST
‑
GCN子模型，对所述骨架数据进行通道变换；按照预设通道维度，对所述通道变换后的骨架数据分别进行全局特征提取。3.根据权利要求1所述的骨架行为识别方法，其特征在于，所述第一骨架行为特征的数量大于所述第二骨架行为特征的数量时，所述基于所述全局特征提取所得的第一骨架行为特征的相关性以及第二骨架行为特征，对所述骨架数据进行融合，包括：基于所述全局特征提取所得的各个第一骨架行为特征之间的相关性，确定相关矩阵；基于所述相关矩阵和所述第二骨架行为特征，对所述骨架数据进行融合。4.根据权利要求3所述的骨架行为识别方法，其特征在于，所述基于所述全局特征提取所得的第一骨架行为特征的相关性，确定相关矩阵，包括：对每个基于所述全局特征提取所得的第一骨架行为特征分别进行降维处理，对应得到第一目标骨架行为特征；计算所述第一目标骨架行为特征的相关矩阵。5.根据权利要求3所述的骨架行为识别方法，其特征在于，所述基于所述相关矩阵和所述第二骨架行为特征，对所述骨架数据进行融合，包括：对所述第二骨架行为特征进行降维处理，得到第二目标骨架行为特征；基于所述相关矩阵，对所述第二目标骨架行为特征进行重加权；对所述重加权后的特征进行升维处理；基于所述升维处理后的特征，对所述骨架数据进行融合。6.根据权利要...

【专利技术属性】
技术研发人员：马喜波，孙峥，
申请(专利权)人：中国科学院自动化研究所，
类型：发明
国别省市：