一种基于多视角时空对比损失的骨架人体行为识别方法技术

本发明专利技术公开了一种基于多视角时空对比损失的骨架人体行为识别方法，涉及计算机视觉技术领域，包括骨架人体行为识别的识别网络是以端到端的双路时空建模网络为主干网络，主干网络包含ST‑Encoder和TS‑Encoder这两种具有不同建模顺序的时空编码器；通过两个时空编码器所获得的两个时空特征分别利用池化投影模块进行解耦和非线性投影，获得在全局时空、空间和时间视角下的特征分布；主干网络的参数优化是利用多视角时空对比损失与交叉熵损失相结合实现的，端到端的双路时空建模网络利用两种具有互补特性的编码器能够灵活地学习人体骨架动作的全面性时空表征，提高对相似的动作的辨别能力。

【技术实现步骤摘要】

本专利技术涉及计算机视觉，具体是一种基于多视角时空对比损失的骨架人体行为识别方法。

技术介绍

1、近年来，人工智能(ai)技术飞速发展。计算机视觉是ai重要的一个研究方向，其目标是为了让计算机学习分析周围环境，建立与人类一样的视觉系统。计算机视觉包含了许多经典的下游研究任务，例如视频理解、视频生成、图像分类和目标检测等。在视频理解和分析任务中，人体行为识别(har)是核心任务，具有很高的研究价值和应用场景。

2、har是计算机视觉领域中一个活跃且富有挑战性的课题，主要研究如何从原始的视频数据中自动提取人体动作特征并进行识别与分类。早期的har主要是基于rgb数据展开的，随着传感器的不断发展，骨架数据、深度图像数据和红外图像数据等模态的数据受到越来越多研究人员的关注。har在现实中应用广泛，例如智能视频监控系统、人机交互、无人驾驶、运动人体分析、虚拟现实等。当前的市场中的智能监控系统已经相对完善，可以对视频监控中的人体进行行为识别并做出预设好的反应，例如跌倒检测并通知联系人，危险行为检测并报警等。近年来，人们对于运动和健康问题愈发关注，这推动了行本文档来自技高网...

【技术保护点】

1.一种基于多视角时空对比损失的骨架人体行为识别方法，其特征在于，所述骨架人体行为识别的识别网络以端到端的双路时空建模网络为主干网络，主干网络包含ST-Encoder和TS-Encoder两种具有不同建模顺序的时空编码器，两种编码器协同互补，学习并分别提取人体骨架动作的全面性时空表征；通过两个时空编码器所获得的两个时空特征分别利用池化投影模块进行解耦和非线性投影，获得在全局时空、空间和时间视角下的特征分布；

2.根据权利要求1所述基于多视角时空对比损失的骨架人体行为识别方法，其特征在于，所述ST-Encoder由一系列ST-Block堆叠而成，每个ST-Block包括通道拓扑...

【技术特征摘要】

1.一种基于多视角时空对比损失的骨架人体行为识别方法，其特征在于，所述骨架人体行为识别的识别网络以端到端的双路时空建模网络为主干网络，主干网络包含st-encoder和ts-encoder两种具有不同建模顺序的时空编码器，两种编码器协同互补，学习并分别提取人体骨架动作的全面性时空表征；通过两个时空编码器所获得的两个时空特征分别利用池化投影模块进行解耦和非线性投影，获得在全局时空、空间和时间视角下的特征分布；

2.根据权利要求1所述基于多...

【专利技术属性】
技术研发人员：唐超，任放，乔硕，童安炀，席治远，程俊豪，汪超，
申请(专利权)人：合肥大学，
类型：发明
国别省市：