一种基于制造技术

本发明专利技术针对现实场景中一些行为识别任务需要短时或实时地给出结果，提出了以

【技术实现步骤摘要】
一种基于RGB数据和骨骼数据的双模态在线人体行为检测方法


[0001]本专利技术涉及在线人体行为检测领域，尤其涉及基于视频的人体行为识别领域，具体是一种基于
RGB
数据及骨骼热图数据的在线人体行为检测方法
。

技术介绍

[0002]人类的每一个动作，无论多么微不足道，都是为了某种目的而做的
。
例如，在医疗监护场景中，为了完成一项体育锻炼，病人会用手
、
胳膊
、
腿
、
躯干等与环境进行互动并作出反应
。
无论是用肉眼还是用视觉传感器，治疗师通过查看病人的动作，可以很容易地理解病人正在锻炼，进而判断其行动是否符合康复要求
。
但在现实场景中，使用人类劳动者来监控人体行为，成本太高
。
在线人体行为检测研究的最终目标是使机器能够实时准确地理解人类行动和意图，以更好地为人类服务
。
在医疗监护场景中，使用机器代替人工识别病人的动作，可以使远程锻炼成为现实，降低医疗成本
>。
除了医本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于
RGB
数据和骨骼数据的双模态在线人体行为检测方法，其特征在于，包括如下步骤：步骤
1、
使用姿态估计算法获取
RGB
视频中的骨骼信息；步骤
2、
提取骨骼特征；步骤
3、
输入长短期
Transformer
；步骤
4、
获取网络输出，在线性分类器中映射为分类结果
。2.
根据权利要求1所述的一种基于
RGB
数据和骨骼数据的双模态在线人体行为检测方法，其特征在于，所述步骤1中数据拥有者使用
AlphaPose
在
COCO
‑
keypoint
关键点上预训练模型对
RGB
视频进行姿态估计
。3.
根据权利要求1所述的一种基于
RGB
数据和骨骼数据的双模态在线人体行为检测方法，其特征在于，所述步骤2中在获得步骤1的结果，
2D
姿态后，使用如下方式提取骨骼特征：假定有输入为
D
帧的
RGB
视频
X
rgb
∈R
D
×
H
×
W
×3，应用...

【专利技术属性】
技术研发人员：陈良银，刘俊才，石静，陈彦如，张媛媛，廖俊华，赵万槟，冯康慧，
申请(专利权)人：四川大学，
类型：发明
国别省市：