手部动作检测方法及装置、存储介质与终端制造方法及图纸

技术编号:43006446 阅读:25 留言:0更新日期:2024-10-18 17:14
本发明专利技术提供一种手部动作检测方法及装置、存储介质与终端,其中方法包括获取手部运动数据、手部关键点数据和手部红外图像,手部运动数据包括加速度数据和角速度数据;利用卷积神经网络对手部红外图像进行特征提取,以获取手部空间特征,利用图卷积神经网络对手部关键点数据进行特征提取,以获取手指图特征,基于手部运动数据获取手部运动特征,基于手部红外图像和手部关键点数据获取时序补充特征;融合手部空间特征、手指图特征、手部运动特征和时序补充特征以获取手部综合特征;将手部综合特征输入手部动作识别神经网络进行识别,以获取手部动作识别结果。本发明专利技术可以提升手部动作检测的精度。

【技术实现步骤摘要】

本专利技术属于图像处理,涉及一种手部动作检测方法,特别是涉及一种手部动作检测方法及装置、存储介质与终端


技术介绍

1、孤独症儿童,通常被诊断为自闭症谱系障碍 (asd) 的孩子,表现出一系列与社会互动、沟通以及行为相关的挑战。这些儿童在语言交流和社交技能方面通常存在明显的障碍,同时还可能表现出重复性行为、狭隘的兴趣和对环境变化的敏感性。孤独症儿童的行为特征因个体差异而异,但手部姿态往往是他们行为表达的重要方面。

2、从手部姿态的角度出发,孤独症儿童可能会表现出一些不寻常或重复的手部动作,例如反复拍打、抓挠、或手指搓揉等。这些动作不仅反映了他们内在的情感状态或心理需求,也可能是他们在与外界交流时的一种特殊表现形式。因此,手部动作姿态的监测和分析对于理解和判断孤独症儿童的行为具有重要意义。

3、但是现有技术中缺少用于判断孤独症儿童手部动作的姿态检测技术,同时现有技术中应用于其它部位的姿态检测技术由于场景不同,因此直接应用于孤独症儿童的手部动作检测时会面临图像质量不够、检测精度不足等问题。


>技术实现思路...

【技术保护点】

1.一种手部动作检测方法,包括:

2.根据权利要求1所述的方法,其特征在于,融合所述手部空间特征、手指图特征、手部运动特征和所述时序补充特征以获取手部综合特征包括:

3.根据权利要求1所述的方法,其特征在于,基于手部运动数据获取手部运动特征包括:

4.根据权利要求1所述的方法,其特征在于,利用图卷积神经网络对所述手部关键点数据进行特征提取,以获取手指图特征包括:

5.根据权利要求1所述的方法,其特征在于,

6.根据权利要求1所述的方法,其特征在于,基于所述手部红外图像和手部关键点数据获取时序补充特征包括:p>

7.根据权...

【技术特征摘要】

1.一种手部动作检测方法,包括:

2.根据权利要求1所述的方法,其特征在于,融合所述手部空间特征、手指图特征、手部运动特征和所述时序补充特征以获取手部综合特征包括:

3.根据权利要求1所述的方法,其特征在于,基于手部运动数据获取手部运动特征包括:

4.根据权利要求1所述的方法,其特征在于,利用图卷积神经网络对所述手部关键点数据进行特征提取,以获取手指图特征包括:

5.根据权利要求1所述的方法,其特征在于,

6.根据权利要求1所述的方法,其特征在于,基于所述手部红外图像和手部关键点数据获取时序补充...

【专利技术属性】
技术研发人员:凤黄浩金厚吉
申请(专利权)人:常熟理工学院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1