一种手势交互方法、系统、计算机及存储介质技术方案

技术编号:41702443 阅读:14 留言:0更新日期:2024-06-19 12:35
本发明专利技术提供一种手势交互方法、系统、计算机及存储介质,方法包括:获取相互对应的拍摄图像及深度图像,以确定手部区域图像;对手部区域图像进行降维重构,以获取包括若干个通道的二维特征图;构建包括卷积层的手部姿态识别模型,将二维特征图作为卷积层的输入值,以自二维特征图的若干个通道中确定核心通道;于卷积层中对核心通道进行卷积操作,以通过手部姿态识别模型输出手部关节坐标图,根据手部关节坐标图完成手势交互。通过对手部区域图像进行降维重构,仅对核心通道进行卷积操作,显著减少内存访问频率,减少了推理时间,进而提高了手部姿态的识别速度,提升了交互体验。

【技术实现步骤摘要】

本申请涉及图像处理,特别是涉及一种手势交互方法、系统、计算机及存储介质


技术介绍

1、人机交互系统通过研究人与计算机之间的互动交流,在最大程度上为人们完成信息管理、服务和处理等功能。从最初的基于传统的硬件设备的交互,比如鼠标、键盘,到现如今的基于计算机视觉的人机交互系统,人机交互的发展非常迅速。

2、基于计算机视觉的人机交互系统,较为有代表性的产品有ar眼镜,通过ar眼镜上设置的摄像机,可根据佩戴者的视线移动而进行图像拍摄,通过对图像进行手部位置检测及手部姿态识别,在提取手部特征后,将其与静态手势进行比对,即可根据手势来实现对应指令的执行。

3、现有手部姿态识别多使用深度学习模型通过深度卷积操作来提取图像特征用于预测手部姿态,即将拍摄到的手部图像直接于卷积层内进行卷积运算,以获取手部特征,但卷积操作的维度过高会造成内存访问过于频繁,导致手部姿态的识别速度降低,影响了交互体验。


技术实现思路

1、本申请实施例提供了一种手势交互方法、系统、计算机及存储介质,以解决现有技术中在进行手部特征本文档来自技高网...

【技术保护点】

1.一种手势交互方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的手势交互方法,其特征在于,所述通过所述拍摄图像及所述深度图像于所述拍摄图像上确定手部区域图像的步骤包括:

3.根据权利要求1所述的手势交互方法,其特征在于,所述手势交互包括交互指令获取及交互比对展示。

4.根据权利要求3所述的手势交互方法,其特征在于,当所述手势交互为交互指令获取时候,所述根据所述手部关节坐标图完成手势交互的步骤包括:

5.根据权利要求3所述的手势交互方法,其特征在于,当所述手势交互为交互比对展示时,所述根据所述手部关节坐标图完成手势交互的步骤包括:<...

【技术特征摘要】

1.一种手势交互方法,其特征在于,包括以下步骤:

2.根据权利要求1所述的手势交互方法,其特征在于,所述通过所述拍摄图像及所述深度图像于所述拍摄图像上确定手部区域图像的步骤包括:

3.根据权利要求1所述的手势交互方法,其特征在于,所述手势交互包括交互指令获取及交互比对展示。

4.根据权利要求3所述的手势交互方法,其特征在于,当所述手势交互为交互指令获取时候,所述根据所述手部关节坐标图完成手势交互的步骤包括:

5.根据权利要求3所述的手势交互方法,其特征在于,当所述手势...

【专利技术属性】
技术研发人员:刘晨
申请(专利权)人:江西求是高等研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1