【技术实现步骤摘要】
一种基于AR眼镜的手势定向交互系统及方法
[0001]本专利技术涉及一种手势定向交互系统及方法，特别涉及一种基于AR眼镜的手势定向交互系统及方法。
技术介绍
[0002]目前，手势定向交互对于AR眼镜的高效便捷使用、视觉手势操控、人机交互、远程机械作业具有重要作用。现有AR手势定向交互框架主要分为两步：首先进行全手的三维姿态估计，再根据三维全手姿态确定手势交互方向以及交互指令。其中全手三维姿态估计的算法复杂度较高，并且容易受到遮挡、快速运动等影响，对于计算资源有限的移动端并非最优手势交互框架。手部检测、手势定向坐标回归和手势交互指令分析是手势定向交互框架的核心问题。如何根据手势数据实时快速的判断图像中是否含有手部数据，如何根据手势数据实时快速的推理出手势定向坐标和手势交互指令，并要求整个网络必须具有较高的准确率和较短的耗时。以上这些是当前手势定向交互
中需要解决的技术问题。
技术实现思路
[0003]本专利技术为解决公知技术中存在的技术问题而提供一种基于AR眼镜的手势定向交互系统及方法。
[00...
【技术保护点】
【技术特征摘要】
1.一种基于AR眼镜的手势定向交互系统，其特征在于，包括：AR眼镜，以及均基于神经网络搭建的手部检测模型、食指坐标模型、手势动作分类模型；AR眼镜包括依次电连接的深度摄像头、AR控件及透视显示器；深度摄像头用于采集深度图像数据；AR控件用于控制深度摄像头采集深度图像数据，并产生合成的虚拟景象信号；透视显示器用于对虚拟景象信号进行增强现实显示；手部检测模型用于对图像数据进行手部整体特征提取并判断是否存在手部；食指坐标模型用于对手部整体特征进一步提取以获得食指点云的三维坐标；手势动作分类模型用于对手势动作数据进行特征提取及手势动作分类识别；手部检测模型，其输入深度摄像头采集的深度图像数据并判断是否存在手部；如果存在手部，其将提取的手部整体特征输出至食指坐标模型；食指坐标模型输出食指点云中轴线上两点的三维坐标至AR控件；AR控件绘制食指射线，并进行碰撞检测及时长判断；若AR控件默认选中，则手势动作分类模型输入深度摄像头采集的手势动作的深度图像数据，并输出动作指令至AR控件，AR控件输出手势动作虚拟景象信号至透视显示器。2.根据权利要求1所述的基于AR眼镜的手势定向交互系统，其特征在于，手部检测模型包括依次相连的沙漏网络、手部特征提取模块及sigmoid层；沙漏网络包括依次相连的四阶编码器和解码器；手部特征提取模块包括多个串接的手部特征提取单元，每个手部特征提取单元包括依次连接的二维卷积层、批量归一化层及修正线性单元层；沙漏网络，其输入深度摄像头采集的深度图像数据，其输出手部整体特征至手部特征提取模块；手部特征提取模块对手部整体特征进一步提取，并将提取的特征通过sigmoid层处理，得到深度图像数据中是否存在手部的判断信号。3.根据权利要求1所述的基于AR眼镜的手势定向交互系统，其特征在于，食指坐标模型包括依次相连的食指特征提取模块及全连接层，食指特征提取模块包括多个串联的食指特征提取单元；每个食指特征提取单元包括依次相连的二维卷积层、批量归一化层及修正线性单元层；当手部检测模型判断深度图像数据中存在手部时，同步将提取的手部整体特征输出至食指特征提取模块进行食指点云中轴线特征提取，提取的食指点云中轴线特征通过全连接层处理，得到食指点云中轴线上两点的三维坐标。4.根据权利要求1所述的基于AR眼镜的手势定向交互系统，其特征在于，手势动作分类模型包括依次相连的双向GRU模型和softmax层；双向GRU模型输入手势动作序列数据，输出整个动作序列的分类特征，分类特征通过softmax层处理，得到分类结果，由分类结果判断出该动作序列所对应的手势指令。5.一种利用权利要求1至4任一所述的基于AR眼镜的手势定向交互系统的基于AR眼镜的手势定向交互方法，其特征在于，该方法包括如下步骤：步骤1，建立并训练手部检测模型、食指坐标模型以及手势动作分类模型；步骤2，深度摄像头采集深...
【专利技术属性】
技术研发人员：凡凯歌，陶文源，闫野，王坤，肖晓琳，
申请(专利权)人：天津大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。