增强现实环境下控制手势识别方法与系统技术方案

本发明专利技术提供了一种增强现实环境下控制手势识别方法，包含以下步骤：数据获取步骤：根据通过深度摄像头跟踪获取人手部的深度数据，计算手部关键点的三维坐标，来获取手部关键点的运动特征序列；神经网络处理步骤：对手部关键点的运动特征序列进行跟踪与识别，获得手势的特征序列；手势识别步骤：根据手势的特征序列，获得手势识别结果。相应地，本发明专利技术还提供了一种增强现实环境下控制手势识别系统。本发明专利技术可以对手势进行准确并快速的识别，减少了资源占用，提高了鲁棒性和实时性。

Control gesture recognition method and system in augmented reality environment

The present invention provides an augmented reality environment under the control of gesture recognition method, which comprises the following steps: data acquisition steps: according to the depth data acquisition through the depth camera tracking of the hand, computing the 3-D coordinates of key points of the hand, to get the key points of hand motion feature sequence; neural network processing steps: motion feature sequence the key point of hand tracking and recognition, obtain the characteristic sequence of gestures; gesture recognition steps: according to the characteristic sequence of gestures, gesture recognition results obtained. Accordingly, the invention also provides a control gesture recognition system in an augmented reality environment. The invention can accurately and quickly identify the gestures, reduce the occupation of resources, improve the robustness and real-time.

【技术实现步骤摘要】
增强现实环境下控制手势识别方法与系统
本专利技术涉及人机交互的
；具体地，涉及到手势控制，体感游戏操作，增强现实，虚拟现实，混合现实，计算机操作，手语识别，医疗控制领域；特别地，涉及一种增强现实环境下控制手势识别方法与系统。
技术介绍
人机交互技术(Human-ComputerInteractionTechniques)是指通过计算机输入、输出设备，以有效的方式实现人与计算机对话的技术。其主要研究的是人和计算机之间的信息交换，包括人到计算机和计算机到人的信息交换两部分。人与计算机之间的信息交换主要依靠交互设备进行，如早期人们通过鼠标和键盘对计算机进行操作交互等。但随着计算的发展，人们不断寻求着更方便更自如的人机交互方式。随着计算机视觉及图像技术的发展，增强现实(AugmentedReality，简称AR)技术以一种新的交互方式呈现在人们眼前。AR技术是一种实时地计算摄影机影像的位置及角度并加上相应图像的技术，这种技术的目标是在屏幕上把虚拟世界套在现实世界并进行互动。增强现实技术不仅展现了真实世界的信息,而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。经过对现有的技术文献的检索中发现，在许多AR系统的应用中，大多采用了手势来进行交互。专利文献CN103955267A公开了一种光透视增强现实系统中双手人机交互方法，通过算法对数据手套的读数进行自适应处理，并利用处理后的数据实时获取用户手部的方位以及手指的弯曲状态。虽然数据手套作为AR人机交互系统的基本手段之一，却有设备重、操作不便和响应速度慢等缺点。专利文献CN104850582A公开了一种索引式增强现实系统，通过增强现实输入笔读取并解析对象携带的编码规则的OID编码得到特征信息，并将特征信息传输给终端。虽然采用交互面板和输入笔能够获取快速的交互响应、识别率高、易用性强等优点，但是交互过程中用户必须手持面板和笔，影响了用户交互的体验。在AR交互技术方面，微软研发的AR设备HoloLens(美国专利号：9557569)使用户能对操作系统不加任何限制直接进行手势交互，但目前的能操作的手势非常局限，只有点击鼠标和呼出菜单两种手势操作，不能满足用户对计算机的操作需求。手势识别算法是AR系统人机交互技术实现的研究热点，专利文献CN106502424A公开了一种基于语音手势及肢体动作互动的增强现实系统，通过传感器采集肢体位置变化的信息，手势和肢体动作识别模块对来自视频采集模块的视频流进行解析，识别出手势指令和肢体动作，以及人体在场景中的位置。但为了实现复杂的手势交互，往往需要占用大量的硬件资源，无法保证实时性和鲁棒性。
技术实现思路
针对现有技术中的缺陷，本专利技术的目的是提供一种增强现实环境下控制手势识别方法与系统。根据本专利技术提供的增强现实环境下控制手势识别方法，包含以下步骤：数据获取步骤：根据通过深度摄像头跟踪获取人手部的深度数据，计算手部关键点的三维坐标，来获取手部关键点的运动特征序列；神经网络处理步骤：对手部关键点的运动特征序列进行跟踪与识别，获得手势的特征序列；手势识别步骤：根据手势的特征序列，获得手势识别结果。优选地，所述数据获取步骤中，根据每一个手部关键点的三维坐标得到该手部关键点的运动位移，并根据该手部关键点的运动位移为该手部关键点添加权重值，所述权重值按如下公式计算：式中：W为手部关键点的权重值；Dist为手部关键点的运动位移；σ1、σ2为选取的阈值，单位为mm；将全部手部关键点的权重值作为所述手部关键点的运动特征序列。优选地，所述神经网络处理步骤中，采用神经网络对手部关键点的运动特征序列进行跟踪与识别；所述神经网络为多个神经元互连形成的反馈型神经网络。优选地，所述神经网络处理步骤包含以下步骤：接收步骤：当一个神经元获取到邻域神经元的信号时，获取该神经元与邻域神经元的馈接信号与连接信号，选取馈接信号与连接信号中的较小值作为该神经元的邻域信号；根据获取到的该神经元的被激活的邻域神经元的信号和所述邻域信号，对被激活的邻域神经元进行权重筛选以获得筛选信号，公式如下：Li(n)＝min{Lli(n)，Lki(n)}Pi(n)＝Select{Sk,j(n)}式中：Lli为神经元Ni获取的邻域神经元的连接信号；Lli()为神经元Ni获取的邻域神经元的连接信号函数；Ni表示第i个神经元；n为迭代次数；Lli(n)为第n次迭代下的神经元Ni获取的邻域神经元的连接信号；e为自然底数；αL为连接域的时间常数；Lli(n-1)为第n-1次迭代下的神经元Ni获取的邻域神经元的连接信号；VL为连接域的放大系数；l的取值范围为：l为邻域发出连接信号神经元的个数，l为正整数；Wli为神经元Ni的连接域的连接权系数矩阵；Yl为邻域发出连接信号的神经元的输出；Yl()为邻域发出连接信号的神经元的输出函数；Yl(n-1)为第n-1次迭代下邻域发出连接信号的神经元的输出；Lki为神经元Ni获取的邻域神经元的馈接信号；Lki()为神经元Ni获取的邻域神经元的馈接信号函数；Lki(n)为第n次迭代下的神经元Ni获取的邻域神经元的馈接信号；αK为馈接域的时间常数；Lki(n-1)为第n-1次迭代下的神经元Ni获取的邻域神经元的馈接信号；VK为馈接域的放大系数；k的取值范围为：k为邻域发出馈接信号神经元的个数，k为正整数；Wki为神经元Ni的馈送域的连接权系数矩阵；Yk为邻域发出馈接信号的神经元的输出；Yk()为邻域发出馈接信号的神经元的输出函数；Yk(n-1)为第n-1次迭代下邻域发出馈接信号的神经元的输出；Li为神经元Ni的筛选后的连接信号；Li()为神经元Ni的筛选后的连接信号函数；Li(n)为第n次迭代下的神经元Ni的筛选后的连接信号；Pi为神经元Ni的筛选信号；Pi()为神经元Ni的筛选信号函数；Pi(n)为第n次迭代下的神经元Ni的筛选信号；Select{}表示对被激活的邻域神经元的激活信号进行筛选；Select{Sk,j(n)}表示筛选出的被激活的邻域神经元的激活信号；Sk,j为被激活的邻域神经元的激活信号；Sk,j()为被激活的邻域神经元的激活信号函数；Sk,j(n)为第n次迭代下被激活的邻域神经元的激活信号；调节步骤：对筛选信号与邻域信号按以下公式进行调整，获得调整信号：式中：为神经元Ni的调整信号；为神经元Ni的调整信号函数；为第n次迭代下的神经元Ni的调整信号；dist(Ni,NT)表示神经元Ni和NT之间的欧式距离；Ni表示第i个神经元，NT表示终点目标神经元；脉冲发生步骤：将调整信号输入到脉冲触发器中，按以下公式来进行感兴趣方向的调整：式中：Ui为神经元Ni的内部行为信号；Ui()为神经元Ni的内部行为信号函数；Ui(n)为第n次迭代下的神经元Ni的内部行为信号；Ui(n-1)为第n-1次迭代下的神经元Ni的内部行为信号；θi为神经元Ni的变阈值函数输出；θi()为神经元Ni的变阈值函数输出函数；θi(n)为第n次迭代下的神经元Ni的变阈值函数输出；αθ为变域值函数的时间常数；θi(n-1)为第n-1次迭代下的神经元Ni的变阈值函数输出；Vθ为阈值放大系数；Yi为神经元Ni的输出信号；Yi()为神经元Ni的输出信号函数；Yi(n)为第n次迭代下的神经元Ni本文档来自技高网...

【技术保护点】
一种增强现实环境下控制手势识别方法，其特征在于，包含以下步骤：数据获取步骤：根据通过深度摄像头跟踪获取人手部的深度数据，计算手部关键点的三维坐标，来获取手部关键点的运动特征序列；神经网络处理步骤：对手部关键点的运动特征序列进行跟踪与识别，获得手势的特征序列；手势识别步骤：根据手势的特征序列，获得手势识别结果。

【技术特征摘要】
1.一种增强现实环境下控制手势识别方法，其特征在于，包含以下步骤：数据获取步骤：根据通过深度摄像头跟踪获取人手部的深度数据，计算手部关键点的三维坐标，来获取手部关键点的运动特征序列；神经网络处理步骤：对手部关键点的运动特征序列进行跟踪与识别，获得手势的特征序列；手势识别步骤：根据手势的特征序列，获得手势识别结果。2.根据权利要求1所述的增强现实环境下控制手势识别方法，其特征在于，所述数据获取步骤中，根据每一个手部关键点的三维坐标得到该手部关键点的运动位移，并根据该手部关键点的运动位移为该手部关键点添加权重值，所述权重值按如下公式计算：式中：W为手部关键点的权重值；Dist为手部关键点的运动位移；σ1、σ2为选取的阈值，单位为mm；将全部手部关键点的权重值作为所述手部关键点的运动特征序列。3.根据权利要求1所述的增强现实环境下控制手势识别方法，其特征在于，所述神经网络处理步骤中，采用神经网络对手部关键点的运动特征序列进行跟踪与识别；所述神经网络为多个神经元互连形成的反馈型神经网络。4.根据权利要求3所述的增强现实环境下控制手势识别方法，其特征在于，所述神经网络处理步骤包含以下步骤：接收步骤：当一个神经元获取到邻域神经元的信号时，获取该神经元与邻域神经元的馈接信号与连接信号，选取馈接信号与连接信号中的较小值作为该神经元的邻域信号；根据获取到的该神经元的被激活的邻域神经元的信号和所述邻域信号，对被激活的邻域神经元进行权重筛选以获得筛选信号，公式如下：Li(n)＝min{Lli(n)，Lki(n)}Pi(n)＝Select{Sk,j(n)}式中：Lli为神经元Ni获取的邻域神经元的连接信号；Lli()为神经元Ni获取的邻域神经元的连接信号函数；Ni表示第i个神经元；n为迭代次数；Lli(n)为第n次迭代下的神经元Ni获取的邻域神经元的连接信号；e为自然底数；αL为连接域的时间常数；Lli(n-1)为第n-1次迭代下的神经元Ni获取的邻域神经元的连接信号；VL为连接域的放大系数；l的取值范围为：l为邻域发出连接信号神经元的个数，l为正整数；Wli为神经元Ni的连接域的连接权系数矩阵；Yl为邻域发出连接信号的神经元的输出；Yl()为邻域发出连接信号的神经元的输出函数；Yl(n-1)为第n-1次迭代下邻域发出连接信号的神经元的输出；Lki为神经元Ni获取的邻域神经元的馈接信号；Lki()为神经元Ni获取的邻域神经元的馈接信号函数；Lki(n)为第n次迭代下的神经元Ni获取的邻域神经元的馈接信号；αK为馈接域的时间常数；Lki(n-1)为第n-1次迭代下的神经元Ni获取的邻域神经元的馈接信号；VK为馈接域的放大系数；k的取值范围为：k为邻域发出馈接信号神经元的个数，k为正整数；Wki为神经元Ni的馈送域的连接权系数矩阵；Yk为邻域发出馈接信号的神经元的输出；Yk()为邻域发出馈接信号的神经元的输出函数；Yk(n-1)为第n-1次迭代下邻域发出馈接信号的神经元的输出；Li为神经元Ni的筛选后的连接信号；Li()为神经元Ni的筛选后的连接信号函数；Li(n)为第n次迭代下的神经元Ni的筛选后的连接信号；Pi为神经元Ni的筛选信号；Pi()为神经元Ni的筛选信号函数；Pi(n)为第n次迭代下的神经元Ni的筛选信号；Select{}表示对被激活的邻域神经元的激活信号进行筛选；Select{Sk,j(n)}表示筛选出的被激活的邻域神经元的激活信号；Sk,j为被激活的邻域神经元的激活信号；Sk,j()为被激活的邻域神经元的激活信号函数；Sk,j(n)为第n次迭代下被激活的邻域神经元的激活信号；调节步骤：对筛选信号与邻域信号按以下公式进行调整，获得调整信号：式中：为神经元Ni的调整信号；为神经元Ni的调整信号函数；为第n次迭代下的神经元Ni的调整信号；dist(Ni,NT)表示神经元Ni和NT之间的欧式距离；Ni表示第i个神经元，NT表示终点目标神经元；脉冲发生步骤：将调整信号输入到脉冲触发器中，按以下公式来进行感兴趣方向的调整：式中：Ui为神经元Ni的内部行为信号；Ui()为神经元Ni的内部行为信号函数；Ui(n)为第n次迭代下的神经元Ni的内部行为信号；Ui(n-1)为第n-1次迭代下的神经元Ni的内部行为信号；θi为神经元Ni的变阈值函数输出；θi()为神经元Ni的变阈值函数输出函数；θi(n)为第n次迭代下的神经元Ni的变阈值函数输出；αθ为变域值函数的时间常数；θi(n-1)为第n-1次迭代下的神经元Ni的变阈值函数输出；Vθ为阈值放大系数；Yi为神经元Ni的输出信号；Yi()为神经元Ni的输出信号函数；Yi(n)为第n次迭代下的神经元Ni的输出信号；将Yi(n)作为所述手势的特征序列。5.根据权利要求1所述的增强现实环境下控制手势识别方法，其特征在于，所述片段识别步骤包含以下步骤：步骤S1：将手势特征序列输入到初始窗口大小为W0的滑动窗口中，对局部的手势片段与样本手势进行匹配识别，获得最短路径Dspl；其中，所述手势片段是通过对手势的特征序列进行片段识别得到的；步骤S2：将最短路径Dspl与阈值TH1进行比较，若Dspl≥TH1，则增加滑动窗口大小至W+ΔW，W为窗口当前大小，ΔW为窗口大小每次增加的设定值，再返回执行步骤S1；若Dspl＜TH1，继续执行步骤S3；步骤S3：将次最短路径D2spl和最短路径Dspl之差与阈值TH2进行比较，若D2spl-Dspl≤TH2，则增加滑动窗口大小至W+ΔW，再返回执行步骤S1；若D2spl-Dspl＞TH2，则采用当前滑动窗口，通过手势的特征序列获得手势识别结果。...

【专利技术属性】
技术研发人员：赵群飞，董嘉棋，颜庭满，夏泽洋，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31