一种基于AR/MR技术的手势识别方法及电子设备技术

本发明专利技术提供一种基于AR/MR技术的手势识别方法及电子设备，空间数据分析与识别技术领域，设置并储存手势识别过程中的相关变量；设置作为手势识别判断依据的常量信息，执行手势识别引擎，对每一帧进行识别判断：判断SDK是否追踪到拇指指尖与无名指指尖，如果有任意一个指尖未追踪到，则本帧识别过程结束；如果同时识别到拇指指尖与无名指指尖，则记录当前帧拇指指尖的位置即空间三维坐标；本发明专利技术能够对手势识别的相关变量、常量信息以及手势识别引擎进行汇总，方便用户参考使用，并便于系统根据相关变量、常量信息以及手势识别引擎执行相应的手势识别进程。有效的提升手势识别的准确度和精准性。和精准性。和精准性。

【技术实现步骤摘要】
一种基于AR/MR技术的手势识别方法及电子设备


[0001]本专利技术涉及空间数据分析与识别
，尤其涉及一种基于AR/MR技术的手势识别方法及电子设备。

技术介绍

[0002]目前，AR/MR技术的应用前景非常广泛，其中AR（增强现实）是一种实时地计算摄像机影像的位置及角度并加上相应图像、视频、3D模型的技术，MR是混合现实技术。通俗来讲AR是在实际景象上叠加虚拟影像，MR是在实际景象上叠加虚拟影像后，还能够对虚拟影像进行互动。AR/MR最突出的特点是可以不使用键盘、鼠标、手柄或触屏等占用双手的操作方式，而通过手势、语音或眼动凝视的非接触式操作，解放用户的双手，更加方便快捷的获取、操作数据。
[0003]与传统交互平台相比，AR/MR最突出的特点是可以不使用键盘、鼠标、手柄或触屏等占用双手的操作方式，而通过手势、语音或眼动凝视的非接触式操作，解放用户的双手，更加方便快捷的获取、操作数据。目前，通过解放双手这一特点，在工业中例如检修设备时，用户可以在手持工具检修的同时查阅资料、寻求远程协助或将图纸放在设备旁边进行实时比对，不必放下手头的工具反复拿起手册或平板查阅。在生活中例如学习厨艺时，查阅菜谱不必担心用粘有佐料或面粉的手滑动屏幕弄脏手机，又反向污染饭菜。
[0004]再比如在生产生活中，可能由于场地限制，手持工具，污渍影响等问题不便触碰屏幕、拿取纸质材料或操作设备，这就需要手势识别方式来调取资源列表。
[0005]而目前的手势识别主要是采用人工智能图像训练的方式，这种方式面临着三个问题一是训练周期长，需要对图像数据集进行训练，匹配出满足要求的训练模型，如果训练模型不匹配或者模型准确度低，则影响手势识别的准确性。二是数据模型量大，需要耗费大量的系统资源，而且还会造成系统运行卡顿，无法满足识别要求。而且仅通过平面图像判断缺乏三位数据对准确度有一定的影响。

技术实现思路

[0006]本专利技术提供一种基于AR/MR技术的手势识别方法，方法通过骨骼点的2D及3D数据综合分析手势的准确性。
[0007]基于AR/MR技术的手势识别方法包括：S101、设置并储存手势识别过程中的相关变量；S102、设置作为手势识别判断依据的常量信息，常量信息是根据AR/MR设备及使用环境定义的值；S103、执行手势识别引擎，对每一帧进行如下识别判断：判断SDK是否追踪到拇指指尖与无名指指尖，如果有任意一个指尖未追踪到，则将IfTrack设置为false,并把GestureState的值设置为：未进行识别，本帧识别过程结束；如果同时识别到拇指指尖与无名指指尖，则用ThumbTip记录当前帧拇指指尖的位
置即空间三维坐标，用RingTip记录当前帧无名指指尖的位置即空间三维坐标；如果GestureState的状态值为已识别成功，则用IntervalTm记录当前帧时间点
‑
EndTm，即从上次判断成功到当前帧所用的时间；如果IntervalTm大于ReAcvTm则将GestureState的状态值变为未进行识别；把OriTm设置为当前帧的时间点；RingTipOri设置为当前无名指指尖的位置；ThumbTipOri设置为当前拇指指尖的位置，本帧识别过程直接结束。
[0008]进一步需要说明的是，步骤S101中设置并储存的相关变量包括：设置三维浮点数变量RingTip，并实时记录追踪无名指指尖位置信息；设置三维浮点数变量RingTipOri，并记录在某个时间点的无名指指尖的三维空间位置坐标，用于对比无名指指尖的位置变化；设置三维浮点数变量ThumbTip，并实时记录追踪拇指指尖位置，更新当前帧SDK所获取到的拇指的三维空间位置坐标；设置三维浮点数变量ThumbTipOri，记录在某个时间点的拇指指尖三维空间位置坐标，用于对比拇指指尖的位置变化。
[0009]进一步需要说明的是，步骤S101中设置并储存的相关变量还包括：设置枚举型变量GestureState，识别枚举型变量的状态值，状态值包括：1.未进行识别，2.正在进行识别，3.已识别成功，4.禁用；枚举型变量GestureState的默认状态为：未进行识别；设置布尔型变量IfTrack，并记录是否为第一次同时识别到拇指指尖与无名指指尖；设置浮点型变量OriTm，并记录手势识别开始的时间点，所述时间点是从程序开始运行时到记录时所经历的秒数；设置浮点型变量EndTm，并记录手势识别成功时的时间点，所述时间点是从程序开始运行时到记录时所经历的秒数；设置浮点型变量IntervalTm；设置浮点型变量DisThumbTipToRingTip，并记录拇指指尖到无名指指尖的距离信息。
[0010]进一步需要说明的是，步骤S102还包括：设置浮点型常量StartDis，作为判断是否开始进行手势识别的距离条件；当RingTip和ThumbTip之间的距离小于StartDis时，开始对是否符合手势条件进行判断；设置浮点型常量EndDis作为手势需要达到的距离，当ThumbTip和RingTip的距离超过EndDis时，说明手势位置达到完成标准；设置浮点型常量GustureMinTm作为手势判断时间下限的限制条件，即当开始进行手势识别后，如手势的位置变化条件时，所经过的识别时间大于GustureMinTm，则确定为有效手势识别的状态；设置浮点型常量手势判断时间上限的限制条件GestureMaxTm；当开始进行手势识后，在GestureMaxTm时间内，即满足手势位置变化条件。
[0011]进一步需要说明的是，步骤S102还包括：设置浮点型常量GestureReleaseTm作为要停止手势识别的时间；即当开始手势识别后，如在GestureReleaseTm时间内ThumbTip和
RingTip均未发生距离变化，则不再进行手势识别；设置浮点型常量GestureReleaseDis判断停止手势识别的距离,即在手势识别时，如在GestureReleaseTm时间内，判断ThumbTip和RingTip的距离变化是否超过预设距离，如未超过预设距离，则停止当前手势识别；设置浮点数类型常量ReAcvTm，浮点数类型常量ReAcvTm为手势的冷却时间。
[0012]进一步需要说明的是，步骤S103中本帧识别过程结束条件还包括：如果GestureState的状态为未进行识别，则再判断ThumbTip与ThumbTIpOri 是否一致，或RingTip与RingTipOri是否一致，如一致则本帧识别过程结束；如果拇指指尖和无名指指尖的距离大于StartDis，则本帧识别过程结束；结束之后，将GestureState的状态值设置为进行识别状态。
[0013]进一步需要说明的是，将GestureState的状态值设置为进行识别状态之后，将IntervalTm设置为当前时间点减去OriTm；将DisThumbTipToRingTip设置为当前拇指指尖距离到无名指指尖距离；如果IntervalTm大于ReleaseTm，或DisThumbTipToRin本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于AR/MR技术的手势识别方法，其特征在于，方法包括：S101、设置并储存手势识别过程中的相关变量；S102、设置作为手势识别判断依据的常量信息，常量信息是根据AR/MR设备及使用环境定义的值；S103、执行手势识别引擎，对每一帧进行如下手势识别判断：判断SDK是否追踪到拇指指尖与无名指指尖，如果有任意一个指尖未追踪到，则将IfTrack设置为false,并把GestureState的值设置为：未进行识别，本帧识别过程结束；如果同时识别到拇指指尖与无名指指尖，则用ThumbTip记录当前帧拇指指尖的位置即空间三维坐标，用RingTip记录当前帧无名指指尖的位置即空间三维坐标；如果GestureState的状态值为已识别成功，则用IntervalTm记录当前帧时间点
‑
EndTm，即从上次判断成功到当前帧所用的时间；如果IntervalTm大于ReAcvTm则将GestureState的状态值变为未进行识别；把OriTm设置为当前帧的时间点；RingTipOri设置为当前无名指指尖的位置；ThumbTipOri设置为当前拇指指尖的位置，本帧识别过程直接结束。2.根据权利要求1所述的基于AR/MR技术的手势识别方法，其特征在于，步骤S101中设置并储存的相关变量包括：设置三维浮点数变量RingTip，并实时记录追踪无名指指尖位置信息；设置三维浮点数变量RingTipOri，并记录在某个时间点的无名指指尖的三维空间位置坐标，用于对比无名指指尖的位置变化；设置三维浮点数变量ThumbTip，并实时记录追踪拇指指尖位置，更新当前帧SDK所获取到的拇指的三维空间位置坐标；设置三维浮点数变量ThumbTipOri，记录在某个时间点的拇指指尖三维空间位置坐标，用于对比拇指指尖的位置变化。3.根据权利要求1所述的基于AR/MR技术的手势识别方法，其特征在于，步骤S101中设置并储存的相关变量还包括：设置枚举型变量GestureState，识别枚举型变量的状态值，状态值包括：1.未进行识别，2.正在进行识别，3.已识别成功，4.禁用；枚举型变量GestureState的默认状态为：未进行识别；设置布尔型变量IfTrack，并记录是否为第一次同时识别到拇指指尖与无名指指尖；设置浮点型变量OriTm，并记录手势识别开始的时间点，所述时间点是从程序开始运行时到记录时所经历的秒数；设置浮点型变量EndTm，并记录手势识别成功时的时间点，所述时间点是从程序开始运行时到记录时所经历的秒数；设置浮点型变量IntervalTm；设置浮点型变量DisThumbTipToRingTip，并记录拇指指尖到无名指指尖的距离信息。4.根据权利要求1所述的基于AR/MR技术的手势识别方法，其特征在于，步骤S102还包括：设置浮点型常量StartDis，作为判断是否开始进行手势识别的距离条件；当RingTip和ThumbTip之间的距离小于StartDis时，开始对是否符合手势条件进行判断；设置浮点型常量EndDis作为手势需要达到的距离，当ThumbTip和RingTip的距离超过
EndDis时，说明手势位置达到完成标准；设置浮点型常量GustureMinTm作为手势判断时间下限的限制条件，即当开始进行手势识别后，如手势的位置变化条件时，所经过的识别时间大于GustureMinTm，则确定为有...

【专利技术属性】
技术研发人员：张瑞程，邢振华，褚烨，徐淼，王书源，王天翔，孙英洲，王帅，代佳佳，韩平，
申请(专利权)人：国网山东省电力公司泰安供电公司，
类型：发明
国别省市：