一种基于手势识别的人机交互多功能腕带终端制造技术

本发明专利技术涉及可穿戴设计的人机交互领域，特别是基于手势识别的人机交互多功能腕带终端，该腕带终端包括穿戴人机交互系统和手势识别处理装置。穿戴人机交互系统包括单目摄像头和可穿戴操作系统，其负责采集包含手势信息的视频流的采集和传输视频流数据到手势识别处理模块；手势识别处理装置包括手势分割模块和手势分类与匹配模块，其对视频流中的手势信息进行手势分割、手势分析、手势分类与匹配，最后得到识别结果，返回给系统相应的指令。该发明专利技术的实施有效地利用了腕带终端上现有的摄像采集设备，没有额外的硬件开销，采用高效的手势识别算法，提高了用户体验，克服了可穿戴设备屏幕小等交互设计不便的缺陷。

A human-computer interactive multi-function wristband terminal based on gesture recognition

The invention relates to the field of human-machine interaction in wearable design, especially the human-machine interaction multi-function wrist strap terminal based on gesture recognition, which comprises a wearable human-machine interaction system and gesture recognition processing device. Wearable human-computer interaction system including single camera and wearable operating system, which is responsible for collecting information of the video stream includes gesture acquisition and transmission of video stream data processing module to gesture recognition; gesture recognition processing device comprises a module module of gesture segmentation and gesture classification and matching, the gesture segmentation, gesture analysis, classification and matching the gesture information in the video stream, and finally get the recognition results back to the corresponding command system. The implementation of the invention effectively utilizes the existing video capture device on the wrist strap terminal without extra hardware cost, and adopts the efficient gesture recognition algorithm, which improves user experience and overcomes the inconvenient interaction design of wearable devices such as small screen.

【技术实现步骤摘要】
一种基于手势识别的人机交互多功能腕带终端
本专利技术涉及可穿戴
，特别是一种基于手势识别的多功能腕带终端。
技术介绍
可穿戴设备是下一代智能硬件的发展趋势，可穿戴设备具有一定的计算功能，可连接手机和平板等现有的智能移动设备，主流的产品包括以手腕为支撑的手环和手表系列，以及以头部为支撑的眼睛系列，可穿戴设备正以更加丰富的形式出现，但是目前发展最主流的设备依然是腕带系列的产品，据目前的各大硬件厂商的统计，手腕产品是可穿戴出货量最高的。穿戴设备的研究内容包含，输入输出界面、连续传感数据计算、行为识别、环境背景认知等，甚至还包含材料与能源技术的研究。穿戴设备涉及了大量的相关
内容，是多学科领域交叉的内容。随着可穿戴设备的发展，可穿戴手腕产品具有续航能力差，不能独立使用或者功能不全，交互屏幕小等缺点。可穿戴手腕的屏幕等问题严重影响了用户的使用体验，然而在交互方面，如果将屏幕去掉，用户体验会很差，不能与产品直接交互意味着产品功能不能完全体现，这样严重影响了用户和可穿戴设备之间的数据交流产生障碍，那么可穿戴设备就无法服务于用户，如果一部可穿戴设备没有软件服务，就不能称之为智能设备。为了解决以上部分问题，需要采用一种更加合理且先进的人机交互方式，基于穿戴视觉的人机交互技术，又称穿戴视觉交互。它的实现方式是在穿戴设备上配备摄像头等成像设备，通过视觉感知技术随时捕获交互场景中的静态、动态信息，在充分理解上下文信息的基础之上，充分理解用户的意图，从而完成自然、高效、可靠的交互任务。采用单目视觉的手势识别方法进行对可穿戴设备的操作和控制。
技术实现思路
本专利技术针对现有技术的上述缺陷，提出了一种基于手势识别的人机交互多功能腕带终端。本系统包括穿戴人机交互系统和手势识别处理装置；其中，所述的穿戴人机交互系统，包括单目摄像头和可穿戴操作系统，负责终端单目摄像头采集的包含手势视频的视频流，并将视频流传送给手势识别处理装置，进行手势的分析与识别，最后发送特定功能的指令；所述手势识别处理装置，包括手势分割模块和手势分类与匹配模块，根据所述将传递的视频流通过特定的算法进行处理，通过手势识别处理装置中的各个处理模块的处理，最终识别出用户的手势所代表的特定功能，将功能指令传送给手腕终端进行特定的动作响应。其中，所述穿戴人机交互系统和所述手势识别处理装置通过腕带终端上的搭载在腕带终端上的操作系统进行数据交互。进一步的，所述穿戴人机交互系统包括腕带终端上的单目摄像头和腕带终端本身搭载的可穿戴操作系统；其中，单目摄像头负责视频的采集，将采集的视频数据通过操作系统传递给手势识别处理模块进行手势的分割、分析、匹配等操作。其中，所述手势的分割采用的是自适应高斯模型与MLP结合的算法，该过程直接影响到识别的准确性和精度。所述手势识别处理装置包括手势图像的几何归一化，去除手臂干扰模块，还有手势匹配模块。更进一步的，在所述的手势识别处理模块中，运用了基于内距离的形状上下文的手势匹配算法，在该算法中首先计算手势轮廓点上的特征向量，然后根据手部的特点找到最佳采样点进行匹配，找到手掌中心的主方向，然后进行相应的极坐标变换，将极坐标的起始方向旋转到与手臂区域主方向相重合，利用MLP算法进行分类，最终达到快速高效的识别手势。附图说明下面结合附图和具体实施方式对本专利技术作进一步详细的说明。图1为本专利技术的整体框图。图中：包括穿戴人机交互系统、手势识别处理装置。图2为本专利技术的系统处理流程图。图中：包括手势分割模块和手势分类与匹配模块。图3为手势分割模块的流程图。图4为MLP迭代流程图。图中：采用经典的EM算法。图5为手势识别算法流程图。图中：包含了欧几里德变换、基于内距离的匹配算法。具体实施方式如图1所示，本专利技术是基于手势识别的人机交互多功能腕带终端，穿戴人机交互系统包括单目摄像头和可穿戴操作系统，其中穿戴人机交互系统负责采集包含手势信息的视频流数据，并通过穿戴操作系统传递给手势识别处理装置进行手势识别，手势识别处理装置包括手势分割模块和手势分类与匹配模块，负责手势的识别处理。具体的系统处理流程如图2所示，其中包含手势的视频由交互系统中的单目摄像头采集。当摄像头采集到视频流之后，针对视频每一帧图像进行手势分割，手势分割如图3所示。首先将输入的视频按照固定的阈值进行分割，然后对各个分割区域建立单高斯模型，然后用迭代法减少方差，得到各个区域输出的似然图，再次进行固定阈值的分割，结合固定阈值分割、单高斯模型与高斯混合模型相结合的模型，并且具有自适应性的高斯模型，解决了不可线性分割的问题。针对手部区域，采用几何膨胀法并且将连通区域去除；针对背景区域，采用几何腐蚀法弱化背景对识别准确率的影响。当背景的变化小于设定的阈值的时候，迭代收敛，手势分割结束；反之，进行MLP训练，直到结果收敛。在手势分割的不收敛的情况下，进行MLP迭代训练如图4，针对背景变化的数据，首先估算高斯模型参数的的初值，根据EM算法减少方差，同时也缩小分割的区域，直到方差足够小满足原先设定的阈值，否则就一直迭代。如图5所示，在经过图像分割后，获取了图像的轮廓之后，经过欧几里德变换，其中欧几里德变换中的距离公式为：ED＝min(Di)求得掌心位置。从人体形态学上讲假设手掌为椭圆形，长短轴已知然后计算椭圆参数，其公式如下：Spalm＝max(EDxy)Lpaim＝1.5max(EDxy)通过计算椭圆参数将手掌和手臂去除，接着采用基于内距离的算法匹配手势，内距离的算法主要有两步：首先建立采样点的连接图。对于轮廓采样点集P＝{pi，i＝1，2，3...n}，若pi、pj连接线落在轮廓内，则将连接线画在连接图上。注意，这里采样连接图还可以放映出轮廓内的孔洞信息；然后对采样点连接图使用最短路径规划的算法，最后得到识别结果。内距离度量点距离的方式对于非刚性物体手关节及部分结构形变的影响较小，更适用于手势识别。另外如果将手指指尖作为采样点就可以加快匹配的过程，降低算法的复杂度高的问题，手指指尖可以通过下面的数学方法得到，以Oc为中心计算手部轮廓与Oc的距离得到曲线f(x)，通过最小二乘法可以将f(x)转化为连续的函数f(x)＝a0+a1x+...anxn的形式，而后求得极值点的位置，进而识别出指尖的位置。其中ε＝0.5Lpalm。虽然以上描述了本专利技术的具体实施方式，但是本领域熟练技术人员应当理解，这些仅是举例说明，可以对本实施方式作出多种变更或修改，而不背离本专利技术的原理和实质，本专利技术的保护范围仅由所附权利要求书限定。本文档来自技高网...

【技术保护点】
一种基于手势识别的人机交互多功能腕带终端，其特征在于：该人机交互终端包括了穿戴人机交互系统和手势识别处理装置。

【技术特征摘要】
1.一种基于手势识别的人机交互多功能腕带终端，其特征在于：该人机交互终端包括了穿戴人机交互系统和手势识别处理装置。2.按照权利要求1所述的基于手势识别的多功能腕带终端的穿戴人机交互系统，其特征在于：包括单目摄像头和可穿戴操作系统，采用单目摄像头进行含有手势信息的视频流，选择最大众化设备降低了硬件的制造成本，同时在基本采集硬件确定的前提下，搭载特定的可穿戴操作系统，负责将采集的视频信息传送给手势识别处理装置。3.按照权利要求1所述的基于手势识别的多功能腕带终端的手势识别处理装置，其特征在于：包括手势分割模块和手势分类与匹配模块；其中手势分割模块采用基于区域分割的方法和MLP训练方法，并通过对各个区域建立单高斯模型然后通过迭代法减少误差；其...

【专利技术属性】
技术研发人员：宋立新，
申请(专利权)人：大唐电信科技股份有限公司，
类型：发明
国别省市：北京,11