基于手势识别的ＰＣ智能输入系统技术方案

在使用大尺寸显示的ＰＣ应用领域，针对传统ＰＣ输入设备的不足，设计了一种基于手势识别的ＰＣ智能输入系统。系统由主机端与手持端组成，手持端通过使用加速度传感器对使用者手部动作进行识别，将识别结果预处理后以无线方式传送给主机端，主机端接收识别信息后，再经进一步处理，将其转换为控制命令通过ＵＳＢ接口发送给电脑，完成对ＰＣ的操作。手持端功耗低，体积小巧，主机端可即插即用，整个系统易使用，成本低。用户通过手部上下左右挥动等简单的动作，即可以一种更符合肢体语言的方式对ＰＣ方便地进行控制。

【技术实现步骤摘要】

在使用大尺寸显示器的PC应用领域，基于手势识别的PC智能输入系统可作为计 算机的标准外设实现PC控制。
技术介绍
在PC诞生之后的很长一段时间内，人们使用键盘作为其主要输入方式。对于使用 PC的专业人士而言，键盘无疑是一种方便快捷的输入设备，它能够很准确地将使用者需要 表达的信息传递给PC。但从另一方面来讲，数目繁多的按键却给那些非专业用户带来了很 大的使用障碍。1964年，全世界第一个鼠标诞生于美国加州斯坦福大学，专利技术者是Douglas Englebart博士。Englebart博士设计鼠标的初衷就是为了使计算机的操作更加简便，以此 来代替键盘那些繁琐的指令。这项技术的专利技术给计算机的输入方式带来了巨大变革，为PC 的广泛应用奠定了良好的基础。后来触摸屏的使用又给人们带来了更大的便捷，只需轻轻一点，即可完成大部分 操作。苹果公司推出的便携式媒体播放器iPod touch，采用一种称作多点触控的技术，使 用户能够像翻阅普通相册一样浏览图片文件，并可通过两根手指同时作用来完成照片的旋 转、缩放等功能，带给用户以人性化的操作方式，但这种多点触控技术是应用于特定软硬件 设备上的专用技术，对PC而主并没有通用性。无论是键盘、鼠标，还是触摸屏技术都不可避免地将使用者局限在计算机之前，而 在大尺寸显示器PC应用领域就突出显示了这些技术的不足。解决使用者的空间局限性同 时使输入方式更加人性化是解决这一问题的最佳途径。
技术实现思路
为克服以上缺点，本专利技术提供一种基于手势识别的智能PC输入系统，包含手持端 和主机端两部分，手持端与主机端之间使用无线方式进行通信，其特征在于手持端通过加 速度传感器采集手部动作过程中加速度的变化量，判断上下左右四种手势动作，并可利用 重力加速度测量手臂倾角。主机端使用USB composite device技术，可被PC识别为鼠标 和键盘结合而成的组合设备，通过一个USB接口向PC传送鼠标指令和键盘指令。系统方框图如图1所示。所述的手持端是包含一个加速度传感器，一个微控制器，一组按键和一套无线发 射电路的装置。所述的主机端是包含一个无线接收电路，一个微控制器和一块USB接口芯片的装 置或包含一个无线接收电路，一个带USB接口的微控制器的装置之一。所述的主机端可被PC识别为一个USB组合设备，只使用一个USB接口，通过不同 的USB端点来分别实现HID类的鼠标与键盘，即插即用，不需要任何额外驱动程序。所述的手持端中的一组按键由三个微动按键组成，如图2所示，按键A用于完成鼠 标模式与非鼠标模式之间的切换，在鼠标模式下，按键B用于鼠标左键，按键C用于鼠标右键，在非鼠标模式下，按键B用于动作识别，按键C用于滚轮。该系统使用加速度传感器测量手部运动过程中加速度的变化量，通过分析变化量 的特征提取上下左右四种手势，以完成对PC多媒体浏览操作的控制。该系统使用加速度传感器测量手臂与重力方向的夹角，根据夹角的方向与大小确 定鼠标指针移动的方向与速度。该系统可识别的上下左右四种手势，在进行不同的PC多媒体浏览操作时，控制PC 完成不同的动作，在使用PC进行幻灯片浏览时，上下左右四种手势分别代表没有动作，关 闭幻灯片，前一张幻灯片，后一张幻灯片，在使用PC进行图片浏览时，上下左右四种手势分 别代表放大图片，缩小图片，前一张图片，后一张图片，在使用PC播放音乐时，上下左右四 种手势分别代表增大音量，减小音量，前一首音乐，后一首音乐，在使用PC播放电影时，上 下左右四种手势分别代表增大音量，减小音量，电影快退，电影快进。与传统PC输入方式相比，本专利技术有以下优点1.全新的输入理念。使用者不必再被局限于PC的鼠标键盘前，可在十几米的范围 之内随意走动，通过手部动作轻松控制PC。2.人性化操作。使用简单，功能强大。仅需要上、下、左、右四个动作即可控制PC 完成绝大部分常用操作，并可通过手臂的倾斜控制鼠标指针的移动。3.即插即用。使用USB接口与PC连接，无需额外安装驱动程序，通用性好。4.使用时间长。主机端使用USB供电，手持端使用超低功耗芯片并配以完整的节 能方案，实现长待机、长使用时间。5.成本低。系统设计紧凑，硬件结构简单。附图说明图1是基于手势识别的PC智能输入系统的结构方框图。图2是基于手势识别的PC智能输入系统的手持端示意图。具体实施例方式对于该专利技术的主机端，当其接入到电脑的USB接口之后，立刻进行USB的枚举操 作，随后就被自动识别为USB HID类的标准设备。几乎所有操作系统都提供了对HID类鼠 标与键盘设备的支持，主机端的USB固件程序就是基于HID类鼠标和键盘来实现，因而在安 装和使用的过程中无需再向操作系统提供额外的驱动程序。在实现的过程中，为了只通过 一个USB接口来完成鼠标和键盘全部操作，主机端使用了 USB composite device的技术， 即通过不同的USB端点来分别实现HID类的鼠标与键盘。这样不仅仅减小了主机端的体 积，更是让主机端无需任何额外的驱动程序即可直接与PC相连，真正实现了通用性和即插 即用。对于该专利技术的手持端，使用MEMSIC公司的加速度传感器MXC6202，通过读取两个 坐标轴方向的加速度值，通过分析加速度变化量的特征提取上下左右四种手势，以完成对 PC多媒体浏览操作的控制。为完整地实现鼠标功能以便于用户更好地操作PC，该专利技术可实现鼠标的所有功 能，包括指针的移动、左键、右键以及滚轮。传统的指针移动控制是利用两次积分记录传感器运动的轨迹，并将其转换为鼠标移动的数据。如果手持端直接采用这种实现方法则会存 在以下两个问题首先，传感器本身的加速度值就存在误差，即使没有任何动作，读出的加速度值仍 然在一个范围内波动。虽然其固有的误差可通过滤波解决，但手臂运动的不均勻性，采样速 率的限制，以及超量程的非线性数据，最终都导致了两次积分的不可实现。其次，传感器在手臂运动过程中不可避免地会发生旋转，重力加速度就无法持续 作用于同一坐标轴，在识别过程中去除重力加速度影响无疑是一个非常棘手的问题。本专利技术并非想方设法去消除重力影响，而是在识别的过程中巧妙地将重力加速度 也作为识别的对象，直接将重力加速度对传感器四个方向上的影响映射为该方向上鼠标移 动的速度。这样只需要将手臂前、后、左、右倾斜，即可非常容易地实现对鼠标指针移动的控 制。倾斜的角度决定移动的速度，即手臂朝某个方向倾斜的角度越大，则该方向重力加速度 的分量也越大，鼠标移动的速度也越快。这样的设计非常简单，同时很符合人们的使用习 惯。使用者可以轻而易举地将鼠标移动到任何位置，满足精确定位的要求。主机端与手持端之间使用2.4GHz频率进行数据交互。主机端作为Access Point (无线接入点)，手持端则作为End Device (终端设备)。主机端上电后，立即进入等 待终端设备接入状态。当手持端上电后，会为自身建立随机地址，并使用该地址与主机端建 立连接，从而防止了受到其它设备的干扰。一旦地址确定后，即可与主机端进行正常的数据 通信。主机端在实现上还引入了网关的地址过滤机制，即手持端在与主机端建立连接后，其 地址会被主机端添加至合法地址池中，只有存在于该地址池中的数据才会被接收。该地址 过滤机制的使用可以很大程度本文档来自技高网...

【技术保护点】
基于手势识别的智能ＰＣ输入系统，包含手持端（１）和主机端（２）两部分，手持端（１）与主机端（２）之间使用无线方式进行通信，其特征在于：ａ．手持端（１）通过加速度传感器（３）采集手部动作过程中加速度的变化量，判断上下左右四种手势动作，并可利用重力加速度测量手臂倾角。ｂ．主机端（２）使用ＵＳＢｃｏｍｐｏｓｉｔｅｄｅｖｉｃｅ技术，可被ＰＣ识别为鼠标和键盘结合而成的组合设备，通过一个ＵＳＢ接口向ＰＣ传送鼠标指令和键盘指令。

【技术特征摘要】

【专利技术属性】
技术研发人员：张勇，董海坤，邵巍，
申请(专利权)人：董海坤，邵巍，张勇，
类型：发明
国别省市：12[中国|天津]