本发明专利技术涉及一种手势动作识别方法和系统，通过红外结构光发射单元发射结构光平面；再通过红外结构光传感器接收用户反射回来的红外光信号构成的感应图像；然后通过深度图像处理单元获取感应图像中的深度信息；再通过手部目标跟踪单元选择并记录所述深度信息中的最靠近所述红外结构光发射单元的信息，即为手部运动轨迹信息；通过手势动作识别单元识别所述手部运动轨迹信息，判断出相应的用户手势动作控制命令。本发明专利技术将用户动态手部动作高效的从复杂背景中分离出来，和基于空间方向分割识别，完成手势动作识别过程，不需要进行事先的手势建模和学习过程，提升了用户体验。
【技术实现步骤摘要】
本专利技术涉及人机交互技术，具体地说，涉及一种手势动作识别方法和系统。
技术介绍
人机交互技术是近年来非常热门的研究领域，鼠标和键盘等是传统的人机交互设 备，近年来出现了诸如触控控制、声音控制、手势控制等各种新型的人机交互方式，在用户 体验的自然性和友好性方面进行改进。特别是以手势控制为代表的非接触式人机交互方 式，通过各类传感器设备，实时的或在较短时间内完成对手部动作的识别过程，并转化为计 算机等宿主设备能够识别的命令，是目前非常流行的一种人机交互方式。手势动作识别方法可以分为基于数据手套的技术和基于机器视觉的技术两类，使 用数据手套的方式可以较为准确的感应和识别手部的细微动作，但是需要佩戴专门的数据 手套，目前主要用于科学研究、精细控制、机器人等特殊应用领域。这种手势动作识别方法 使用麻烦，用户体验非常不好，手势运动不灵活。而基于机器视觉进行手势动作识别的方法，则因为要求对手部图像进行识别，所 以要求手部距离图像传感器较近，以便获取足够识别处理的图像画面。对于手部的识别通 常采用以颜色分布统计的色彩直方图为依据，因为皮肤颜色可以很容易的与其他部分分离 出来，但这种方法对于环境光照、衣服颜色等有比较高的要求。对于手部的识别还有一种方 法，就是使用特殊的颜色粘贴在手指的特定位置上，通过识别特殊色块图像来代替对手部 的识别，这样可以在一定程度上减少图像处理的工作量，但还是需要在用户手上进行特别 标识，使用起来也不方便。传统的手势动作识别过程需要手势建模、手势分割、手势分析等多个复杂步骤和 过程。手势识别又可细分为静态手势识别和动态手势识别两类，静态手势对应手势模型参 数空间里的一个点，而动态手势则对应手势模型空间里的一条轨迹，因此要涉及时间和空 间上下文关系。特别是对于动态手势而言，不同的用户在进行手势动作的时候会存在速率 差异、轨迹差异、熟练程度的差异等，从而导致手势建模轨迹在时间轴上引起非线性波动， 而这种非线性波动的消除是非常困难和复杂的，所以传统的基于二维图像的动态识别率普 遍不够高。
技术实现思路
本专利技术的主要目的在于克服现有技术的不足之处，公开一种手势动作识别方法和 系统，采用红外深度图像传感器和深度图像处理技术，大大提高动态手势识别效率，提升用 户体验。本专利技术公开了一种手势动作识别方法，包括如下步骤A，向用户及其所在环境发射结构光平面；再通过光传感器接收用户及其所在环境反 射回来的结构光信号获取感应图像；然后通过深度图像处理单元获取感应图像中的深度信B,周期性地反复选择并记录所述深度信息中的最靠近结构光发射单元的信息，获取 手部运动轨迹信息；C，通过手势动作识别单元识别所述手部运动轨迹信息，判断出相应的用户手势动作 控制命令。本专利技术公开的手势动作识别方法，还可以包括D，将所述用户手势动作控制命令转换为宿主设备能够识别的控制命令。在所述步骤B中，开可以进一步包括根据设定的时间间隔，周期性地把原始轨迹 坐标保存在坐标数据缓存数组中，再将该原始轨迹坐标按照所述XY平面分割方向进行分 组，并将同组的相邻缓存数据去除，得到手部运动轨迹信息；然后在所述步骤C中，再顺序的按照分组标识匹配手部运动轨迹信息与手势动作模板。本专利技术公开的手势动作识别方法，还利用插值算法，根据需要对所述手部运动轨 迹信息中补充因为跳帧或采集设备误差引起的分组数据不连续进行补充。本专利技术还公开了一种手势动作识别系统，包括中央处理器单元，用于通过软件和 外围电路控制本系统协调工作；还包括结构光发射单元，用于向用户所在位置发射结构光平面；结构光传感器，用于接收用户反射回来的结构光信号构成的感应图像；深度图像处理单元，用于获取感应图像中的深度信息；手部目标跟踪单元，用于选择并记录所述深度信息中的最靠近所述结构光发射单元的 信息，即为手部运动轨迹信息；手势动作识别单元，用于识别所述手部运动轨迹信息，判断出相应的用户手势动作控 制命令。本专利技术公开的手势动作识别系统，还可以包括控制命令转换单元，用于将所述用户手势动作控制命令转换为宿主设备能够识别的控 制命令。在本专利技术公开的手势动作识别系统中，还包括用于存储坐标数据缓存数组的存储 器；所述手部目标跟踪单元根据设定的时间间隔，周期性地把原始轨迹坐标保存在所述存 储器中。本专利技术公开的一种手势动作识别方法和系统，因为采用红外深度图像传感器和深 度图像处理技术，所以可以将用户的手部动作高效的从复杂背景中分离出来，并能够进行 实时的手部运动跟踪，进而通过手部运动轨迹和基于空间方向分割的手势识别模板，完成 手势动作识别过程，不需要进行事先的手势建模和学习，从而大大提高动态手势识别效率， 提升了用户体验。附图说明图1为本专利技术的手势动作识别系统的一个实施例的电气结构框图。图2为本专利技术的手势动作识别方法中使用的XY平面分割示意图。图3为本专利技术的动态手势动作识别方法的一个实施例的流程图。图4为本专利技术的动态手势动作识别方法的一个实施例的手势模板匹配流程图。具体实施方式下面结合附图和具体实施方式对本专利技术作进一步详细说明。本专利技术的手势动作识别方法基于红外深度图像传感器和深度图像处理单元，可以 将用户动态手部动作高效的从复杂背景中分离出来，并能够进行实时的手部运动跟踪，进 而通过手部运动轨迹和基于空间方向分割的手势识别模板，完成手势动作识别过程，不需 要进行事先的手势建模和学习，从而可以较好的避免传统手势动作识别中存在的问题，大 大提闻动态手势识别效率。如图1所示为本专利技术的手势动作识别设备的一个实施例的电气结构框图，其主要 构成包括红外结构光发射单元用于向用户所在方向发射有编码的结构光平面。红外结构光传感器单元也称为红外结构光感应单元，用于接收并感应经由用户 所在环境反射回来的红外结构光。深度图像处理单元根据结构光编码技术原理,通过对比三维环境对象的结构光 编码和原始的平面结构光编码，来获取结构光传感器可视范围内的场景深度信息。手部目标跟踪单元用于从环境背景中跟踪用户手部目标运动轨迹。不失一般性 地，我们假设用户在实际使用环境中相对于其他场景部分是运动的，在本专利技术中，我们将用 户手部动作范围都默认限定在用户身体前方，因此距离深度图像传感器距离最近的运动对 象像素位置即为用户的手部对象。所以，我们只需跟踪连续深度图像数据帧中，深度最小的 运动像素目标即可达到用户手部目标跟踪的效果。这里，深度图像数据帧是深度传感器识 别和保存的深度图像信息，每一个像素都是对应目标与传感器之间的距离值。手势动作识别单元用于根据手部目标跟踪单元的用户手部运动轨迹跟踪结果， 与预定的基于空间方向分割的手势动作模板进行比对，并将比对结果作为手势动作识别结 果发送给控制命令转换单元。控制命令转换单元用于将特定的手势动作指令转换为宿主系统能够识别的控制 命令，用于控制本专利技术的手势动作控制设备的工作状态。如图2所示为本专利技术的手势动作识别方法中使用的XY平面分割示意图。不失一 般性，我们以垂直于地平面的与用户站立方向平行距离用户30公分的XY平面为例，我们把 这个XY平面，以用户单手平伸所形成的交点为坐标系原点，垂直于地面的为Y轴，平行于地 面的为X轴；在该平面上按照经过原点的X轴、Y轴、正负斜45度分割线为准，将该平面分 成8个部分，从正上方开始按本文档来自技高网...
【技术保护点】
一种手势动作识别方法，其特征在于，包括如下步骤：A、向用户及其所在环境发射结构光平面；再通过光传感器接收用户及其所在环境反射回来的结构光信号获取感应图像；然后通过深度图像处理单元获取感应图像中的深度信息；B、周期性地反复选择并记录所述深度信息中的最靠近结构光发射单元的信息，获取手部运动轨迹信息；C、通过手势动作识别单元识别所述手部运动轨迹信息，判断出相应的用户手势动作控制命令。
【技术特征摘要】
【专利技术属性】
技术研发人员：忻海辉，
申请(专利权)人：康佳集团股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。