一种基于体感交互设备的手势识别控制器制造技术

本发明专利技术涉及人机交互领域，特别是一种基于体感交互设备的手势识别控制器，主要涉及手势、体感交互设备、微型计算机，手势由使用者在体感交互设备可识别区域裸手实现；体感交互设备追踪手部，获取手势特征信息，发送到微型计算机；微型计算机应用手势识别程序分析判断手势信息，发送反馈信息到物联网平台，物联网平台发送指令信息，从而控制指令接收端。本发明专利技术充分利用三维空间的信息数据，通过非接触式的系统化控制交互模式，可实现用直接语义、简约便捷、集成高效、安全隐秘的控制操作。

A gesture recognition controller based on a somatosensory interactive device

【技术实现步骤摘要】
一种基于体感交互设备的手势识别控制器
本专利技术涉及智能交互领域，特别是一种基于体感交互设备的手势识别控制器。
技术介绍
随着物联网、数字化技术的发展，机器的功能产生了多维度的拓展。因而机器的控制方式也不断向更智能的方式演变。对机器的控制主要体现在人与机器的交互设计上。目前人机之间的交互设计主要分为接触式和非接触式两大类。非接触方式中又有近前操作和非近前操作。在对话时机上可分为预设和实时两种类型。现代人机间的交互设计更加注重信息交互。交互是一种对话，就有信息的双向流动，一方面是人对机器的指令控制，另一方面机器接受指令做出反应并给人以反馈信息。接触式的交互方式是最为普遍，如人用手、脚等对机器的操作和控制(包括线控)。非接触式的交互，在各种电器电子产品中也不陌生，如通过红外线、WIFI等信号传输方式将人的操控指令传递给机器，通过体感、语音、目光等也是一类非接触式人机对话的方式。近前方式的交互过程包括红外线遥控、体感、语音等方式，操控者需要在一定距离范围内才能实现对电器设备的控制。非近前方式可以通过无线通讯，互联网等方式，在人机距离较远的情况下实现人机交互。预设方式可理解为出厂时完成的功能设定，实时则是根据个人需要可以进行实时的功能选择。以上这些全是人机过程，机器在接受指令后通过声、光指令运行等方式响应反馈给人，是机器对人的信息传递。然而，现有的机器设备交互设计模式存在着一些亟待解决的弊端。一是开关控制器的泛滥。以家居为例，家电的多样化附带着遥控器等控制设备数量的增加，需要一个完善的系统取代繁多的独立个体。二是说在需要对多个机器进行操作的空间里，现阶段的开关罗列的集约控制面板复杂，不易操作。三是多功能的交互面板带来选择信息的层级嵌套。操作步骤与功能的数量正相关，导致功能完善的同时不能做到操作的简单。四是为追求简单而单一的操作方式而忽视了操作语义的直观性，使得操作动作本身没有意义，操作的目的难以得到直观体现，直接影响了机器多维度操作的直观性。同时，现代的交互设计模式普遍还是基于二维平面的，提供的交互信息自然受到维度的限制，没有充分利用人体的空间立体性，使得对多维度机器的不同维度的操作方式单一。这种单一性通过多个相同开关来控制不同纬度的方式体现。
技术实现思路
针对上述存在的不足，本专利技术提出比较完善的解决办法，通过体感交互设备对人的手部进行探测，对手部用独特的建模算法获取特征信息，利用手部信息设计手势识别程序，通过定义手势获得相应指令，从而向被控制端发送指令实现的手势识别的交互控制模式，其技术方案如下：一种基于体感交互设备的手势识别控制器，其特征在于，包括：体感交互端：包括手势和体感交互设备，体感交互设备作为体感交互端的核心，连接到微型计算机，用于捕获手势信息，并将捕获的手势信息传递到微型计算机；微型计算机：解析手势信息，匹配手势与可被被控制端识别的指令数据，将相应指令上传到物联网平台，被控制端从物联网平台获得指令，并执行指令；手势为裸手输入手势，手势位于体感控制器可视区域。在上述的一种基于体感交互设备的手势识别控制器，手势需位于体感交互设备的可视区域。上述的一种基于体感交互设备的手势识别控制器，所述体感交互设备通过双红外摄像头捕捉手势，通过对基于设备建立笛卡尔空间坐标系的算法建模，获得手部的位置及其特征点相对位置、角度，特征向量和微小运动，同时可以探测到类似手指的实体，具体包括：步骤1，在两个红外摄像头上，以两个摄像头中点为原点，水平平行于两个摄像头的方向为x轴，水平垂直于两个摄像头的方向为z轴，垂直方向为y轴，构建一个三维空间，即一个笛卡尔空间坐标系，步骤2，在空间坐标中，利用双红外成像的原理重建出手的三维空间运动信息，步骤3，检测并跟踪手、手指和类似手指的工具，实时获取他们的位置、方向，采集的基本单位是帧，获取手腕位置以及，每只手和手指的手掌坐标、手掌法向向量、手方向向量(由手掌中心指向手指的方向向量)、手指长度、手指方向(指根到指尖的方向)、指尖坐标，步骤4，对检测到手部信息到手静止时间段中，每一帧的同类数据的变化进行计算，得到手部的运动信息。上述的一种基于体感交互设备的手势识别控制器，体感交互设备与微型计算机相连，将获取手部信息直接输入计算机；计算机通过已编好的程序对输入手部信息进行判读，从而输出相应的指令到物联网平台。上述的一种基于体感交互设备的手势识别控制器，微型计算机通过对权利要求3所述手部的位置及其特征点相对位置、角度，特征向量和微小运动，和类似手指实体的一个或者多个判断条件与已定义手势进行匹配，若作为判断条件的当前手势状态的数值与已定义手势的数值之差小于阈值则匹配成功，输出指令，若与所有的已定义手势无法匹配，则无法识别当前手势；除已定义手势外，还可以自主添加定义可识别手势，在添加手势的系统状态下，计算机分析多次重复手势的识别信息，总结特征点、特征关系和运动状态的数据特征，从而记录该手势状态，并通过人为定义，指定其输出指令；自主添加的可识别手势，通过权利要求3识别，与自主添加定义可识别手势的动作进行匹配。上述的一种基于体感交互设备的手势识别控制器，控制指令从微型计算机上传到物联网平台，被控制端接收物联网平台的指令，实现相关操作。上述的一种基于体感交互设备的手势识别控制器，被控制端理论上可以是任何一种可被操控的机器，机器获得物联网平台上的指令，执行对应操作。本专利技术的有益效果：1、本专利技术三维手势的多维操作超越了普遍的二维操作或是接触式固定动作的控制方式。立体空间的维度增加带来了控制的立体多维性，使得同时控制多款设备，对其进行批处理，或是同时控制设备的不同纬度的属性值，甚至是控制范围的扩大都得以实现，即可以同时操作设备的不同属性模式，且可以在一处操作多个不同的设备。有效解决了二维平面对操作的限制问题；2、本专利技术的非接触式三维控制，提供沉浸式的虚拟体验，为生活中的不便提供高效的解决方案并利用空间距离有效提高了家居生活的安全性能；3、本专利技术只识别预定义手势，在进行危险操作时，可定义特殊的手势，使仅知道手势的人可以操作，有效限制适用人群，提高安全隐秘性；4、本专利技术能够在使用直观语义的状态下简化操作方式。将符合生活习惯的手势定义为操作指令，形成以用户为中心的经验性设计语言。通过直观的手势语义实现操作，简单明了；5、本专利技术利用集成化的小空间进行系统操作，在一处光滑探测平面前就可以控制所有连入系统的设备，应用了做出手势后随即获得回应的信息交互方式，避免了功能选择的嵌套式信息层级，使家居生活更加便捷高效；6、本专利技术不受光线、声音的限制，操作不外物辅助进行，普适性更强。附图说明图1是基于leapmotion体感交互设备的手势识别控制器实现结构图；图2是leapmotion视场角示意图；图3是leapmotion笛卡尔坐标系示意图；图4是手掌抬升手势控制水温示意图。具体实施方式本专利技术基于体感交互设备，具体步骤以leapmotion作为体感交互设备为例，结合附图进行详细说明。图1表示的是基于leapmotion体感交互设备的手势识别控制器的流程图，(1)手势。在leapmotion这一体感控制器的可视区域内做出手势，如图2。Leapmotion的视场角度为150度，并且即使身体某些部位不在控制器的接受范围内，它也本文档来自技高网...

【技术保护点】
一种基于体感交互设备的手势识别控制器，其特征在于，包括：体感交互端：包括手势和体感交互设备，体感交互设备作为体感交互端的核心，连接到微型计算机，用于捕获手势信息，并将捕获的手势信息传递到微型计算机；微型计算机：解析手势信息，匹配手势与可被被控制端识别的指令数据，将相应指令上传到物联网平台，被控制端从物联网平台获得指令，并执行指令；手势为裸手输入手势，手势位于体感控制器可视区域。

【技术特征摘要】
1.一种基于体感交互设备的手势识别控制器，其特征在于，包括：体感交互端：包括手势和体感交互设备，体感交互设备作为体感交互端的核心，连接到微型计算机，用于捕获手势信息，并将捕获的手势信息传递到微型计算机；微型计算机：解析手势信息，匹配手势与可被被控制端识别的指令数据，将相应指令上传到物联网平台，被控制端从物联网平台获得指令，并执行指令；手势为裸手输入手势，手势位于体感控制器可视区域。2.根据权利要求1所述的一种基于体感交互设备的手势识别控制器，其特征在于：手势需位于体感交互设备的可视区域。3.根据权利要求1所述的一种基于体感交互设备的手势识别控制器，其特征在于：所述体感交互设备通过双红外摄像头捕捉手势，通过对基于设备建立笛卡尔空间坐标系的算法建模，获得手部的位置及其特征点相对位置、角度，特征向量和微小运动，同时可以探测到类似手指的实体，具体包括：步骤1，在两个红外摄像头上，以两个摄像头中点为原点，水平平行于两个摄像头的方向为x轴，水平垂直于两个摄像头的方向为z轴，垂直方向为y轴，构建一个三维空间，即一个笛卡尔空间坐标系，步骤2，在空间坐标中，利用双红外成像的原理重建出手的三维空间运动信息，步骤3，检测并跟踪手、手指和类似手指的工具，实时获取他们的位置、方向，采集的基本单位是帧，获取手腕位置以及，每只手和手指的手掌坐标、手掌法向向量、手方向向量、手指长度、手指方向、指尖坐标，步骤4，对检测到手部信息到手静止...

【专利技术属性】
技术研发人员：费腾，朱正，安方军，刘子煜，郑斯元，康雨豪，陈慧瑕，戴晓瑜，
申请(专利权)人：武汉大学，
类型：发明
国别省市：湖北,42