一种语义式人机自然交互控制方法及系统技术方案

本发明专利技术公开了一种语义式人机自然交互控制方法，包括：步骤1，建立操控者手势库与被控装备控制指令库对应的映射关系；步骤2，采集并融合操控者佩戴的肌电传感器和惯导传感器的信息，获取操控者的手势信息，实现对操控者手势的识别；步骤3，根据步骤1中的映射关系，将步骤2中识别的手势信息转化成对所述被控装备的控制指令；步骤4，将步骤3中的控制指令传输给所述被控装备，实现对所述被控装备的实时控制。本发明专利技术还提供了一种语义式人机自然交互控制系统。本发明专利技术的有益效果为：建立了符合人类表述习惯的映射关系，这种编码的方式形象、简单、便捷、可靠性高，误触发率低，提高了对被控设备的控制准确度和可靠度。

【技术实现步骤摘要】

本专利技术涉及智能控制
，具体而言，涉及一种语义式人机自然交互控制方法及系统。
技术介绍
手势识别技术是新一代自然人机交互的一项关键技术，相对于传统的鼠标，键盘等接触式的操作方式，手势具有自然直观、容易理解、操作简单、体验性好等优点，更加符合人类日常交流习惯，手势识别已经成为人机交互方案的研究热点。手势作为一门自然、方便的语言，在情感上和实用性上都非常适合用于人机交互。手势识别技术的研究意义在于将手势这种自然且直观的交流方式应用到人机交互的接口技术上，使得人机接口更加接近于人类的使用习惯，进而使得人机交互变得更自然方便。随着机器人控制技术的发展，人与机器人之间的交互活动变得越来越普遍。利用手势来控制机器人可方便地操纵机器人，向机器人发布命令，与机器人进行交互。手势是指人手产生的各种姿势和动作，广义的手势可分为两种，一种为由连续手部动作组成的动态手势，另一种为静态的手部姿势。静态手势识别考虑某个时间点上手势的外形特征，动态手势关注一段时间内手部及手臂的一系列动作，增加了时间信息和动作特征。研究静态手势对于理解分析动态手势具有重要的意义。由于动态手势的识别可以归结为几个静态姿势识别的综合，所以两种手势识别的过程和方法基本一致。但是，动态手势的识别需要考虑时间、空间等因素，即不同因素会造成手势轨迹在时间上的非线性波动，因此，动态手势识别必须考虑如何消除这些波动的影响，比静态手势识别更富有技术挑战性。目前，国外虽然目前已有许多肌电传感器(EMG)信号识别的研究结果，但绝大多数研究，仅能识别静态手势，无法识别动态手势。造成这种局面的主要原因是没有将EMG信号与手臂的宏观运动状态相结合识别。在国内，对基于手势的人机自然交互控制主要采用数据手套的交互方式或采用外部摄像头结合Kinect组件的交互方式。在采用数据手套对手势进行识别方面，哈尔滨工业大学的吴江琴等在中国手语研究中，使用18个传感器的CyberGlover数据手套，结合人工神经网络，但这只对部分手语动作进行了识别。在采用外部摄像头结合Kinect组件的手势识别方面，上海海事大学、兰州理工大学、北京交通大学、浙江大学、哈尔滨工业大学、华中师范大学也只对静态手势进行了识别。另外，现有的人机交互识别中，对手势的编码可靠性不高，容易存在误触发。无人机是目前智能控制领域研究的热点，具有成本低廉、可垂直起降、易于操控等优点，在搜索、救援、测绘、农业、航拍等领域具有广阔的应用前景。研究操控者与无人机之间的人机交互具有良好的应用前景。
技术实现思路
为解决上述问题，本专利技术的目的在于提供一种语义式人机自然交互控制方法及系统，可识别动态手势，并且识别可靠性高，能准确实现对无人机的实时交互控制。本专利技术提供了一种语义式人机自然交互控制方法，该方法包括：步骤1，根据被控装备的控制模态，通过操控者的手势对这些控制模态进行表示，建立操控者手势库与被控装备控制指令库对应的映射关系；步骤2，采集操控者佩戴的肌电传感器和惯导传感器的信息，并融合肌电传感器和惯导传感器的传感数据，获取操控者的手势信息，实现对操控者手势的识别；步骤3，根据步骤1中的映射关系，将步骤2中识别的手势信息转化成对所述被控装备的控制指令；步骤4，将步骤3中的控制指令通过无线网络传输给所述被控装备，实现对所述被控装备的实时控制。作为本专利技术进一步的改进，步骤1中，所述被控装备的控制模态分为基本控制、复合控制、任务控制；其中，所述基本控制是指对所述被控装备实现最常用状态的控制，采用符合人类表述习惯的基本手势直接对这些最常用状态进行表示，其中，最常用状态包括起飞、降落、前进、后退、返航、左转弯、右转弯，对应的基本手势为左手手背向上平抬、左手手背向上平降、左手手背正对操控者向前平推、左手手背正对操控者向后收回、左手手掌正对操控者向前挥动、左手食指逆时针转动、左手食指顺时针转动；所述复合控制是指对所述被控装备实现定量状态的控制，采用基本手势+表示数字的手势的组合手势对这些定量状态进行表示，其中，定量状态包括以某一速度起飞、降落、前进、后退、返航，或以某一角度左转弯、右转弯，对应的组合手势为左手手背向上平抬+右手手指指示速度数字、左手手背向上平降+右手手指指示速度数字、左手手背正对操控者向前平推+右手手指指示速度数字、左手手背正对操控者向后收回+右手手指指示速度数字、左手手掌正对操控者向前挥动+右手手指指示速度数字，或左手食指逆时针转动+右手手指指示转动角度数字、左手食指顺时针转动+右手手指指示转动角度数字；所述任务控制是指对所述被控装备实现某项具体任务的执行状态的控制，采用约定手势+表示确认的手势的组合手势对这些执行状态进行表示，其中，执行状态包括火力打击，对应的组合手势为左手拇指食指比划打枪+右手握拳向下。作为本专利技术进一步的改进，步骤2具体包括：步骤201，通过操控者身上安装的多路电极，分别采集左右手臂上的肌电传感器的电流信号，并通过信号处理和运算，提取操控者双手的手指、手掌、手腕和手臂在小范围内的运动状态信息；步骤202，采集所述惯导传感器的加速度信号和角速度信号，通过信号处理和运算，提取操控者双手的手指、手掌、手腕和手臂在大范围内的运动状态信息；步骤203，融合步骤201和步骤202提取的运动状态信息，实现对操控者手势的识别。作为本专利技术进一步的改进，还包括：通过震动的方式反馈被控装备的重要状态信息，根据状态信息的重要等级给操控者以不同的震动触觉反馈，并将这种状态信息和振动模式的映射归入步骤1中的映射关系库；在需要对被控装备进行重要状态的操控时，操控者启动相应的震动模式，将震动信息转化成对所述被控装备的控制指令，并将该控制指令传输给所述被控装备，实现对所述被控装备的实时控制。本专利技术还提供了一种语义式人机自然交互控制系统，该系统包括：交互编码模块，根据被控装备的控制模态，通过操控者的手势对这些控制模态进行表示，建立操控者手势库与被控装备控制指令库对应的映射关系；采集处理模块，采集操控者佩戴的肌电传感器和惯导传感器的信息，并融合肌电传感器和惯导传感器的传感数据，获取操控者的手势信息，实现对操控者手势的识别；实时解码模块，根据所述交互编码模块中的映射关系，将所述采集处理模块中识别的手势信息转化成对所述被控装备的控制指令；无线传输模块，将所述实时解码模块中的控制指令通过无线网络传输给所述被控装备，实现对所述被控装备的实时控制。作为本专利技术进一步的改进，所述交互编码模块中，所述被控装备的控制模态分为基本控制、复合控制、任务控制；其中，所述基本控制是指对所述被控装备实现最常用状态的控制，采用符合人类表述习惯的基本手势直接对这些最常用状态进行表示，其中，最常用状态包括起飞、降落、前进、后退、返航、左转弯、右转弯，对应的基本手势为左手手背向上平抬、左手手背向上平降、左手手背正对操控者向前平推、左手手背正对操控者向后收回、左手手掌正对操控者向前挥动、左手食指逆时针转动、左手食指顺时针转动；所述复合控制是指对所述被控装备实现定量状态的控制，采用基本手势+表示数字的手势的组合手势对这些定量状态进行表示，其中，定量状态包括以某一速度起飞、降落、前进、后退、返航，或以某一角度左转弯、右转弯，对应的组合手势为左手手背向上平抬+右手手指指示速度数本文档来自技高网...

【技术保护点】
一种语义式人机自然交互控制方法，其特征在于，该方法包括：步骤1，根据被控装备的控制模态，通过操控者的手势对这些控制模态进行表示，建立操控者手势库与被控装备控制指令库对应的映射关系；步骤2，采集操控者佩戴的肌电传感器和惯导传感器的信息，并融合肌电传感器和惯导传感器的传感数据，获取操控者的手势信息，实现对操控者手势的识别；步骤3，根据步骤1中的映射关系，将步骤2中识别的手势信息转化成对所述被控装备的控制指令；步骤4，将步骤3中的控制指令通过无线网络传输给所述被控装备，实现对所述被控装备的实时控制。

【技术特征摘要】
1.一种语义式人机自然交互控制方法，其特征在于，该方法包括：步骤1，根据被控装备的控制模态，通过操控者的手势对这些控制模态进行表示，建立操控者手势库与被控装备控制指令库对应的映射关系；步骤2，采集操控者佩戴的肌电传感器和惯导传感器的信息，并融合肌电传感器和惯导传感器的传感数据，获取操控者的手势信息，实现对操控者手势的识别；步骤3，根据步骤1中的映射关系，将步骤2中识别的手势信息转化成对所述被控装备的控制指令；步骤4，将步骤3中的控制指令通过无线网络传输给所述被控装备，实现对所述被控装备的实时控制。2.根据权利要求1所述的语义式人机自然交互控制方法，其特征在于，步骤1中，所述被控装备的控制模态分为基本控制、复合控制、任务控制；其中，所述基本控制是指对所述被控装备实现最常用状态的控制，采用符合人类表述习惯的基本手势直接对这些最常用状态进行表示，其中，最常用状态包括起飞、降落、前进、后退、返航、左转弯、右转弯，对应的基本手势为左手手背向上平抬、左手手背向上平降、左手手背正对操控者向前平推、左手手背正对操控者向后收回、左手手掌正对操控者向前挥动、左手食指逆时针转动、左手食指顺时针转动；所述复合控制是指对所述被控装备实现定量状态的控制，采用基本手势+表示数字的手势的组合手势对这些定量状态进行表示，其中，定量状态包括以某一速度起飞、降落、前进、后退、返航，或以某一角度左转弯、右转弯，对应的组合手势为左手手背向上平抬+右手手指指示速度数字、左手手背向上平降+右手手指指示速度数字、左手手背正对操控者向前平推+右手手指指示速度数字、左手手背正对操控者向后收回+右手手指指示速度数字、左手手掌正对操控者向前挥动+右手手指指示速度数字，或左手食指逆时针转动+右手手指指示转动角度数字、左手食指顺时针转动+右手手指指示转动角度数字；所述任务控制是指对所述被控装备实现某项具体任务的执行状态的控制，采用约定手势+表示确认的手势的组合手势对这些执行状态进行表示，其中，执行状态包括火力打击，对应的组合手势为左手拇指食指比划打枪+右手握拳向下。3.根据权利要求1所述的语义式人机自然交互控制方法，其特征在于，步骤2具体包括：步骤201，通过操控者身上安装的多路电极，分别采集左右手臂上的肌电传感器的电流信号，并通过信号处理和运算，提取操控者双手的手指、手掌、手腕和手臂在小范围内的运动状态信息；步骤202，采集所述惯导传感器的加速度信号和角速度信号，通过信号处理和运算，提取操控者双手的手指、手掌、手腕和手臂在大范围内的运动状态信息；步骤203，融合步骤201和步骤202提取的运动状态信息，实现对操控者手势的识别。4.根据权利要求1所述的语义式人机自然交互控制方法，其特征在于，还包括：通过震动的方式反馈被控装备的重要状态信息，根据状态信息的重要等级给操控者以不同的震动触觉反馈，并将这种状态信息和振动模式的映射归入步骤1中的映射关系库；在需要对被控装备进行重要状态的操控时，操控者启动相应的震动模式，将震动信息转化成对所述被控装备的控制指令，并将该控制指令传输给所述被控装备，实现对所述被控装备的实时控制。5.一种语义式人机自然交互控制系统，其特征在于，该系统包括...

【专利技术属性】
技术研发人员：赵小川，付成龙，胡雄文，
申请(专利权)人：中国兵器工业计算机应用技术研究所，
类型：发明
国别省市：北京;11