一种基于静电和肌电探测的人机交互方法技术

本发明专利技术公开一种基于静电和肌电探测的人机交互方法，还公开了实现所述的一种基于静电和肌电探测的人机交互方法的基于静电与肌电探测的人机交互系统，属于人机交互领域。本发明专利技术通过非接触式静电探测方法测量人体手部运动速度与方向，确定手部实时位置，通过接触式肌电信号获取手指细节动作信息，高精度的控制计算机鼠标的操作，完成复杂的人机交互，整个交互过程不受外界环境光线影响。本发明专利技术为人机交互提供一种新的实现方法。本发明专利技术由于利用了静电感应信号传播过程中受遮挡物阻碍小的特点，具有工作死角区小的特点。本发明专利技术设计的肌电信号提取电路具有体积小、信噪比高、工频滤波精确、稳定性好等特点。

【技术实现步骤摘要】

本专利技术涉及一种人机交互方法，尤其涉及，属于人机交互领域。
技术介绍
随着计算机技术的迅猛发展，计算机已经成为人们日常生活不可或缺的一部分。 人机交互技术作为计算机用户界面的重要组成部分，一直是研究的热点。几十年来，人们一直广泛地使用键盘、鼠标来操纵计算机，这些传统的交互方式难以满足用户随时随地、自然高效的交互行为需求。在传统的交互方式下，人们只能用“计算机的思维”去和计算机进行交流，“说”计算机“听得懂的话”。人机交互研究的一个重要目标，就是把人类思维与计算机思维的结合点向人类思维的方向移动，让计算机尽可能的理解人类的行为，以人与人之间的交流方式与用户进行沟通，而不总是让用户来适应计算机，让人机交互变得自然、和谐。口语、书面语言、肢体语言、表情等是人与人之间交流经常使用的自然语言，这些人类自然形成的认知习惯和形式，必然是人机交互的发展方向。为了达到人机交互自然和谐的高级目标，也为了克服当前已有的交互技术的不足，基于自然语言的交互方式受到了很多研究人员的重视。基于口语的交互比如语音输入、语音合成，基于表情的交互比如眼动输入，基于肢体语言的比如手势输入等先进的交互方式，都是当前人机交互研究领域的热点。与传统的交互方式如键盘、鼠标相比，直接用手作为输入自然、简洁、直接且表意丰富。直接用手作为输入，需要对手部位置和运动状态进行测量，“An adaptiveKalman-based Bayes estimation technique to classify locomotor activities inyoung and elderly adults through accelerometers^R. Muscillo, M. Schmid, S. Confortoand T. D’Alessio, Med. Eng. Phys. 32，849-859 (2010)、“Detection of pedestriansin far-infrared automotive night vision using region-growing and clothingdistortion compensation” R. 0’Malley, E. Jonesa, and M. Glavin, Infrared. Phys.Techn.53,439-449(2010)、“Human detection using a mobile platform and novelfeatures derived from a visual saliency mechanism，，S. Montabone, and A. Soto,Image. Vision. Comput. 28, 391-402 (2010)中分别通过在人体手部安装传感器、红外探测技术及图像模式识别技术实现对人体手部的测速。然而由于室内存在加热、照明等发射红外信号的设备，同时在室外环境中存在光照等红外辐射源，使得应用于人体手部运动测量的红外探测技术的误差率偏高。目前最常用的是基于视觉的手势交互，利用摄像头对手势进行非接触式的捕获，是一种自然的交互方式。但是基于视觉的方法容易受到背景变化、环境光照变化等影响，摄像头获取的图像背景复杂，手势表观也会受其严重影响，对手势图像的分析非常复杂，很难保证交互系统的实时性，在摄像头的视频死角区域无法发挥作用，因此，基于视觉的人机交互方式具有数据处理复杂，实时性差且有视角限制的缺点。而静电探测技术是利用运动中物体所带的静电实现对目标的探测识别。uTriboelectrification of houseflies (Musca domestic L. ) walking on syntheticdielectric surfaces，，Mcgonigle D F, Jackson C W and Davidson J L2002J. Electrostat. 54167-177中首次提出对爬行中的昆虫进行静电探测的方法。受此启发，“Electrification of human body by walking，，Ficker T 2006 J. Electrostat. 6410-16通过安装在人身体上的静电计对运动中人体电势的变化进行了研究。由于一切运动的物体都会带上静电，而静电场具有唯一的边界条件，因此通过静电场的变化，对运动的带电人体手部可以进行定位测量，因此将静电探测方法应用于测量人体及人体四肢运动，并且进行人机交互是可行的，国内外尚未有将静电探测方法应用于人机交互的应用。基于生物电信号的人机交互技术是近年来遥操作机器人和人机交互技术的研究前沿和热点之一。在国外某些实验室中，肌电信号EMG信号已经被研究用作残障病人义肢的控制信号。但大多数研究中，由于对肌电信号模式识别处理较为复杂，但可以对手指动作进行识别。目前尚未有把静电探测的人机交互与基于肌电信号得人机交互相融合的人机交 互方式，该人机交互方式兼有基于静电探测的人机交互方式和基于肌电信号的人机交互方式的优点，即具有较广泛的交互角度和交互范围，不依赖于环境光线，又具有较高的人体手势识别精度，可以区分手指的动作，完成较为复杂的人机交互功能。
技术实现思路
本专利技术要解决的技术问题是利用非接触式静电探测方式和接触式肌电信号获取实现人机交互操作，通过非接触式静电探测方法测量人体手部运动速度与方向，确定手部实时位置，通过判定手部运动状态，通过接触式肌电信号获取手指细节动作信息，高精度的控制计算机鼠标的操作，完成复杂的人机交互，整个交互过程不受外界环境光线影响。本专利技术公开了，可减小人体手部速度与方向测量技术的工作死角区，降低人体手部运动探测系统的设计复杂程度，实现对手部实时位置与运动状态的测量，通过判定手部运动状态，实现对计算机鼠标的操作。本专利技术的目的是通过下述技术方案实现本专利技术公开的具体实现步骤如下步骤一布设能检测到人体手部运动静电信号的多极板探测阵列，所述探测阵列包括至少一组多极板探测单元；多极板探测单元由五个极板组成，其中四个极板分成两对，两对极板间的连线互相垂直，每对极板间距离为d，d < 200cm,四个极板位置布置呈正方形；第五个极板布置在垂直于四个极板所在平面的方向上，并且距离四个极板距离相同，距离四个极板所在平面距离为山五个极板构成一个空间四棱椎体。极板间距离为d相对于人体手部运动距离较小，分析的运动距离d所用的时间相对于人体手部运动时间较小，因此测得的速度即为人体实时运动速度；步骤二 采集监测环境中的静电信号，所述的静电信号是每个时刻探测系统获取的静电感应信号电势值；步骤三将该采集到的静电感应信号电势值与预设判据对比，如果该静电感应信号与该预设判据相同，则认为检测到了人体手部运动的存在；步骤四记录步骤二中检测到的人体手部运动在每个极板上所产生的静电感应信号的波峰值，读取每个极板上紧随波峰值的过零点时刻；定义中首先探测到静电感应信号的极板与其相对的极板组成极板对一，极板对一中首先探测到静电感应信号的极板为极板1，另一个极板为极板2 ;另一对极板为极板对二，极板对二中首先探测到静电感应信号的极板为极板4，另一个极板为极板3，步骤一中所述的第五个极板本文档来自技高网...

【技术保护点】
一种基于静电和肌电探测的人机交互方法，其特征在于，包括如下步骤：步骤一：布设能检测到人体手部运动静电信号的多极板探测阵列，所述探测阵列包括至少一组多极板探测单元；多极板探测单元由五个极板组成，其中四个极板分成两对，两对极板间的连线互相垂直，每对极板间距离为d，d≤200cm，四个极板位置布置呈正方形；第五个极板布置在垂直于四个极板所在平面的方向上，并且距离四个极板距离相同，距离四个极板所在平面距离为d，五个极板构成一个空间四棱椎体；极板间距离为d相对于人体手部运动距离较小，分析的运动距离d所用的时间相对于人体手部运动时间较小，因此测得的速度即为人体实时运动速度；步骤二：采集监测环境中的静电信号，所述的静电信号是每个时刻探测系统获取的静电感应信号电势值；步骤三：将该采集到的静电感应信号电势值与预设判据对比，如果该静电感应信号与该预设判据相同，则认为检测到了人体手部运动的存在；步骤四：记录步骤二中检测到的人体手部运动在每个极板上所产生的静电感应信号的波峰值，读取每个极板上紧随波峰值的过零点时刻；定义中首先探测到静电感应信号的极板与其相对的极板组成极板对一，极板对一中首先探测到静电感应信号的极板为极板1，另一个极板为极板2；另一对极板为极板对二，极板对二中首先探测到静电感应信号的极板为极板4，另一个极板为极板3，步骤一中所述的第五个极板为极板5；分别读取多极板探测单元中极板1，极板2，极板3，极板4，极板5采集到的紧随波峰值的过零点时刻t1,t2,t3,t4,t5；人体手部在极板1，2，3，4构成的水平面上运动方向α和人体手部运动速度V满足公式(1)和(2)：α=arccosV(t1-t2)d---(1)α=arcsinV(t3-t4)d---(2)步骤五：联立公式(1)和(2)即可获得人体手部在极板1，2，3，4构成的水平面上运动方向α为：α=arctg(t3-t4t1-t2)---(3)人体手部在极板1，2，3，4构成的水平面上运动速度V为：V=d(t3-t1)2+(t4-t2)2---(4)步骤六：人体手部在极板1，2，3，4构成的水平面垂直方向运动速度V′为：V′=d(t3-t1)2+(t4-t2)22-t5---(5)步骤七：多极板探测单元的数量及布阵方式根据实际探测目标区域需要而定，多极板探测阵列中多组多极板探测单元能探测到不同位置处的人体手部的人体手部在极板1，2，3，4平面内的实时运动方向α和人体手部实时运动速度V，以及在垂直极板1，2，3，4平面上的速度V′，在得到人体手部实时运动方向α和人体手部实时运动速度V和V′后，即已经跟踪到人体手部实时运动轨迹，确定手部实时位置和运动状态；步骤八：根据手部实时位置和运动状态，把手部动作分为移动、单次敲击和连续敲击三种，移动定义为对应鼠标的拖动动作，单次敲击定义为鼠标的选中操作，连续敲击定义为鼠标的打开操作，按照上述定义对计算机鼠标操作进行匹配，从而根据手部静电探测信号完成选中、拖动和打开的人机交互功能；步骤九：通过肌电电极和肌电信号处理电路获取手部肌电信号，恢复出手指张开与弯曲的细节运动信息；步骤十：通过手指张开与弯曲的信息，完成图片缩放，旋转等交互功能。...

【技术特征摘要】

【专利技术属性】
技术研发人员：唐凯，李鹏斐，陈曦，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：