一种人机交互设备制造技术

本发明专利技术公开了一种人机交互设备，包括：运动位置传感器，用于采集运动轨迹与姿态；麦克风，用于采集与其他表面的摩擦音频；处理模块，用于根据采集的运动轨迹和与其他表面的摩擦音频，得到“拖拽”的人机交互命令；以及通过采集到的运动位置传感器数据和计算出麦克风采集到音频的瞬时功率对于敲击动作做出判断，得到“敲击”命令的人机交互命令；实现对相应的设备或计算机进行交互。所述设备能够接任何固体表面作为触摸平面，通过触摸该表面完成各种手势动作，并以该动作控制计算机或智能设备实现相关操作。

【技术实现步骤摘要】

本专利技术涉及计算机应用
，特别是涉及一种佩戴在手指上的人机交互设备。
技术介绍
现代的新型人机交互有很多种形式，包括多点的触摸屏，基于传感器的体感设备， 基于图像识别的交互，基于肌肉计算的交互等。以上的各种交互方式能够弥补很多以前存在的不足，但是这些交互方式也存在一些新问题和缺点。多点触摸的交互方式，这种交互方式现在已经非常普遍的应用在各种设备中了， 该设备的原理是当人的手指接触触摸屏元件时，该点的电容或者电阻会发生相应的变化， 通过采集不同点的数值就可以判断出触摸的位置。但是这种设备的局限在于操作者必须在设备前使用并与触摸屏接触，当远离设备时是无法操作该设备的。体感型人机交互方式，其包括通过遥控器内的加速度传感器感知使用者手部的运动来进行交互，或是通过一种特殊的摄像头，这种摄像头可以采集景深信息，然后通过对图像的处理重构出使用者的骨架来进行交互。体感交互方式的缺点在于使用者必须在设备前大幅度的动作才能够被准确的判断为交互动作，微小的动作是不被接受的。一种肌肉计算的交互设备，设备通过采集人体肌肉的肌电信号来判断人体手部的动作，从而进行交互。这种设备目前还不成熟，设备笨重且不易携带。采集人手部动作的数据手套，该手套的原理是每一个手指都附着一个弯曲传感器，通过对弯曲传感器的变化的采集来重现人体的手部的动作最终完成交互。这种设备造价极为昂贵，且佩带起来相对麻烦，尤其是在炎热的夏季这种设备不适合普通用户使用。
技术实现思路
本专利技术的目的在于提供一种新型人机交互设备，该设备支持一种全新人机交互方式可接任何固体表面作为触摸平面，通过触摸该表面完成各种手势动作，并以该动作控制计算机或智能设备实现相关操作。为实现本专利技术的目的而提供的一种人机交互设备，包括运动位置传感器，用于采集运动轨迹与姿态；麦克风，用于采集设备与其他表面的摩擦音频；处理模块，用于根据采集的运动轨迹和设备与其他表面的摩擦音频，得到“拖拽” 的人机交互命令；以及通过采集到的运动位置传感器数据和计算出麦克风采集到音频的瞬时功率对于敲击动作做出判断，得到“敲击”命令的人机交互命令；实现对相应的设备或计算机进行交互。所述人机交互设备通过无线的方式和其他设备进行连接实现人机交互。所述处理模块，包括拖拽命令模块，用于根据采集的运动轨迹，判断在起点和终点之间的设备在运动过程中人的手势，根据设备与其他表面的摩擦音频，来确定摩擦发生的起点和终点时间，得到一个拖拽动作；点击命令模块，用于通过计算麦克风采集的音频瞬时功率和所述运动位置传感器的一个轴向线加速度，得到相应的数值，利用算法对该数值进行处理判断是否是一个点击动作。所述拖拽命令模块，包括音频处理子模块，用于当设备与其他表面发生滑动摩擦时，声波传导到设备的麦克风中，通过算法来判断是否是一个摩擦声，从而得到摩擦的起始点；位移处理子模块，用于通过对运动位置传感器进行建模处理，计算所述设备的位移轨迹。所述音频处理子模块，通过计算声音片段的MFCC参数、过零率和功率指标，经过训练利用SVM分类器得到该段音频是否是摩擦来确定的起始点。所述人机交互设备，设计成一个戒指佩戴在手指上，在戒指的上方部署用于采集手指运动与姿态的传感器，在戒指的下方安装一个音孔朝向手指皮肤的麦克风，戒指是电池供电，通过无线的方式和其他设备进行连接。所述传感器是加速度传感器、陀螺仪中的一个或多个。所述音频处理子模块，用于当手指与其他表面发生滑动摩擦时，声波会通过手指骨传导到设备的麦克风中，通过算法来判断是否是一个摩擦声，从而得到摩擦的起始点。所述人机交互设备，设计成笔型，所述麦克风和所述运动位置传感器是安装在笔尖处。所述音频处理子模块，具体执行下列操作通过麦克风采集到音频，将音频变成数字化的信号也就是音频文件；通过截断的方法，把音频切成片段；对获得的片段进行处理，加海明窗，计算MFCC，计算片段的功率，计算片段的过零率作为特征，该特征为一个多维的向量由MFCC和片段功率过零率拼接而成；对获得的片段进行标注，并训练SVM模型；通过SVM对计算出来的特征进行分类，把小片段分为摩擦和非摩擦。显然的从非摩擦到摩擦就是一个摩擦的起点，而由摩擦到非摩擦就是终点。本专利技术的有益效果是本专利技术的设备体积小(接近戒指体积)，佩戴方便，无需专用的操作表面，且可识别微小动作，使用舒适自由。附图说明图1是本专利技术的人机交互设备的结构示意图；图2是本专利技术的一种人机交互设备的一实施例的示意图；图3是图2的实施例佩戴在手指上的示意图。具体实施例方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术的一种人机交互设备进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术的人机交互设备，由用于采集手指运动与姿态的运动位置传感器(如线加速度传感器、陀螺仪传感器中的一种或多种)和音孔朝向手指皮肤的麦克风共同构成。通过判断摩擦起始点这种新颖的方式解决了传统体感设备难以得到动作的起始数据的问题。 另外通过麦克风指向手指皮肤来采集骨传导音频的方式也大大的提高了摩擦声音的信噪比。下面结合上述目标详细介绍本专利技术的一种人机交互设备，图1是本专利技术的人机交互设备的结构示意图，如图1所示，所述设备1，包括运动位置传感器11，用于采集运动轨迹与姿态；麦克风12，用于采集设备与其他表面的摩擦音频；处理模块13，用于根据采集的运动轨迹和设备与其他表面的摩擦音频，得到“拖拽”的人机交互命令；以及通过采集到的运动位置传感器数据和计算出麦克风采集到音频的瞬时功率对于敲击动作做出判断，得到“敲击”命令的人机交互命令；实现对相应的设备或计算机进行交互。所述处理模块13，包括拖拽命令模块131，用于根据采集的运动轨迹，判断在起点和终点之间的设备在运动过程中人的手势，根据设备与其他表面的摩擦音频，来确定摩擦发生的起点和终点时间， 得到一个拖拽动作；所述拖拽命令模块131，包括音频处理子模块1311，用于当设备与其他表面发生滑动摩擦时，声波传导到设备的麦克风中，通过算法来判断是否是一个摩擦声，从而得到摩擦的起始点；所述音频处理子模块，通过计算声音的MFCC参数、过零率和功率指标，经过训练利用SVM分类器得到摩擦的起始点。具体执行下列操作1.通过麦克风采集到音频，将音频变成数字化的信号。2.通过截断的方法，把音频切成很短的片段。3.对获得的片段进行处理，加窗(海明窗)，计算MFCC，计算片段的功率，计算片段的过零率作为特征，该特征为一个多维的向量由MFCC和片段功率过零率拼接而成。4.对获得的片段进行标注，并训练SVM模型。5.通过SVM对计算出来的特征进行分类，把小片段分为摩擦和非摩擦。显然的从非摩擦到摩擦就是一个摩擦的起点，而由摩擦到非摩擦就是终点。位移处理子模块1312，用于通过对运动位置传感器进行建模处理，计算所述设备的位移轨迹。所述位移处理子模块，利用滤波然后修正再积分的方法计算所述设备的位移轨迹。点击命令模块132，用于通过计算麦克风采集的音频瞬时功率和所述运动位置传感器的一个轴向线加速度，得到相应的数值，利用阈值的方法对该数值进行处理判断是否是一个点击动作。所述人机交互设备1通过无线的方式和其他设备进行连接实现人机交互。本专利技术一共采集两种不本文档来自技高网...

【技术保护点】
１．一种人机交互设备，其特征在于，所述设备，包括：运动位置传感器，用于采集运动轨迹与姿态；麦克风，用于采集设备与其他表面的摩擦音频；处理模块，用于根据采集的运动轨迹和与其他表面的摩擦音频，得到“拖拽”的人机交互命令；以及通过采集到的运动位置传感器数据和计算出麦克风采集到音频的瞬时功率对于敲击动作做出判断，得到“敲击”命令的人机交互命令；实现对相应的设备或计算机进行交互。

【技术特征摘要】
1.一种人机交互设备，其特征在于，所述设备，包括 运动位置传感器，用于采集运动轨迹与姿态；麦克风，用于采集设备与其他表面的摩擦音频；处理模块，用于根据采集的运动轨迹和与其他表面的摩擦音频，得到“拖拽”的人机交互命令；以及通过采集到的运动位置传感器数据和计算出麦克风采集到音频的瞬时功率对于敲击动作做出判断，得到“敲击”命令的人机交互命令；实现对相应的设备或计算机进行交互。2.根据权利要求1所述的人机交互设备，其特征在于，所述人机交互设备通过无线的方式和其他设备进行连接实现人机交互。3.根据权利要求1所述的人机交互设备，其特征在于，所述处理模块，包括拖拽命令模块，用于根据采集的运动轨迹，判断在起点和终点之间的设备在运动过程中人的手势，以及根据与其他表面的摩擦音频，来确定摩擦发生的起点和终点时间，得到一个拖拽动作；点击命令模块，用于通过计算麦克风的采集音频瞬时功率和所述运动位置传感器的一个轴向线加速度，得到相应的数值，利用算法对该数值进行处理判断是否是一个点击动作。4.根据权利要求3所述的人机交互设备，其特征在于，所述拖拽命令模块，包括 音频处理子模块，用于当与其他表面发生滑动摩擦时，声波传导到设备的麦克风中，通过算法来判断是否是一个摩擦声，从而得到摩擦的起始点；位移处理子模块，用于通过对运动位置传感器进行建模处理，计算所述设备的位移轨迹。5.根据权利要求4所述的人机交互设备，其特征在于，所述音频处理子模块，通过计算声音片段...

【专利技术属性】
技术研发人员：张博宁，钱跃良，王向东，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：11