一种基于传感器融合的无障碍人机交互系统及交互方法技术方案

本发明专利技术公开了一种基于传感器融合的无障碍人机交互系统，包括传感器融合模块、控制模块、数据发送模块、数据接收模块；传感器融合模块包括依次连接的用于控制光标位移的六轴传感器模块、用于光标确认的肌电传感器模块、用于控制切换和模式转换的声音传感器模块和用于数据预处理和数据融合的数据处理单元模块，控制模块接收传感器融合模块数据后做出决断，控制模块通过数据发送与数据接收模块连接，通过蓝牙协议传输数据，用户可通过头部移动、眼睛眨动、语音控制实现与电脑、平板、手机之间的人机交互。既为特殊人士提供切实了有效的人机交互设备，也为普通人员解放双手预防颈椎病提供了一种新思路。本发明专利技术还公开了一种无障碍人机交互方法。

【技术实现步骤摘要】
一种基于传感器融合的无障碍人机交互系统及交互方法
本专利技术涉及多传感器数据融合技术与姿态识别算法
，将基于融合传感器的智能系统用于与智能终端设备的人机交互，特别是将三种传感器数据建模与多通道智能控制传输结合，构建基于多个传感器融合的姿态识别方法和无障碍人机交互系统。
技术介绍
随着MEMS技术与物联网技术的发展，人机交互需求进入一个前所未有的高峰，智能可穿戴设备与姿态识别算法结合成为一种新的趋势，智能人机交互设备的应用前景越来越广。现有的人机交互设备主要是键盘与鼠标，模式化的操作造成很多职业疾病的发生，为了避免“鼠标手”等疾病的发生，同时也考虑到为一些特殊人士提供人机交互设备，让他们更好地享受互联网智能终端带给我们的便利，针对以上问题，本专利技术提出了一种基于传感器融合的无障碍人机交互系统，既扩大了传统人机交互设备的应用范围，也为降低鼠标手的发病率以及为特殊人士提供无障碍人机交互设备提供了新思路。
技术实现思路
针对现有的需求，本专利技术提出一种基于传感器融合的无障碍人机交互系统。将多传感器数据融合技术与姿态本文档来自技高网...

【技术保护点】
1.一种基于传感器融合的无障碍人机交互系统，其特征在于，包括：传感器融合模块、控制模块、数据发送模块、数据接收模块；其中，/n所述传感器融合模块设置于头部，其包括：用于控制光标位移的六轴传感器模块、用于光标确认的肌电传感器模块、用于控制切换和模式转换的声音传感器模块和用于数据预处理和数据融合的数据处理单元模块；/n所述控制模块接收所述传感器融合模块数据后做出决断；所述决断过程采用解耦设计，包括硬件解耦与软件解耦；所述控制模块通过所述数据发送模块与所述数据接收模块连接，通过蓝牙协议传输数据；所述控制模块通过USB与电脑连接，用户可通过头部移动、眼睛眨动、语音控制实现与电脑、平板、手机之间的人机交...

【技术特征摘要】
1.一种基于传感器融合的无障碍人机交互系统，其特征在于，包括：传感器融合模块、控制模块、数据发送模块、数据接收模块；其中，
所述传感器融合模块设置于头部，其包括：用于控制光标位移的六轴传感器模块、用于光标确认的肌电传感器模块、用于控制切换和模式转换的声音传感器模块和用于数据预处理和数据融合的数据处理单元模块；
所述控制模块接收所述传感器融合模块数据后做出决断；所述决断过程采用解耦设计，包括硬件解耦与软件解耦；所述控制模块通过所述数据发送模块与所述数据接收模块连接，通过蓝牙协议传输数据；所述控制模块通过USB与电脑连接，用户可通过头部移动、眼睛眨动、语音控制实现与电脑、平板、手机之间的人机交互。


2.如权利要求1所述的基于传感器融合的无障碍人机交互系统，其特征在于，所述六轴传感器模块集成三轴加速度计和三轴陀螺仪，加速度计检测直线加速度和重力矢量，陀螺仪测量旋转角速度，数据处理单元经过计算后得到头部的姿态数据；所述肌电传感器模块采用差分输入、模拟滤波电路的方式抑制噪音，数据处理单元将表面原始肌肉电信号滤波、整流、积分后得到表面肌电脉冲信号，从而得到眼睛眨动数据；所述声音传感器模块集成了高精度的数/模和模/数接口，数据处理单元可以编辑动态编辑的关键词进行声音识别，从而进行控制切换和模式转换。


3.如权利要求1所述的基于传感器融合的无障碍人机交互系统，其特征在于，所述数据处理单元将传感器融合模块的数据进行数据预处理和数据融和，控制模块将其转变为人机交互指令通过数据发送模块发送数据，智能终端通过数据接收模块接收数据，从而实现控制模块对智能终端的人机交互控制。


4.如权利要求1所述的基于传感器融合的无障碍人机交互系统，其特征在于，所述数据发送模块通过蓝牙协议传输数据到所述接收器模块，连接控制模块与数据接收模块；所述数据接收模块通过USB与智能终端连接，调用鼠标、键盘指令实现人机交互。


5.如权利要求1所述的基于传感器融合的无障碍人机交互系统，其特征在于，所述解耦设计包括硬件解耦与软件解耦，硬件解耦为系统既可以通过蓝牙与智能终端通信，也可以直接用USB实现与智能终端的通信；软件解耦为人机交互中单击、双击、右击、打开、关闭操作都可由所述肌电传感器模块与所述声音传感器模块同时控制，提高人机交互体验。


6.一种基于传感器融合的无障碍人机交互方法，其特征在于，采用如权利要求1-5之任一项所述的人机交互系统，所述方法包括如下步骤：
步骤一：将融合传感器模块置于头部，其中，六轴传感器模块置于头顶，声音传感器模块话筒部分置于嘴旁，肌电传感器模块电极置于眼角外侧肌肉，分别采集头部姿态信号、声音信号、表面原始肌肉电信号，其中所述姿态信号包括三维加速度信号和三维角速度信号；
步骤二：所述融合传感器模块中数据处理单元处理原始数据，将三维加速度信号与三位角速度信号进行扩展卡尔曼滤波过程，然后误差修正补偿，得到头部运动姿态数据的航向角、滚动角和俯仰角数据；将声音信号与寄存器内编程设置的关键词语进行正则匹配，得到匹配的语音数据；将表面原始肌肉电信号滤波、整流、积分后得到表面肌电脉冲信号；
步骤三：所述数据发送模块将融合传感器模块输出的信号传输至所述控制模块，所述控制模块将得到的信号进行处理，将头部运动姿态数据的航向角、滚动角和俯仰角数据转换为光标位移数据，将语音数据转化为控制切换和模式切换数据，将表面肌电脉冲信号转化为光标确认数据；
步骤四：所述数据发送...

【专利技术属性】
技术研发人员：主轩铭，徐文超，李威君，齐平平，
申请(专利权)人：华东师范大学，
类型：发明
国别省市：上海;31