一种远程交互笔及书写笔迹检测方法技术

一种远程交互笔及书写笔迹检测方法，包括手持端和接收端。手持端采用三轴陀螺仪和两个三轴加速度计检测笔杆的书写运动特征量，采用超声测距测量笔杆相对与屏幕和地面的相对运动距离，测量信息根据人的书写运动模型进行数据融合和书写运动特征量的解算及书写意图的识别，实现书写笔迹的检测。接收端用于接收手持端解算的书写控制信息、书写笔迹信息和光标的三维运动信息。本发明专利技术通过对手臂运动特征的跟踪定位以控制光标运动、操作视窗并实现隔空书写功能，并增加了垂直于投影屏幕方向的运动检测功能，作为三维空中鼠标用于虚拟现实等应用，克服了现有输入设备不能反映光标三维运动信息的缺陷，具有结构简单、使用方便的特点。

【技术实现步骤摘要】

本专利技术涉及计算机输入设备，尤其是。
技术介绍
在新闻发布会、产品展示会、报告会、授课等活动中，投影机的使用越来越频繁而 且不可替代。然而目前使用投影机时有一个很大的缺憾，就是不能灵活地操作系统。有的 公司针对多媒体投影应用场合推出了基于电子感应原理的电子白板，利用白板和手写笔之 间的电磁感应实现手写笔的定位，实现用户可以像普通黑板一样在白板上进行书写圈画等 操作，但用户在白板上进行书写操作时，容易遮挡从背后投射过来的投影机光线，无法做到 远距离书写。在中国专利公开号为CN101071350的专利文献中，公开了一种通过识别动态轨迹 操作光标、视窗的装置，该装置通过采用图像摄取装置检测激光笔打在投影屏幕上的光点 的运动轨迹，经过图像识别算法，实现对光点的定位及运动轨迹的判断。市场上也有采用类 似技术的相关产品出现。利用该技术，用户可以实现远距离对任意投影屏幕的交互。但是 由于该技术方案需要在投影屏幕前架设图像摄取装置，增加了安装使用的复杂度，此外该 技术的图像识别效果还受周围环境的较大影响。在中国专利公开号为CN101320297A的专利文献中公开了一种无线空中鼠标，该 装置包括手持端和接收端两部分，通过在手持端上垂直安装陀螺仪来检测手腕在空间两轴 向的转动，用手腕在水平和垂直平面内转动的角度表示光标的移动距离。在中国专利公开 号为CN101110001A的专利文献中也公开了类似的方法，该方法实现了不依赖其它设备的 情况下与计算机的远距离交互。但是由于人对投影屏幕书写、标注等过程中，不仅是手腕空 间两轴向的转动，还有手臂的平动等，按照该技术方案形成的产品并不符合人的操作习惯。 此外由于低成本陀螺仪等惯性器件的精度限制，该方法还存在控制光标精度差、分辨率不 足的问题。另外，目前使用的鼠标、电子教鞭等输入设备都只能反映光标的二维运动信息，对 虚拟现实等需要反映光标三维运动信息的场合只能用光标的二维运动来模拟，或者需要采 用三维数据手套等复杂设备，缺少一种反应人手空间三维运动信息的简单有效的输入方 式。
技术实现思路
为了克服现有技术控制光标精度差、分辨率不足以及无法做到远距离书写的不 足，本专利技术提出了。本专利技术解决其技术问题所采用的技术方案是包括手持端和接收端，手持端包括 惯性器件、超声测距模块、温度传感器、微处理器I和数据无线通讯模块；接收端包括与微 处理器II和数据无线通讯模块。其中，惯性器件测量获得书写运动过程中反映人手及手 臂运动的交互笔运动角速度和加速度信息，输出电压信号经滤波模块低通滤波后传输至模数转换模块，转换得到的数字信号送往微处理器I ；温度传感器测量环境温度后输出信号， 经模数转换模块转换后得到数字信号送往微处理器I，用以对惯性器件的输出信号进行温 漂补偿；超声测距模块测量交互笔相对于屏幕和地面两个方向的距离变化的脉冲信号送往 微处理器I ；微处理器I对所获得的上述信号解算包括笔杆姿态、平动分量和转动分量的书 写运动特征量，并将获得的书写运动特征量与交互笔相对于屏幕和地面两个方向的距离变 化的脉冲信号进行融合和误差修正；同时根据人手空中对投影屏幕的书写运动模型进行运 动校正和书写运动意图的识别，将最终结果映射成为屏幕上的书写笔迹信息或者光标的二 维或三维运动信息，通过数据无线通讯模块发送给接收端。接收端通过数据无线通讯模块 接收手持端解算的屏幕上的书写笔迹信息或者光标的二维或三维运动信息，在微处理器II 的控制下发送给计算机主机。 所述的惯性传感器件包括一个三轴陀螺仪和两个三轴加速度计，两个三轴加速度 计分别安装于交互笔的笔杆两端，并且这两个三轴加速度计的三个敏感轴方向均分别与笔 杆惯性坐标系x、Y、z轴相平行；三轴陀螺仪的三个敏感轴方向分别与笔杆惯性坐标系x、Y、 Z轴相平行。所述的超声测距模块包括两组超声测距模块，并且两组超声测距模块相互垂直安 装；其中一组超声测距模块的敏感方向与笔杆轴向相平行，另一组超声测距模块的敏感方 向与笔杆轴向垂直。所述的手持端还包括书写控制模块，书写控制模块采用一组按键，包括光标对准 键、书写键、三维鼠标键以及与鼠标的左右键和滚轮的上下键对应的四个功能键。所述的微处理器II连接存储器，用于存放交互笔的PC端驱动程序。当主机接收 端第一次与PC机连接时，主机接收端首先注册为存储设备，然后自动运行存储器内的交互 笔驱动程序，免除了另外准备驱动安装光盘的不便。本专利技术还提出了一种远程交互笔实现书写笔迹检测的方法，包括以下步骤步骤一，基于人书写运动特点的运动特征量检测根据人对投影屏幕书写运动的 特点，将手臂的书写运动分解为在空间X轴和Y轴方向上手腕和手臂的转动以及手臂的平 动，即体现为交互笔的书写运动可以分解成为交互笔在X轴向和Y轴方向的转动和平动。测 量交互笔笔杆在空间三轴向的转动角速度信息、运动过程中笔杆头部和尾部的三轴加速度 信息，同时测量笔杆相对于屏幕方向和地面方向的相对运动信息；对环境温度信息进行测 量。步骤二，笔杆运动特征量的确定对传感器测得的笔杆头部加速度信息、笔杆尾部 加速度信息、笔杆转动角速度信息和温度信息进行书写运动特征量的确定，具体过程包括 以下步骤a.数据预处理采用中值滤波算法对对传感器测得的笔杆头部的三轴加速度信 息、笔杆尾部的三轴加速度信息、笔杆三轴向的转动角速度信息和温度信息进行滤波；根据 环境温度信息，采用最小二乘法对滤波后得到的各信息进行温度补偿，减小传感器的零点 漂移；b.转动特征量的确定分别对笔杆在X轴方向和Y轴方向的转动角速度进行确 定；对笔杆两端在X轴方向的运动加速度的差值进行积分运算，得到笔杆在该方向的转动 角速度，并与该方向陀螺仪直接测得的笔杆转动角速度值通过卡尔曼滤波进行数据融合；采用同样方法实现对Y轴向转动角速度的确定；c.笔杆姿态的确定1)通过四元数旋转矢量法三子样算法对笔杆的姿态角进行计算 q为笔杆任意时刻的姿态四元数，其中(g)表示四元数乘法，q(k+l)和q(k)分别 为tk+1和tk时刻笔杆的姿态四元数，θ ^、Ψ为笔杆任意时刻的俯仰角滚转角和航向角；Q(dt)为从tk到tk+1时刻笔杆的等效旋转矢量，Q(dt)的计算公式如下 φη φ φη Δ (9= ω( ) + 3ω( + -) + 3ω( + -Η) + ω( + K)—338其中沙(0，^^ + |)，^ + (t+h)分别为姿态更新周期h时间段内，转动 传感器件的三次角速率等间隔采样值；2)根据公式(9)判断笔杆是否处于加速运动，当公式(9)左边部分小于阈值ε 时，可判定笔杆处于无加速运动，ε取三轴加速度计三轴静态噪声方差方均根的三倍；当 无加速运动时利用笔杆下端的加速度计的输出，根据公式(10)对笔杆的俯仰角和滚转角 进行计算。^ax2 +ay2 +az2 -g <ε(9) 其为A 0，A外A ^为三轴陀螺仪通过四元数算法估计的笔杆姿态角与笔杆真实 姿态角之间的姿态估计误差，Abx，Aby，Abz分别为三轴陀螺仪在三轴方向上的静态漂移， 为&的斜对称阵，^^和\2分别为三轴陀螺仪的观测噪声和漂移噪声；观测方程为 其中H为观测阵，ea。。和Pm为利用笔杆下端三轴加速度计估计的笔杆姿态角，本文档来自技高网...

【技术保护点】
一种远程交互笔，包括手持端和接收端，其特征在于：手持端包括惯性器件、超声测距模块、温度传感器、微处理器Ⅰ和数据无线通讯模块；接收端包括与微处理器Ⅱ和数据无线通讯模块；其中，惯性器件测量获得书写运动过程中反映人手及手臂运动的交互笔运动角速度和加速度信息，输出电压信号经滤波模块低通滤波后传输至模数转换模块，转换得到的数字信号送往微处理器Ⅰ；温度传感器测量环境温度后输出信号，经模数转换模块转换后得到数字信号送往微处理器Ⅰ，用以对惯性器件的输出信号进行温漂补偿；超声测距模块测量交互笔相对于屏幕和地面两个方向的距离变化的脉冲信号送往微处理器Ⅰ；微处理器Ⅰ对所获得的上述信号解算包括笔杆姿态、平动分量和转动分量的书写运动特征量，并将获得的书写运动特征量与交互笔相对于屏幕和地面两个方向的距离变化的脉冲信号进行融合和误差修正；同时根据人手空中对投影屏幕的书写运动模型进行运动校正和书写运动意图的识别，将最终结果映射成为屏幕上的书写笔迹信息或者光标的二维或三维运动信息，通过数据无线通讯模块发送给接收端；接收端通过数据无线通讯模块接收手持端解算的屏幕上的书写笔迹信息或者光标的二维或三维运动信息，在微处理器Ⅱ的控制下发送给计算机主机。...

【技术特征摘要】

【专利技术属性】
技术研发人员：张通达，张玉祥，马柳艺，张映锋，陈家照，徐福后，
申请(专利权)人：张通达，张玉祥，
类型：发明
国别省市：87[中国|西安]