一种基于超声定位的三维笔势识别方法技术

本发明专利技术涉及一种基于超声定位的三维笔势识别方法，属于人机交互领域。通过超声定位装置采集用户在输入三维笔势时在空间划过轨迹的三维坐标；计算空间划过轨迹的三维坐标在xOy、zOx和yOz三个平面的投影坐标，并进行平滑处理，去除因用户手的抖动或环境噪声造成的微小偏差；将平滑处理后的三维笔势投影坐标与系统三维笔势库中的投影坐标进行匹配，匹配成功则执行对应指令，匹配失败则自动进行系统笔势库的自适应更新，向系统中加入用户习惯的三维笔势，以适应不同用户的输入习惯。本发明专利技术将笔势引入三维空间，提高了交互真实感，所提三维笔势识别方法具有较高的识别速度和准确性，用户体验良好。

A 3D gesture recognition method based on ultrasonic positioning

The invention relates to a 3D gesture recognition method based on ultrasonic positioning, which belongs to the field of human-computer interaction. The ultrasonic positioning device for collecting user 3D coordinates in space across the trajectory in 3D gesture input; computing space across the trajectory of the 3D coordinates in the xOy, zOx and yOz three plane projection coordinates, and smoothing, removal of small deviations due to the user to hand shake or environmental noise caused by matching the projection coordinates; after smoothing the 3D projection coordinate system of 3D gesture and gesture in the library, to match the success of implementation of the corresponding instructions, update the adaptive matching fails, the system can automatically gesture library, 3D gesture user habits to join in the system, in order to adapt to different user input habits. The introduction of three-dimensional space gesture interaction, improve the sense of reality, recognition speed and accuracy of the proposed method of 3D gesture recognition has high, user experience is good.

【技术实现步骤摘要】
一种基于超声定位的三维笔势识别方法
本专利技术属于人机交互领域，具体涉及一种基于超声定位的三维笔势识别方法。
技术介绍
信息技术的高速发展为人类生产、生活带来了广泛而深刻的影响，也促进了人机交互技术的发展，传统的基于windows、icons、menu、pointdevice模式(简称WIMP)的人机交互方式需要频繁地切换鼠标、键盘、界面工具按钮，交互连续性差，已难以满足人们的需要。而笔式交互符合人类自然交互特性，具有较好的连续性和自然性，但笔式交互多基于传统的纸笔隐喻，只能在二维平面实现交互，在空间应用中显示出局限性，因此将二维笔势交互和三维真实场景交互相结合产生的三维笔势交互技术具有重要的研究价值。三维笔势交互技术将物理距离引入笔势交互，可在一定距离范围内实现笔与显示终端的交互，以更加自然和谐的方式进行终端操作，不受使用环境和用户行为的限制，具有广阔的应用前景。在笔式交互方面，国内相关专利大都在二维笔式交互及其相关技术方面进行研究。中国专利“平面三自由度笔式力觉交互装置”(申请号CN201110221211.4)公开了一种平面三自由度笔式力觉交互装置，可以应用到游戏、教学、绘画练习等领域中，使用户通过握持交互笔直接在设备屏幕上进行操作的同时感受相应的反馈力和扭矩，实现了平面视觉和力觉显示的融合。中国专利“基于手写输入状态自适应判断处理的笔式交互方法及系统”(申请号CN201510018914.5)公开了一种基于手写输入状态自适应判断处理的笔式交互方法，在用户进行手绘图形输入和手写文字输入的过程中，自动判断用户当前输入状态并进行实时处理，简化了用户操作流程，使用户自然、高效地完成笔式交互。中国专利“基于投影跟踪的笔式交互系统”(申请号CN201010199301.3)公开了一种基于投影的笔式交互系统，通过红外投影扫描模块、无线通信接收模块、投影仪和交互笔的协同工作来完成笔式交互，在实现大范围、准确交互的同时实现逼真的毛笔书写交互效果。田丰等人在论文《UPIL：以用户为中心的笔式交互系统设计》中提出了一种以用户为中心的笔式交互系统的设计方法，提高了笔式交互系统的可用性。但这些设计方法均只考虑二维平面情况，将笔式交互技术限制在平面操作上，未提出适用于三维空间的笔式交互识别、笔迹跟踪等方法，限制了用户操作的自然性和灵活性。手势是三维空间的一种自然直接的人机交互方式，在手势交互方面，国内已有相关专利进行研究。中国专利“手势识别装置、手势识别方法及手势识别系统”(申请号CN201510587921.7)公开了一种手势识别装置、方法及系统，该系统通过传感器识别运动手指相对于其他手指的运动信息和装置需要的输入方式，并由输入方式生成单元对应生成键盘输入位置、功能键、鼠标移动等，实现快速、准确的模拟输入内容。中国专利“一种手势识别方法及装置”(申请号CN201610195737.2)公开了一种手势识别方法，通过手部视频获得待识别手势的密度分布特征向量，通过计算该向量与预设标准手势库特征向量的欧氏距离来确定目标手势，有效提高手势识别的准确性。中国专利“红外手势识别装置的控制方法、装置和设备”(申请号CN201610286718.0)公开了一种红外手势识别装置的控制方法、红外手势识别装置和设备，提高了手势识别的准确率和可靠性，提升用户使用体验。这些设计方法虽然都是三维空间情况的人手活动，但都集中于手势交互活动，并未考虑笔势交互在三维空间中的应用，而手势交互存在多义性、多样性及时空上的差异性等固有缺陷，导致手势识别系统识别率低，实时性较差。三维笔势交互是手势活动的一种，相对于手指关节多、灵活性强等特点，三维笔式交互只需要改变笔的运动位移、旋转角度等参量，可通过对笔的控制克服多义性、多样性等缺陷，精度较高。目前国内对三维笔势交互技术的研究仍处于起步阶段，三维笔势交互装置、定位方法和笔势识别方法等均未被充分研究。
技术实现思路
本专利技术提供一种基于超声定位的三维笔势识别方法，目的是设计适合三维笔势交互装置使用的定位方法和笔势识别方法，采用超声定位技术提高三维笔势装置的定位精度；通过将三维笔势空间轨迹的三维坐标转化为二维投影坐标矩阵并与系统三维笔势库中对应的二维投影坐标矩阵进行匹配，实现系统对三维笔势的识别；利用系统三维笔势库的自适应学习机制适应用户的输入习惯，减少用户习惯对三维笔势识别效果的影响。本专利技术采用的技术方案是：包括下列步骤：步骤(1)三维笔势数据采集：利用超声定位技术采集用户在输入三维笔势时在空间划过轨迹的三维坐标；步骤(2)笔势投影数据计算：计算用户输入的三维笔势空间轨迹的三维坐标在xOy、zOx和yOz三个平面上的投影坐标，并进行平滑处理，去除因用户手的抖动或环境噪声造成的微小偏差；步骤(3)三维笔势匹配：分别在xOy、zOx和yOz三个平面上对平滑处理后的三维笔势投影坐标与系统三维笔势库中对应的投影坐标进行匹配，若两者匹配程度超过90％则认为匹配成功，执行三维笔势对应的指令；步骤(4)三维笔势库自适应学习：根据用户三维笔势习惯对系统三维笔势库进行自适应更新，使系统逐步适应用户的输入习惯。进一步地，所述步骤(1)中的三维笔势数据采集的具体实现过程如下：采用超声定位技术，首先由红外同步装置发送同步接收信号，为超声波接收器提供时间基准，之后通过笔势交互设备前端安装的超声波发生器发送超声波，通过显示终端上安装的3个超声波接收器同步接收超声波信号，从而定位出用户输入三维笔势时在空间划过轨迹的三维坐标S(xS,yS,zS)：zS≥0其中A(xA,0,0)、B(0,yB,0)、C(xC,0,0)分别为显示终端上安装的3个超声波接收器的三维坐标，l1、l2、l3分别为笔尖位置与3个超声波接收器之间的距离，可通过超声波接收器获得。由于人类手势活动一般在10Hz左右，而笔势交互是较为真实的手势活动，根据奈奎斯特定律可知，当采样频率fS大于信号中最高频率fmax的2倍时采样之后的数字信号可完整地保留原始信号中的信息，不失真地恢复出原始的模拟信号，工程应用中应保证采样频率为信号最高频率的5～10倍，因此本专利技术确定超声波传感器发送信号频率为60Hz，即信号每隔16ms发送一次，在保证接收信号连续性的同时降低装置能耗。进一步地，所述步骤(2)中的笔势投影数据计算的具体实现过程如下：首先令用户输入的三维笔势空间轨迹的三维坐标zS＝0，计算三维笔势空间轨迹在xOy平面的投影坐标，并将该投影坐标以二维投影坐标矩阵S1(xS,yS)的形式存储；令用户输入的三维笔势空间轨迹的三维坐标yS＝0，计算三维笔势空间轨迹在zOx平面的投影坐标，并将该投影坐标以二维投影坐标矩阵S2(xS,zS)的形式存储；令用户输入的三维笔势空间轨迹的三维坐标xS＝0，计算三维笔势在yOz平面的投影坐标，并将该投影坐标以二维投影坐标矩阵S3(yS,zS)的形式存储：之后采用Savitzky-Golay平滑滤波器对3个二维投影坐标矩阵进行平滑处理，得到平滑处理后的二维投影坐标矩阵，去除因用户手的抖动或环境噪声造成的轨迹偏差。为保证系统实时性，本专利技术采用3×3的Savitzky-Golay平滑滤波器模板对S1(xS,yS)、S2(xS,zS)、S3(yS,zS)分别进行处理本文档来自技高网...

【技术保护点】
一种基于超声定位的三维笔势识别方法，其特征在于，包括下列步骤：步骤(1)三维笔势数据采集：利用超声定位技术采集用户在输入三维笔势时在空间划过轨迹的三维坐标；步骤(2)笔势投影数据计算：计算用户输入的三维笔势空间轨迹的三维坐标在xOy、zOx和yOz三个平面上的投影坐标，并进行平滑处理，去除因用户手的抖动或环境噪声造成的微小偏差；步骤(3)三维笔势匹配：分别在xOy、zOx和yOz三个平面上对平滑处理后的三维笔势投影坐标与系统三维笔势库中的坐标数据进行匹配，若两者匹配程度超过90％则认为匹配成功，执行三维笔势对应的指令；步骤(4)三维笔势库自适应学习：根据用户三维笔势习惯对系统三维笔势库进行自适应更新，使系统逐步适应用户的输入习惯。

【技术特征摘要】
1.一种基于超声定位的三维笔势识别方法，其特征在于，包括下列步骤：步骤(1)三维笔势数据采集：利用超声定位技术采集用户在输入三维笔势时在空间划过轨迹的三维坐标；步骤(2)笔势投影数据计算：计算用户输入的三维笔势空间轨迹的三维坐标在xOy、zOx和yOz三个平面上的投影坐标，并进行平滑处理，去除因用户手的抖动或环境噪声造成的微小偏差；步骤(3)三维笔势匹配：分别在xOy、zOx和yOz三个平面上对平滑处理后的三维笔势投影坐标与系统三维笔势库中的坐标数据进行匹配，若两者匹配程度超过90％则认为匹配成功，执行三维笔势对应的指令；步骤(4)三维笔势库自适应学习：根据用户三维笔势习惯对系统三维笔势库进行自适应更新，使系统逐步适应用户的输入习惯。2.根据权利要求1所述的基于超声定位的三维笔势识别方法，其特征在于：所述步骤(1)中的三维笔势数据采集的具体实现过程如下：采用超声定位技术，首先由红外同步装置发送同步接收信号，为超声波接收器提供时间基准，之后通过笔势交互设备前端安装的超声波发生器发送超声波，通过显示终端上安装的3个超声波接收器同步接收超声波信息，从而定位出用户输入三维笔势时在空间划过轨迹的三维坐标，使用的超声波传感器发送信号频率为60Hz，即信号每隔16ms发送一次，在保证接收信号连续性的同时降低装置能耗。3.根据权利要求1所述的基于超声定位的三维笔势识别方法，其特征在于：所述步骤(2)中的笔势投影数据计算的具体实现过程如下：首先计算用户输入的三维笔势空间轨迹的三维坐标在xOy、zOx和yOz三个平面上的投影坐标，然后以二维投影坐标矩阵的形式存储，最后采用Savitzky-Golay平滑滤波器对3个二维投影坐标矩阵进行平滑处理，得到平滑处理后的二维投影坐标矩阵，去除因用户手的抖动或环境噪声造成的轨迹偏差；为保证系统实时性，采用3×3的Savitzky-Golay平滑滤波器模板。4.根据权利要求1所述的基于超声定位的三维笔势识别方法，其特征在于：所述步骤(3)中的三维笔势匹配的具体实现过程如下：将系统三维笔势库中每个笔势的3个二维投影坐标矩阵作为模板矩阵；将用户输入并经平滑处理后的二维投影坐标矩阵作为...

【专利技术属性】
技术研发人员：燕学智，李瑞格，孙晓颖，陈建，温泉，刘国红，于海洋，温艳鑫，王海云，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林,22