基于超声触觉的盲文交互系统及其交互方法技术方案

本发明专利技术公开了一种基于超声触觉的盲文交互系统及其交互方法，其包括上位机、基于视觉的手部位置跟踪检测模块、主控制器和超声阵列触觉发生电路。所述基于视觉的手部位置跟踪检测模块包括深度摄像头和通信传输电路，所述超声阵列触觉发生电路包括驱动电路和超声阵列，所述主控制器包括主控单元、信号发生电路单元和摄像头信号采集单元。本发明专利技术合理将基于视觉的手部位置跟踪检测模块和超声阵列触觉发生电路相结合，并能分别独立工作运行，能跟踪手部位置，实时在三维空间内产生非接触触觉反馈，为盲人群体的人机交互方式带来一种新的交互体验，具有实时性高、精度高、成本低等优点，用户体验好，另外整体结构简单，易于实现，利于广泛推广使用。

Braille Interactive System Based on Ultrasound Touch and Its Interactive Method

The invention discloses a Braille interactive system based on ultrasonic tactile sense and its interactive method, which comprises a host computer, a visual-based hand tracking detection module, a main controller and a tactile generating circuit of an ultrasonic array. The vision-based hand position tracking detection module includes a depth camera and a communication transmission circuit. The tactile generating circuit of the ultrasonic array includes a driving circuit and an ultrasonic array. The main controller includes a main control unit, a signal generating circuit unit and a camera signal acquisition unit. The invention reasonably combines the vision-based hand position tracking detection module with the tactile generator circuit of the ultrasonic array, and can work independently, track the hand position, and generate non-contact tactile feedback in three-dimensional space in real time, thus bringing a new interactive experience for the human-computer interaction mode of blind people, with the advantages of high real-time performance, high precision and low cost, etc. Good experience, and the overall structure is simple, easy to achieve, conducive to widespread use.

【技术实现步骤摘要】
基于超声触觉的盲文交互系统及其交互方法
本专利技术涉及基于超声触觉的盲文交互
，特别涉及一种基于超声触觉的盲文交互系统及其交互方法。
技术介绍
触觉作为人类的五感之一，相比视觉、听觉、味觉等常常没有引起人们的关注和重视，然而它在各种场景下却无时无刻不在发挥着至关重要的作用。在人机交互过程中，其重要性更不言而喻，2015年微软的一项研究表明，在带有振动触觉反馈的触摸屏上打字时，打字速度会更快而且错误率会更低。可见触觉在人机交互过程中的重要性。尤其是对于盲人群体而言，触觉更是他们赖以维持基本生活的重要依仗。这是因为触觉具有丰富的多样性，通过触觉的信息传递，盲人便可以分辨出不同的物体材料、形状等特征，以此作为他们辨识周遭物体和环境的重要依据。另外，盲文作为盲人群体的文字，也是通过触觉的方法进行感知和识别。由此也可以看出触觉其实也蕴藏着丰富的信息，是人与外界交互不可或缺的重要手段。盲文，也称点字，是专为盲人设计和使用的文字，依靠触觉来感知和识别。由于其设计初衷本就是为了无法利用视觉信息的盲人设计的，针对的就是触觉这一重要方式，因此与触觉反馈或是触觉交互等能自然的结合到一起。传统的触觉反馈方法如美国SENSABLE公司开发的PHANToM，以及如CyberGlove公司的Cybertouch等设备，均属于直接接触式触觉反馈。虽然它们都取得了非常不错的效果，但是同时也存在一些无法避免的问题，如持续接触所带来的不必要触觉以及需要穿戴额外设备所带来的不便性等，另外这类装置大多结构复杂，导致成本比较高，难以普及。针对这些问题，近年来出现了一种基于超声阵列的新型触觉反馈技术，无需直接接触，便能在手掌产生触觉。其基本原理是利用高声能量密度情况下的声辐射压力这一声波的非线性特性。以空气作为媒介，在目标区域产生足以激活人手掌的触觉感受器的声辐射压力，最终让人隔空感受到触觉。为了产生足够高的声能量密度，采用的是阵列超声换能器的形式，通过适当的控制各个换能器的相位，便能对阵列换能器合成的总声场进行如聚焦等的调节以实现期望的声场分布。公开号“CN104866098A”，名称为“一种超声波触觉反馈系统及其制造方法”的专利技术专利公开了一种超声触觉反馈系统，包含电容式超声传感器阵列、控制电路、驱动电路、计算机等部分。该专利技术由于采用电容式传感器，因此体积更小，易于与其他电路集成。但也同时导致其存在发射功率小，触觉反馈范围小等不足。公开号“CN105426024B”名称为“一种基于超声波聚焦的触觉反馈系统及方法”的专利技术专利公开了“一种基于超声波聚焦的触觉反馈系统及方法”其系统包括主控制电路、手部位置扫描电路、传感器阵列聚焦电路、超声波传感器阵列。即在前一项专利的基础上又加入了手部位置扫描电路，其原理是采用收发一体的超声传感器形成的阵列同时实现手部位置扫描和触觉反馈的功能。根据扫描电路获得的手部位置，再确定传感器阵列聚焦电路的发射相位，实现针对手部位置而产生的触觉反馈。然而由于该项专利手部位置扫描电路与触觉反馈发射电路采用同一电路，因此无法同时工作，当手部位置发生变化，为了再次获取手部位置，必须中断触觉反馈发射功能。另一方面，其手部位置扫描电路实际无法区分是手掌还是手腕还是别的什么物体，实际使用时容易受到外界干扰。
技术实现思路
针对上述不足，本专利技术的目的在于，提供一种结构设计巧妙、合理，具较大的触觉反馈范围，且在中心区域具有更高能量，交互效果好的基于超声触觉的盲文交互系统。本专利技术的目的还在于，提供一种操作方便，交互效果好的基于超声触觉的盲文交互方法。为实现上述目的，本专利技术所提供的技术方案是：一种基于超声触觉的盲文交互系统，其包括上位机、基于视觉的手部位置跟踪检测模块、主控制器和超声阵列触觉发生电路。其中上位机用于设定期望产生的盲文体序列，并将生成盲文信息；基于视觉的手部位置跟踪检测模块用于采集连续的视频帧并发送给上位机，通过上位机对图像进行算法处理实现获得操作者的手部空间位置坐标的提取并产生相应的手部空间位置坐标信息传递给主控制器；主控制器用根据上位机生成的盲文信息以及计算得到的手部空间位置坐标信息来确定盲文反馈区域，进而计算各个超声传感器所需发射时延，并将时延信号反馈至超声阵列触觉发生电路；超声阵列触觉发生电路用于按照相应时延信号控制超声传感器阵列发射超声波，在期望触觉点聚焦，形成触觉反馈。作为本专利技术的一种改进，所述基于视觉的手部位置跟踪检测模块包括深度摄像头和通信传输电路，该通信传输电路与所述深度摄像头相连接。作为本专利技术的一种改进，所述超声阵列触觉发生电路包括驱动电路和超声阵列，超声阵列由若干个超声传感器阵列排布而成，所述超声传感器分别与所述驱动电路相连接。作为本专利技术的一种改进，所述超声传感器为压电陶瓷超声传感器，该压电陶瓷超声传感器的频率为40KHz，直径为10mm。作为本专利技术的一种改进，所述驱动电路中采用TC4427功率放大芯片。作为本专利技术的一种改进，所述主控制器包括主控单元、信号发生电路单元和摄像头信号采集单元，所述主控单元分别与所述信号发生电路单元和摄像头信号采集单元相连接。一种基于超声触觉的盲文交互方法，其包括以下步骤：(1)启动上位机，将设定期望产生的盲文体序列传递给主控制器；(2)基于视觉的手部位置跟踪检测模块将采集连续的视频帧并发送给上位机，通过上位机对图像进行算法处理实现获得操作者的手部空间位置坐标的提取并产生相应的手部空间位置坐标信息传递给主控制器；(3)主控制器根据上位机设定的盲文信息以及计算得到的手部空间位置坐标，确定盲文反馈区域，进而计算各个超声传感器所需发射时延，并将时延信号反馈至超声阵列触觉发生电路；(4)超声阵列触觉发生电路接收时延信号，按照时延信号相应控制超声传感器阵列发射超声波，在期望触觉点聚焦空间形成特定声场，使操作者在高声能量密度处受到触觉刺激，形成触觉反馈；(5)重复步骤(2)-(4)，直至盲文体序列全部反馈完毕。本专利技术的有益效果为：本专利技术基于超声触觉的盲文交互系统的架构设计巧妙，合理将基于视觉的手部位置跟踪检测模块和超声阵列触觉发生电路相结合，并能分别独立工作运行，能跟踪手部位置，实时在三维空间内产生非接触触觉反馈，为盲人群体的人机交互方式带来一种新的交互体验，具有实时性高、精度高、成本低等优点，用户体验好，另外整体结构简单，易于实现，利于广泛推广使用。下面结合附图与实施例，对本专利技术进一步说明。附图说明图1是本专利技术的模块示意框图。图2是本专利技术中的超声阵列聚焦示意图。图3是本专利技术中的使用场景原理图。图4是本专利技术中的工作流程图。图5是本专利技术中盲文示意图。具体实施方式参见图1至图5，本实施例提供的一种基于超声触觉的盲文交互系统，其包括上位机、基于视觉的手部位置跟踪检测模块、主控制器和超声阵列触觉发生电路。所述上位机用于设定期望产生的盲文体序列，并将生成盲文信息；基于视觉的手部位置跟踪检测模块用于采集连续的视频帧并发送给上位机，通过上位机对图像进行算法处理实现获得操作者的手部空间位置坐标的提取并产生相应的手部空间位置坐标信息传递给主控制器；主控制器用根据上位机生成的盲文信息以及计算得到的手部空间位置坐标信息来确定盲文反馈区域，进而计算各个超声传感器所需发射时延，并将时延信号反馈至超声阵列触觉发本文档来自技高网...

【技术保护点】
1.一种基于超声触觉的盲文交互系统，其特征在于，其包括上位机，用于设定期望产生的盲文体序列，并将生成盲文信息；基于视觉的手部位置跟踪检测模块，用于采集连续的视频帧并发送给上位机，通过上位机对图像进行算法处理实现获得操作者的手部空间位置坐标的提取并产生相应的手部空间位置坐标信息传递给主控制器；主控制器，用于根据上位机生成的盲文信息以及计算得到的手部空间位置坐标信息来确定盲文反馈区域，进而计算各个超声传感器所需发射时延，并将时延信号反馈至超声阵列触觉发生电路；超声阵列触觉发生电路，用于按照相应时延信号控制超声传感器阵列发射超声波，在期望触觉点聚焦，形成触觉反馈。

【技术特征摘要】
1.一种基于超声触觉的盲文交互系统，其特征在于，其包括上位机，用于设定期望产生的盲文体序列，并将生成盲文信息；基于视觉的手部位置跟踪检测模块，用于采集连续的视频帧并发送给上位机，通过上位机对图像进行算法处理实现获得操作者的手部空间位置坐标的提取并产生相应的手部空间位置坐标信息传递给主控制器；主控制器，用于根据上位机生成的盲文信息以及计算得到的手部空间位置坐标信息来确定盲文反馈区域，进而计算各个超声传感器所需发射时延，并将时延信号反馈至超声阵列触觉发生电路；超声阵列触觉发生电路，用于按照相应时延信号控制超声传感器阵列发射超声波，在期望触觉点聚焦，形成触觉反馈。2.根据权利要求1所述的基于超声触觉的盲文交互系统，其特征在于，所述基于视觉的手部位置跟踪检测模块包括深度摄像头和通信传输电路，该通信传输电路与所述深度摄像头相连接。3.根据权利要求1所述的基于超声触觉的盲文交互系统，其特征在于，所述超声阵列触觉发生电路包括驱动电路和超声阵列，超声阵列由若干个超声传感器阵列排布而成，所述超声传感器分别与所述驱动电路相连接。4.根据权利要求1所述的基于超声触觉的盲文交互系统，其特征在于，所述超声传感器为压电陶瓷超声传感器，该压电陶瓷超声传感...

【专利技术属性】
技术研发人员：隆志力，袁宇阳，姜兆田，何荣华，
申请(专利权)人：哈尔滨工业大学深圳，
类型：发明
国别省市：广东,44