一种智能双向手语翻译装置制造方法及图纸

本实用新型专利技术公开了一种智能双向手语翻译装置，包括主控制器、语音识别模块、语音合成模块、显示模块、机械手臂驱动模块、手势识别模块和通信模块；其中，所述语音识别模块、所述语音合成模块与所述显示模块通过异步串口与主控制器连接，机械手臂驱动模块与主控制芯片通过I2C连接；显示模块包括显示屏、驱动器及存储器；机械手臂驱动模块包括32自由度机械臂、控制器和稳压器；手势识别模块包括微处理器、弯曲传感器、OLED显示屏及姿态传感器。该装置可以低成本地提高聋哑人和正常人的交流效率和准确率。

An intelligent two-way sign language translation device

The utility model discloses an intelligent bidirectional sign language translation device, which comprises a main controller, a voice recognition module, a voice synthesis module, a display module, a manipulator driving module, a gesture recognition module and a communication module, wherein the voice recognition module, the voice integration module and the display module are connected with the main controller through an asynchronous serial port, and the manipulator driving module Block and main control chip are connected through I2C; display module includes display screen, driver and memory; manipulator drive module includes 32 DOF Manipulator, controller and voltage regulator; gesture recognition module includes microprocessor, bending sensor, OLED display screen and attitude sensor. The device can improve the communication efficiency and accuracy of the deaf mute and the normal people at a low cost.

【技术实现步骤摘要】
一种智能双向手语翻译装置
本技术涉及手语翻译
，尤其涉及一种智能双向手语翻译装置。
技术介绍
在日常生活中，由于大多数正常人对手语了解较少，聋哑人和正常人沟通困难。这些交流上的障碍给聋哑人的工作、生活带来诸多不便。手语学习过程需要练习时间，低成本、实用性强的双向手语翻译装置可以帮助正常人学习手语，同时可以提高聋哑人和正常人的交流效率和准确率。
技术实现思路
本技术提供一种智能双向手语翻译装置，该装置可以低成本地提高聋哑人和正常人的交流效率和准确率。为实现上述目的，本技术提供一种智能双向手语翻译装置，包括主控制器、语音识别模块、语音合成模块、显示模块、机械手臂驱动模块、手势识别模块和通信模块，其中，所述语音识别模块、所述语音合成模块与所述显示模块通过异步串口与主控制器连接，机械手臂驱动模块与主控制芯片通过I2C连接；显示模块包括显示屏、驱动器及存储器；机械手臂驱动模块包括32自由度机械臂、控制器和稳压器；手势识别模块包括微处理器、弯曲传感器、OLED显示屏及姿态传感器。优选地，所述主控制器的芯片为STM32。优选地，所述语音识别模块的语音识别芯片为LD3320。优选地，所述显示模块的驱动器芯片为74HC595。优选地，所述语音合成模块的芯片为SYN6288。优选地，所述控制器芯片为PCA9685芯片，稳压器芯片为LM2596。优选地，所述弯曲传感器为FLX－03A型Flex4.5″。优选地，所述姿态传感器为MPU6050。实施本技术具有如下有益效果：该装置采用语音设别模块接收语音并匹配对应手势动作，然后通过机械手臂驱动模块将对应手势动作展示出来，实现语音到手势动作的转换，可以将正常人的语音转换成聋哑人可以明白的手势动作；装置通过手势识别模块获取聋哑人的手势动作，并将手语动作经过数据分析后的文本由语音合成模块转换成语音，实行手语动作到语音的转换；以上的双向过程可以实现正常人和聋哑人高效率、准确地交流。附图说明图1是本实施例提供的一种智能双向手语翻译装置的结构示意图；图2是本实施例提供的一种语音识别模块的结构示意图；图3是本实施例提供的一种显示模块的结构示意图；图4是本实施例提供的一种数据手套的结构示意图；具体实施方式下面结合附图，对本技术实施例作进一步的说明。请参照图1，智能双向手语翻译装置，包括主控制器、语音识别模块、语音合成模块、显示模块、机械手臂驱动模块、手势识别模块和通信模块，其中，所述语音识别模块、所述语音合成模块与所述显示模块通过异步串口与主控制器连接，机械手臂驱动模块与主控制芯片通过I2C连接。语音识别模块外连接话筒作为输入，语音合成模块外连接扬声器作为输出，显示模块外连接LED屏作为输出，机械手臂驱动模块外连接仿生手臂控制手语动作的输出，收入识别模块连接数据手套作为手语动作的输入，通信模块采用蓝牙实现通信。装置通过内嵌的FatFS文件管理系统完成对SD卡的数据存储与读取。主控制器的芯片选用STM32。语音识别模块的结构示意图如图2所示，MCU选用芯片STM32FlO3ZET6，该芯片为Cortex—M3内核，最高工作频率72MHz，1.25DMIPS/MHz可实现单周期乘法和硬件除法，工作电压为2V～3.6V，兼容语音识别。语音识别选用芯片LD3320，该芯片内部集成了语音识别处理器和一些外部电路，包括AD/DA转换器、麦克风接口、声音输出接口等，不需要外接其他的辅助芯片如Flash、RAM等，直接集成在现有的产品中即可以实现语音识别功能，而且识别的关键词语列表可以任意动态编辑。供电部分采用ASM117(3.3V，1A)稳压器。语音合成模块接收待合成的文本数据及与主控制器的通信方式均采用异步串口，语音合成芯片采用SYN6288。参照图3所述的显示模块的结构示意图，显示模块包括LED显示屏、稳压芯片以及驱动芯片。其中，LED显示屏由高亮LED灯组成64×32矩阵共阴极点阵屏；驱动芯片采用74HC595，具有8位移位寄存器和一个存储器，采用串行方式与主控制器通信；稳压芯片采用LM2596，输出电流可达3A。机械手臂驱动模块包括32自由度机械臂、舵机控制器及稳压器。其中，32自由度机械臂是模仿人手臂自主建模设计，并由3D打印机打印而成，关节处装有大扭矩的双轴舵机，通过控制舵机来实现关节精确移动，模仿人体的手臂动作。舵机控制系统对32个舵机的精确控制，通过特定算法实现仅需要输入目标角度，关节便可匀速到达指定位置的目的。由于舵机较多，大大增加了控制的复杂性。程序控制将32个舵机分成3组：左手(11个)、右手(11个)、左右胳膊(10个)，并采取分组控制的方法。舵机控制器采用两块PCA9685芯片级联，可同时控制32路舵机。PCA9685是一款I2C总线接口的l6路PWM控制器，每路均可独立输出有12bit分辨率(4096级)固定频率PWM。该PWM控制器运行在40Hz～1000Hz范围的频率下，占空比在0％～100％范围内可调。舵机控制器与主控制器之间通过I2C方式通信。稳压器芯片采用LM2596(5V，3A)，并联一个1000F大容量电解电容，提高电源的稳定性。手势识别模块通过数据手套识别手语动作，并传输给主控制器。如图4所述，数据手套包括弯曲传感器1，OLED显示器2，姿态传感器3及微处理器4。其中，弯曲传感器采用FLX－03A型Flex4.5″，姿态传感器采用MPU6050，微处理器采用STM32。微处理器4对弯曲传感器1捕捉手指的弯曲程度以及姿态传感器3捕捉手臂的运动状态，按预定算法处理并将结果与手语库进行比对，获取对应手语动作。弯曲传感器1是一个特殊的电阻型传感器，正常状态阻值大约是10kΩ，当弯曲或形变时阻值会发生变化，通过分压电路采集A/D值可得到对应的电阻值，从而获手指的弯曲程度。姿态传感器3集成了三轴微电子机械系统(MEMS)陀螺仪、三轴MEMS加速度计以及一个可扩展的数字运动处理器DMP。通信模块采用蓝牙通信，主要用于将数据手套捕获的数据传至手语机器人以控制语音合成模块发出提示音；同时，通信模块也用于与上位机发送调试指令，寻找动作的关键节点。所述装置从语音识别转换到手势动作的执行过程如下：语音识别进行系统初始化；读取位于存储器中的等待被识别的关键词句；等待语音识别指令；当接到识别命令时，识别语音信号并将非特定语音转换为文本；提取文本的关键词；经过算法匹配获得相似度最高的动作；最后将动作指令码转换为数据包通过异步串口传送至主控制器。所述装置从手势动作转换到语音的执行过程如下：数据手套通过姿态传感器捕获到手臂的运作后；启动定时器，通过弯曲传感器1获得手指弯曲程度；当定时器未超时，检测到动作停顿后，将每一帧的数据与手语库中的数据比对，寻找相似度最大的动作；将数据发送给主系统，OLED模块显示捕获到的动作，清零计时器；语音合成模块将接收到的主系统发送的文本合成语音输出。如果定时器超时，表示识别错误，结束本次识别，等待下一次动作输入。实施本技术具有如下有益效果：该装置采用语音设别模块接收语音并匹配对应手势动作，然后通过机械手臂驱动模块将对应手势动作展示出来，实现语音到手势动作的转换，可以将正常人的语音转换成聋哑人可以明白的手势动作；装置通过手势识本文档来自技高网...

【技术保护点】
1.一种智能双向手语翻译装置，其特征在于，包括：主控制器、语音识别模块、语音合成模块、显示模块、机械手臂驱动模块、手势识别模块和通信模块，其中，所述语音识别模块、所述语音合成模块与所述显示模块通过异步串口与主控制器连接，机械手臂驱动模块与主控制芯片通过I2C连接；显示模块包括显示屏、驱动器及存储器；机械手臂驱动模块包括32自由度机械臂、控制器和稳压器；手势识别模块包括微处理器、弯曲传感器、OLED显示屏及姿态传感器。

【技术特征摘要】
1.一种智能双向手语翻译装置，其特征在于，包括：主控制器、语音识别模块、语音合成模块、显示模块、机械手臂驱动模块、手势识别模块和通信模块，其中，所述语音识别模块、所述语音合成模块与所述显示模块通过异步串口与主控制器连接，机械手臂驱动模块与主控制芯片通过I2C连接；显示模块包括显示屏、驱动器及存储器；机械手臂驱动模块包括32自由度机械臂、控制器和稳压器；手势识别模块包括微处理器、弯曲传感器、OLED显示屏及姿态传感器。2.如权利要求1所述的智能双向手语翻译装置，其特征在于，所述主控制器的芯片为STM32。3.如权利要求1所述的智能双向手语翻译装置，其特征在于...

【专利技术属性】
技术研发人员：熊昕，熊茂华，
申请(专利权)人：广州番禺职业技术学院，
类型：新型
国别省市：广东,44