一种基于机器视觉的便携式手语翻译设备及方法技术

本发明专利技术属于机器视觉及手语翻译技术领域，公开了一种基于机器视觉的便携式手语翻译设备及方法，包括设备本体，设备本体连接有电源模块、数据处理模块、摄像头模块、扬声器模块、麦克风模块和显示模块；数据处理模块为树莓派4B，摄像头模块为CSI摄像头，扬声器模块为有线耳机，麦克风模块为搭载有LD3320芯片的语音识别模块；树莓派4B集成了CSI排线接口和有线耳机连接口；摄像头模块、扬声器模块、麦克风模块和显示模块通过电导线与数据处理模块连接；数据处理模块、摄像头模块、扬声器模块、麦克风模块和显示模块通过电导线与电源模块连接；本发明专利技术解决了现有技术手语翻译设备不便于携带、互动性差和成本高的问题，适用于正常人与聋哑人之间的交流。之间的交流。之间的交流。

【技术实现步骤摘要】
一种基于机器视觉的便携式手语翻译设备及方法


[0001]本专利技术涉及机器视觉及手语翻译
，具体为一种基于机器视觉的便携式手语翻译设备及方法。

技术介绍

[0002]手语是聋哑人之间交流的主要方式,但是正常人与聋哑人交流时经常会遇到障碍，致使其无法理解聋哑人所要表达的意思，无法为其提供服务和帮助。
[0003]随着手语助残等产品逐渐走向市场，其中人工类的APP市场份额最大，多用于银行、机场等场所。考虑到其使用环境受限、人工费、翻译者水平参差不齐等问题，人工智能类的手语产品行业逐渐兴起，但现有的手语翻译设备或不便于携带，且价格高昂；例如，现有的基于数据手套的手语识别系统，其利用数据手套和位置跟踪器测量手势在空间运动轨迹和时序信息，主要基于隐马尔科夫模型等手势识别技术，从而获取使用者手部运动数据，但其具有的局限性包括：参数较多、环境可靠性差、精度低、价格昂贵等。
[0004]利用机器视觉及相关的训练算法，将聋哑人作出的手语动作进行处理、识别匹配并进而输出，不仅能够解决手语识别、打破聋哑人交流障碍。同时由于手部属于人的基本特征，对手势的识别处理在人机交互等领域也占据着非常重要的地位。通过对人手特征的精确捕捉、跟踪与特征提取，不仅可以解决手语与口语、手语与手语之间交流困难的问题。因此，亟需一种基于机器视觉的便于携带、互动性高、成本低的便携式手语翻译设备。

技术实现思路

[0005]本专利技术意在提供一种基于机器视觉的便携式手语翻译设备及方法，以解决现有技术手语翻译设备不便于携带、互动性差和成本较高的问题。
[0006]为了实现上述目的，本专利技术提供如下技术方案：
[0007]一种基于机器视觉的便携式手语翻译设备，包括设备本体，所述设备本体连接有电源模块、数据处理模块、摄像头模块、扬声器模块和麦克风模块；
[0008]所述摄像头模块、所述扬声器模块和所述麦克风模块均通过电导线与所述数据处理模块连接；
[0009]所述数据处理模块、所述摄像头模块、所述扬声器模块和所述麦克风模块均通过电导线与所述电源模块连接；
[0010]所述数据处理模块用于处理采集的手语动作和输入的口语语音，并将其转化为输出的口语语音和文本信息；
[0011]所述摄像头模块用于采集手语动作；
[0012]所述扬声器模块用于播放口语语音；
[0013]所述麦克风模块用于接收口语语音。
[0014]进一步地，所述数据处理模块为树莓派4B，所述摄像头模块为CSI摄像头，所述扬声器模块为带有语音输入的有线或无线耳机，所述麦克风模块为搭载有LD3320芯片的语音
识别模块；所述树莓派4B集成了CSI排线接口和有线耳机连接口，且用Python语言实现核心机器视觉算法。
[0015]进一步地，所述设备本体还连接有显示模块，所述显示模块通过电导线与所述数据处理模块和所述电源模块连接，所述数据处理模块还将输入的口语语音转化为显示的文本信息，所述显示模块用于显示文本信息。
[0016]上述的一种基于机器视觉的便携式手语翻译设备的翻译方法，包括以下步骤：
[0017]S1、根据机器视觉原理，在所述数据处理模块内构建及其学习管道的Mediapipe框架，以识别所述摄像头模块采集到的手语动作；
[0018]S2、所述数据处理模块对整个图像进行手掌检测，手部坐标模型通过回归对检测到的手部区域内的多个3D手肘坐标进行精确的关键点定位；
[0019]S3、将所述摄像头模块采集的图像回传给所述数据处理模块进行计算推演，获取手掌特征信息并标记关键点，与已有的手语动作模型进行比较，以完成图像实时检测任务；
[0020]S4、所述数据处理模块将检测到的手语动作传输至所述扬声器模块播放口语语音，同时也传输至所述显示模块显示文本信息。
[0021]进一步地，在S1中，为避免实时传输的图像因光线等原因造成图像噪声过大，利用hqdn3D算法对采集图像的过程进行降噪处理，具体的算法为：
[0022]逐像素进行，不涉及频域变换；3D去噪时参考左邻、上邻、上帧同一位置的三个像素；根据相邻像素的差确定偏置量，将相邻像素的颜色值“拉近”：对于较小的像素差异拉近其颜色值的距离，对于较大的像素差异降低偏置系数，达到保边效果；通过外部设置滤波强度，调整峰值位置。
[0023]进一步地，在S1中，为避免实时传输时因摄像头不稳定造成图像失焦，利用laplace滤波算法增强图像边缘，具体的算法为：
[0024]先在Opencv中提供cv:Laplace函数，对图像求二阶导数，由于图像是二维的，故无需分开求横向和纵向的导数；然后相加即可；laplace函数的判断条件为：当梯度最大时，二阶导数为0，从而能够很好的表现出图像的边界和轮廓。
[0025]上述的一种基于机器视觉的便携式手语翻译设备的翻译方法，包括以下步骤：
[0026]S1、在所述麦克风模块的语音识别模块LD3320芯片内录入识别词语的拼音和序号，在所述述数据处理模块内储存手语动作对应的手语文本信息；
[0027]S2、所述麦克风模块识别到对应的词语时会在结果寄存器里更新为识别给过对应的序号，得到相应的文本信息，将其上传至所述数据处理模块，在所述数据处理模块内将文本信息与手语动作图像视频进行匹配；
[0028]S3、所述数据处理模块将所得的文字信息传输至所述显示模块，所述显示模块显示最终的文本信息。
[0029]本技术方案的有益效果是：
[0030]1、本设备成本低；现有的手语翻译设备如手语翻译手套、手语翻译机售价在7000元左右，而本设备硬件成本在1000元左右，更易被受聋哑人群所接受；
[0031]2.体积小，质量轻，便于携带；现有的配戴手语翻译手套过长时间易使手部疲劳损伤，体积过大的手语翻译机更是不便于随身携带，而本设备硬件组成简单、集成度高，便于使用者配戴和稳定使用；
[0032]3.手语识别速度快、精确度高；现有的手语翻译手套基于手套上搭载的运动传感器跟踪动作，从而实现手语翻译的目的；而本设备基于机器视觉技术，利用搭载的摄像头采集图像，利用hqdn3D算法、laplace滤波算法和MedaiPipe框架模式翻译手语动作，在实时性更高，翻译速度更快，准确性也高达95.7％；
[0033]4.实现了交互式交流，大大方便正常人群与聋哑人群间的沟通；本设备既能将手语动作实时翻译为语音信息，以方便正常人理解手语信息；又能将语音信息实时转换为文本信息以方便聋哑人理解正常人的语言表达。
附图说明
[0034]图1为本专利技术一种基于机器视觉的便携式手语翻译设备的系统示意图；
[0035]图2为使用本专利技术一种基于机器视觉的便携式手语翻译设备的示意图；
[0036]图3为本专利技术一种基于机器视觉的便携式手语翻译设备的翻译方法的数据处理流程图；
[0037]图4为利用本专利技术一种基于机器视觉的便携式手语翻译设备的翻译时手部关键本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于机器视觉的便携式手语翻译设备，其特征在于：包括设备本体，所述设备本体连接有电源模块、数据处理模块、摄像头模块、扬声器模块和麦克风模块；所述摄像头模块、所述扬声器模块和所述麦克风模块均通过电导线与所述数据处理模块连接；所述数据处理模块、所述摄像头模块、所述扬声器模块和所述麦克风模块均通过电导线与所述电源模块连接；所述数据处理模块用于处理采集的手语动作和输入的口语语音，并将其转化为输出的口语语音和文本信息；所述摄像头模块用于采集手语动作；所述扬声器模块用于播放口语语音；所述麦克风模块用于接收口语语音。2.根据权利要求1所述的一种基于机器视觉的便携式手语翻译设备，其特征在于：所述数据处理模块为树莓派4B，所述摄像头模块为CSI摄像头，所述扬声器模块为带有语音输入的有线或无线耳机，所述麦克风模块为搭载有LD3320芯片的语音识别模块；所述树莓派4B集成了CSI排线接口和有线耳机连接口，且用Python语言实现核心机器视觉算法。3.根据权利要求2所述的一种基于机器视觉的便携式手语翻译设备，其特征在于：所述设备本体还连接有显示模块，所述显示模块通过电导线与所述数据处理模块和所述电源模块连接，所述数据处理模块还将输入的口语语音转化为显示的文本信息，所述显示模块用于显示文本信息。4.根据权利要求3所述的一种基于机器视觉的便携式手语翻译设备的翻译方法，其特征在于，包括以下步骤：S1、根据机器视觉原理，在所述数据处理模块内构建及其学习管道的Mediapipe框架，以识别所述摄像头模块采集到的手语动作；S2、所述数据处理模块对整个图像进行手掌检测，手部坐标模型通过回归对检测到的手部区域内的多个3D手肘坐标进行精确的关键点定位；S3、将所述摄像头模块采集的图像回传给所述数据处理模块进行计算推演，获取手掌特征信息并标记关键点，与已有的手语动作模型进...

【专利技术属性】
技术研发人员：宾峰，陈伟荷，李文琪，任鹏，蒋琳嫒，袁琦，马家辉，袁浩文，
申请(专利权)人：长沙理工大学，
类型：发明
国别省市：