一种基于BP神经网络的手语翻译方法技术

技术编号:24939846 阅读:61 留言:0更新日期:2020-07-17 21:20
本发明专利技术为一种基于BP神经网络的手语翻译方法,其特征在于:包括以下步骤:1、利用树莓派3B通过可穿戴数据手套采集手势电压信号;2、利用信号筛选程序将每一组手势电压信号对应的手语词语和常用手语句子编制成手语语句库;3、编写包括BP神经网络结构框架模型、数据传输模块和储存模块的神经网络分类程序,BP神经网络结构框架模型采用输入层、输出层以及隐藏层的三层神经网络;4、将每次收到的手势电压信号通过BP神经网络框架模型转换为手语词语;5、将步骤4在一段时间内获得的手语词语转换为手语词语组,将手语词语组与手语语句库进行匹配并联想填充成句输出结果。本发明专利技术结合神经网络及传感技术实现了手语自动实时翻译识别。

【技术实现步骤摘要】
一种基于BP神经网络的手语翻译方法
本专利技术涉及一种手语翻译方法,特别是公开一种基于BP神经网络的手语翻译方法,结合神经网络及传感技术实现手语自动翻译识别。
技术介绍
现在社会聋哑人和正常人交流过程中,由于正常人无法理解手语,使聋哑人和正常人之间存在了隔阂,限制了聋哑人的交际圈,给他们生活与发展空间带来很大的限制。现在市场上存在的聋哑人辅助设备有两种,一种是从上世纪50年代就开始的电子喉,它是通过装在喉节处,感应声带的振动并将之扩大化来帮助发声,但用于发声的材料价格昂贵,一般没有社会工作保障的残疾人根本负担不起。另一种是进几年出现的基于计算机视觉的手语翻译设备,该类设备价格不高,但是对于肢体动作识别技术尚处于起步阶段,同时图像处理对采集环境的要求很严格。而神经网络是一种运算模型,由大量的节点(或称神经元)之间相互联接构成。每个节点代表一种特定的输出函数,称为激活函数(activationfunction)。每两个节点间的连接都代表一个对于通过该连接信号的加权值,称之为权重(weight),神经网络就是通过这种方式来模拟人类的记忆。网络本文档来自技高网...

【技术保护点】
1.一种基于BP神经网络的手语翻译方法,其特征在于所述的手语翻译方法包括如下步骤:/n步骤(1):由树莓派3B单板机通过设于可穿戴数据手套上的柔性传感器以及加速度传感器采集手势电压信号,并将手势电压信号滤波、放大后经其集成的蓝牙模块传输至储存器存储;/n步骤(2):利用信号筛选程序将每一组信号对应的手语词语和常用手语句子编入手语库,制成手语语句库,将多次收集的手势电压信号和对应手语词语以7:3分为训练集和测试集;/n步骤(3):编写建立BP神经网络结构框架模型的程序,程序主要包括神经网络结构框架模型、数据传输模块及储存模块三大模块,通过步骤(2)所述训练集对BP神经网络结构框架模型进行训练,并...

【技术特征摘要】
1.一种基于BP神经网络的手语翻译方法,其特征在于所述的手语翻译方法包括如下步骤:
步骤(1):由树莓派3B单板机通过设于可穿戴数据手套上的柔性传感器以及加速度传感器采集手势电压信号,并将手势电压信号滤波、放大后经其集成的蓝牙模块传输至储存器存储;
步骤(2):利用信号筛选程序将每一组信号对应的手语词语和常用手语句子编入手语库,制成手语语句库,将多次收集的手势电压信号和对应手语词语以7:3分为训练集和测试集;
步骤(3):编写建立BP神经网络结构框架模型的程序,程序主要包括神经网络结构框架模型、数据传输模块及储存模块三大模块,通过步骤(2)所述训练集对BP神经网络结构框架模型进行训练,并将训练好的BP神经网络结构框架模型导入测试集测试,测试结果符合预期后将BP神经网络结构框架模型储存于存储模块,所述的BP神经网络结构框架模型采用输入层、输出层以及隐藏层的三层神经网络;
步骤(4):将每次采集到的手势电压信号通过BP神经网络框架模型转换为手语词语;
步骤(5):将步骤(4)在一段时间内由手势电压信号转换获得的手语词语再转换为手语词语组,将手语词语组与手语语句库进行匹配并联想填充成句输出结果。


2.根据权利要求1所述的一种基于BP神经网络的手语翻译方法,其特征在于:所述步骤(1)中的可穿戴的数据手套上设置的柔性传感器为固定在10根手指部位处的应变片,利用应变片跟随手指的弯曲程度和两块分别固定在左右两手背部位处的三轴加速度传感器的相互位置来表征手势电压信号,所述采集手势电压信号是采集10个手指弯曲信号和6个手势方向信号,共16个信号。


3.根据权利要求1所述的一种基于BP神经网络的手语翻译方法,其特征在于:所述步骤(2)中手语语句库包括手语词语库和手语句子库,手语语句库的制成是将收到的当前16个手势电压信号先记录于Excel中,归一化整理后再保存至Access数据库。
<...

【专利技术属性】
技术研发人员:谢张宁朱惠臣孙晓光吴俊杰李智玮傅云霞雷李华孔明管钰晴刘娜王道档
申请(专利权)人:上海市计量测试技术研究院中国计量大学
类型:发明
国别省市:上海;31

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1