一种盲人触觉学习系统及其方法技术方案

本发明专利技术公开了一种盲人触觉学习系统及其方法，具体如下：该盲人触觉学习系统及其方法，通过语音识别模块的输出端与振动控制模块的输入端连接，振动控制模块的输出端与振动实现模块输入端连接，接口转换模块的输出端与振动控制模块输入端连接，接口转换模块的输入端与上位机系统连接，采用语音识别技术和声音触觉转换技术结合的盲人触觉学习系统，只需要使用者给与系统响应的语音词，系统可以将识别到的信息通过振动电机方阵的升降将信息表达出来，供盲人学习使用，能够极大降低学习难度、学习成本，提高学习效率，还减少了外出学习的风险。还减少了外出学习的风险。还减少了外出学习的风险。

【技术实现步骤摘要】
一种盲人触觉学习系统及其方法


[0001]本专利技术涉及触觉学习研究
，具体为一种盲人触觉学习系统及其方法。

技术介绍

[0002]根据最新世界卫生组织统计数据显示，目前世界上有2.85亿视障患者，其中约有4000万人处于完全丧失视觉功能。对于患有视觉功能障碍者，学习、工作和生活中都有着大大小小的不便之处，这些都严重影响了正常的生活质量。
[0003]普通人获取知识的方式是通过阅读和聆听，但盲人在视觉上的缺陷导致无法通过阅读的方式来进行学习工作，这给他们的生活带来了极大的不便。为了解决这种问题，目前有依靠学习盲文书来进行文化知识的学习，但这种学习方式效率较低，花费时间成本较大，往往会引发盲人投入大量的精力来进行相关学习却获得微量的学习成果等问题。

技术实现思路

[0004]针对现有技术中存在的不足，本专利技术提供了一种通过语音识别将语音信息转换为触觉信息帮助盲人感知学习的方法和思路；本专利技术提高了视障患者的学习效率，同时也降低了视障患者学习和感知新事物的障碍和成本。
[0005]技术方案：为实现以上目的，本专利技术通过以下技术方案予以实现：一种盲人触觉学习系统，包括振动控制模块、振动实现模块、语音识别模块、接口转换模块和上位机系统，所述语音识别模块的输出端与振动控制模块的输入端连接，所述振动控制模块的输出端与振动实现模块输入端连接，所述接口转换模块的输出端与振动控制模块输入端连接，所述接口转换模块的输入端与上位机系统连接。
[0006]优选的，所述语音识别模块为LD3320&STC11L08XE芯片、5V
‑
3.3V电源转换模块，语音识别算法为基于参数模型的隐马尔可夫模型的方法，隐马尔可夫模型λ可用三元符号表示，即λ＝(A，B，π)，设C＝{c1，c2，
…
，c
N
}，D＝{d1，d2，
…
，d
M
}，I＝{i1，i2，
…
，i
T
}，F＝{f1，f2，
…
，f
T
}，其中C是所有可能的状态集合，D是所有可能观测的集合，I是长度为T的状态序列，F为对应的观测序列。在C的合集中取任意某时刻的状态，命名为隐藏状态i
t
，在D的集合中取任意某时刻的状态，命名为观察状态f
t
。其中A为观察概率矩阵，形式如下：
[0007]a
ij
＝P(i
t+1
＝c
j
|i
t
＝c
i
)，i＝1，2，
…
，N；j＝1，2，
…
，N
[0008]A＝[a
ij
]N
×
N
[0009]式中，c
i
‑
t时刻的隐藏状态；c
j
‑
t+1时刻的隐藏状态。
[0010]其中B为观测概率矩阵，形式如下：
[0011]b
jh
＝P(f
t
＝d
h
|i
t
＝c
j
)，h＝1，2，
…
，N；j＝1，2，
…
，N
[0012]B＝[b
j
(h)]N
×
N
[0013]式中，c
j
‑
t时刻的隐藏状态；d
h
‑
c
j
对应的观察状态。
[0014]其中π是初始状态概率向量，表示在t＝1时处于状态q
i
的概率，形式如下：
[0015]π＝[π(i)]N
[0016]π(i)＝P(i1＝ci)，i＝1，2，
…
，N
[0017]根据状态转移概率矩阵的不同采用从左向右型HMM，即在状态转移过程中，当前状态只能向后面的时刻状态转移，或者停留在原始状态。该结构的状态转移概率矩阵A表达式如下：
[0018][0019]该结构可以清晰地反映语音时序的转移，适合大容量语音识别模型的建立。
[0020]同时语音识别模块内部的5V
‑
3.3V电源转换模块采用AMS1117
‑
3.3芯片，负责将输入的5V电压通过1N4148二极管及滤波电容作用后，输出稳定的3.3V电压，供语音识别模块芯片使用。
[0021]语音识别模块的软件实现中将编译好的程序文件导入串口调试助手中，设置好对应的单片机型号、串口号，进行烧录工作。完成后使用者对着咪头说出关键词，经过语音识别模块的识别后即可在串口调试助手界面出现关键词对应的语音识别序号，
[0022]优选的，所述振动控制模块为STM32F407VET6芯片、5V
‑
3.3V电源转换芯片、5V
‑
1.8V电源转换芯片。
[0023]振动控制模块负责对接收数据处理和操作，前端语音识别模块识别声音处理的结果，需要MCU进行接收并转换为数字信号输出给到后端的7
×
7振动马达阵列。从软件方面将MCU复用GPIO通过寄存器调用出来，以达到控制马达的需求，GPIO的复用功能由AFRL及AFRL两个寄存器来设定。软件实现过程中用来进行GPIO复用的Pin脚如下表所示。
[0024]PE2PE3PE4PE5PE6PC13PC0PC1PC2PC3PA0PA1PA2PA3PA4PA5PA6PA7PC4PC5PB0PB1PE7PE8PE9PE10PE11PE12PE13PE14PE15PB10PB11PB12PB13PB14PD0PD1PD2PD3PD4PD5PD6PD7PB3PB5PB6PB7PB8
[0025]复用时首先使能GPIO时钟，再进行普通输出模式、推挽输出、频率设定等端口配置，然后进行拉高输出以便后续控制振动实现模块的电机进行起振。选定定时器TIME4来控制每个GPIO口都可以输出可调节的PWM Singal，定时器TIME4设定中时间设定为0.5ms，周期为5ms。设定PWM输出为上表中选中的Pin脚，最后使能PWM控制器，即可起到通过改变PWM方波信号频率来起到控制马达振动频率的作用。
[0026]同时振动控制模块内部的5V
‑
3.3V电源转换芯片采用AMS1117
‑
3.3芯片，负责将5V电压从VCC端输入，并通过滤波电容作用转换为稳定的3.3V电压，继而从OUT端输出。用来供给STM32芯片的电源电压、模拟电路电源输入及RTC电池电源输入。
[0027]同时振动控制模块内部的5V
‑
1.8V电源转换芯片采用BAT54C芯片，用来为时钟电源提供备用电源使用。
[0028]优选的，所述振动实现模块为7*7振动电机板，所述接口转换模块为CH340T转接芯片，所述上位机系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种盲人触觉学习系统，其特征在于，包括振动控制模块、振动实现模块、语音识别模块、接口转换模块和上位机系统；所述语音识别模块的输出端与上位机系统连接，所述接口转换模块的输入端与上位机系统连接，所述接口转换模块的输出端与振动控制模块输入端连接，所述振动控制模块的输出端与振动实现模块的输入端连接；所述语音识别模块用于接收语音输入，并发送给上位机，上位机自动识别语音词，以振动控制模块可以识别的信号将其发送给振动控制模块；振动控制模块再将此信号转换为振动实现模块可以识别的指令信号发送给振动实现模块，以启动振动实现模块中的电机工作，电机按照指令信号进行起振或静置，所述电机起振时形成电机方阵，该方阵能够表示出语音词的形状轮廓，盲人通过触摸电机方阵，感知语音词具体的表现形状。2.根据权利要求1所述的一种盲人触觉学习系统，其特征在于，所述语音识别模块采用LD3320&STC11L08
×
E芯片、5V
‑
3.3V电源转换模块。3.根据权利要求2所述的一种盲人触觉学习系统，其特征在于，语音识别模块的内置算法为基于参数模型的隐马尔可夫模型的方法，隐马尔可夫模型λ用三元符号表示，即λ＝(A，B，π)，设C＝{c1，c2，
…
，c
N
}，D＝{d1，d2，
…
，d
M
}，I＝{i1，i2，
…
，i
T
}，F＝{f1，f2，
…
，f
T
}，任意一个隐藏状态i
t
∈C对应任意一个观察状态f
t
∈D，其中A为观察概率矩阵，形式如下：a
ij
＝P(i
t+1
＝c
j
|i
t
＝c
i
)，i＝1，2，
…
，
N
；j＝1，2，
…
，NA＝[a
ij
]
N
×
N
式中，c
i
‑
t时刻的隐藏状态；c
j
‑
t+1时刻的隐藏状态；其中B为观测概率矩阵，形式如下：b
jh
＝P(f
t
＝d
h
|i
t
＝c
j
)，h＝1，2，
…
，N；j＝1，2，
…
，NB＝[b
j
(h)]
N
×
N
式中，c
j
‑
t时刻的隐藏状态；d
h
‑
c
j
对应的观察状态；其中π是初始状态概率向量，表示在t＝1时处于状态q
i
的概率，形式如下：π＝[π(i)]
N
π(i)＝P(i1＝c
i
)，i＝1，2，
…
，N根据状态转移概率矩阵的不同采用从左向右型HMM，即在状态转移过程中，当前状态只能向后面的时刻状态转移，或者停留在原始状态，该结构的状态转移概率矩阵A表达式如下：4.根据权利要求2所述的一种盲人触觉学习系统，其特征在于，语音识别模块内部的5V
‑
3.3V电源转换模块采用AMS1117
‑
3.3芯片，负责...

【专利技术属性】
技术研发人员：潘公宇，薛磊，
申请(专利权)人：江苏大学，
类型：发明
国别省市：