本发明专利技术涉及盲人阅读技术领域，尤其是一种智慧盲人辅助阅读系统和方法。智慧盲人辅助阅读系统，包括：图像处理模块、摄像头、手势识别模块、文本解析模块、语音模块、盲文显示屏和中央处理模块；中央处理模块分别连接文本解析模块、手势识别模块、语音模块和盲文显示屏；中央处理模块获取文本内容和手势指令，中央处理模块根据手势指令控制语音模块对文本内容进行语音播报，或者控制盲文显示屏对文本内容进行盲文显示。本发明专利技术可通过摄像头实时采集手势图像和阅读物图像，结合手势识别和文本解析，可实现实时手势解读，根据手势指令控制文本语音播报或者盲文显示，使得盲人拜托盲文数据库的限制，实现实时的更自然的盲人阅读。实现实时的更自然的盲人阅读。实现实时的更自然的盲人阅读。
【技术实现步骤摘要】
一种智慧盲人辅助阅读系统和方法
[0001]本专利技术涉及盲人阅读
，尤其是一种智慧盲人辅助阅读系统和方法。
技术介绍
[0002]目前国内外都有大量的可供盲人使用的软件、硬件设备。例如：TTS计算机文字语音转换程序、“BeMyEyes”、盲人手机、盲人平板、微软推出的Seeing AI等等。而帮助盲人进行无障碍阅读的设备研发是当前的一大热门问题并取得了不少的研究成果。另外，在手机平台上也有苹果的VoiceOver文字转换语音系统以及各种各样的读屏平台可供盲人使用。
[0003]但是，市场上现有的盲文点显设备较少，成熟的针对二级布莱叶盲文的编码方法不成熟、且盲文显示器极其昂贵，普通的盲文显示仪的价格在万元以上，同时设备体积往往相对庞大，操作也较为繁琐，因此，仍然难以满足大部分的盲人群体需求。
[0004]同时，对于目前一些设备来说，其功能性也较为单一，多数的设备只能从电子书库中读取相应的书籍，且因为在国内的电子书的正版化和普及较为欠缺，导致电子书的资源比较难找，或者说许多的电子书，特别是比较新的书籍并没有电子版本，同时，大多电子书不是正版，导致不管是错误率还是书籍完整性方面都有所欠缺。另外，完全依靠电子书，也致使盲人难以享受到纸质书的阅读乐趣。
[0005]最后，现有的相关设备与盲人的交互方式大多是采用按键的方式，导致实际操作过程中，如果不熟悉按键的话，仍会给盲人带来不便。
技术实现思路
[0006]为了克服上述现有技术中的盲人阅读系统功能单一、操作不方便的缺陷，本专利技术提出了一种智慧盲人辅助阅读系统和方法，可实现手势控制，可根据用户需求将文本信息实时翻译为盲文或者语音，有利于提高盲人阅读体验。
[0007]本专利技术提出的一种智慧盲人辅助阅读系统，包括：图像处理模块、摄像头、手势识别模块、文本解析模块、语音模块、盲文显示屏和中央处理模块；
[0008]摄像头用于采集图像，包括手势图像和阅读物图像；图像处理模块与摄像头连接，图像处理模块用于对采集图像进行分析，识别手势图像和阅读物图像；手势识别模块与图像处理模块连接，手势识别模块获取手势图像并进行解析，以获取手势指令；文本解析模块连接图像处理模块，文本解析模块获取阅读物图像并解析文本内容；语音模块用于语音播报；
[0009]中央处理模块分别连接文本解析模块、手势识别模块、语音模块和盲文显示屏；中央处理模块获取文本内容和手势指令，中央处理模块根据手势指令控制语音模块对文本内容进行语音播报，或者控制盲文显示屏对文本内容进行盲文显示。
[0010]优选的，中央处理模块采用树莓派主控模块。
[0011]优选的，文本解析模块设有灰度处理单元、二值化单元、边缘检测单元、文档矫正单元、锐化单元以及OCR识别单元；灰度处理单元、二值化单元和边缘检测单元依次连接，文
档矫正单元分别连接二值化单元和边缘检测单元，锐化单元分别连接文档矫正单元和OCR识别单元；
[0012]灰度处理单元用于对阅读物图像进行灰度处理，获取灰度图像；二值化单元将灰度图像转换为二值图像，边缘检测单元检测二值图像的轮廓，文档矫正单元对二值图像的轮廓进行矫正，获取矫正后二值图像；锐化单元对矫正后二值图像进行锐化处理，并将获取的锐化图像输入OCR识别单元进行识别，以获取文本识别结果。
[0013]优选的，锐化单元采用神经网络，锐化单元通过对标注样本进行对抗训练获得。
[0014]优选的，中央处理模块中预设有字符编码规则和盲文索引映射关系；字符编码规则用于将文本字符转换为索引字符，盲文索引映射关系用于定义各索引字符对应的盲文点阵；中央处理模块驱动盲文显示屏对文本内容进行盲文显示时，首先根据字符编码规则将文本内容转换为索引字符，然后驱动盲文显示屏依次显示各索引字符对应的盲文点阵。
[0015]优选的，所述索引字符采用数字，盲文索引映射关系用于标定所以字符和二级布莱叶盲文的对应关系。
[0016]优选的，所述手势识别模块中存储有手势信息和手势指令的映射关系，手势指令包括翻页、盲文显示、音频输出、音量调节和关机，手势指令对应的手势信息为静态手势和/或动态手势。
[0017]优选的，盲文显示屏包括一个或多个字符显示模块；字符显示模块包括面板和多个凹凸部；多个字符显示模块的面板规律排列；面板上设有规律排列的通孔，面板下表面设有与通孔一一对应的约束套筒；凹凸部和通孔一一对应；
[0018]凹凸部包括电动位移机构、延长臂和凸点；各凹凸部的电动位移机构组合排布形成整体，各电动位移机构的输出轴插入对应的约束套筒，约束套筒侧壁上设有导向槽，延长臂设置在电动位移机构的输出轴上，延长臂伸出导向槽；凸点设置在延长臂远离输出轴的一端；电动位移机构伸展状态下，延长臂和凸点向上移动，凸点对应的通孔呈现上凸状态；电动位移机构缩回状态下，延长臂和凸点向下移动，凸点对应的通孔呈现下凹状态。
[0019]优选的，盲文显示屏还包括外壳；字符显示模块的所有电动位移机构形成基座，基座为矩形立体结构，面板为矩形面板，基座在对应的面板上的投影与面板重合；多个字符显示模块均设置在外壳内，所有面板规律排列形成显示平面，基座按照面板排列规律排列形成整体底座。
[0020]优选的，字符显示模块设有六个凹凸部，六个通孔呈2*3矩阵排列；电动位移机构由电磁铁和杆件组成，杆件作为电磁铁的输出轴，杆件随着电磁铁的上电失电而上下运动，延长臂随着杆件的运动而沿着导向槽移动。
[0021]本专利技术提出的一种智慧盲人辅助阅读方法，其特征在于，适用于所述的智慧盲人辅助阅读系统，所述方法包括以下步骤：
[0022]S1、获取手势指令，判断手势指令是否为翻页；是，则获取文本内容，然后返回步骤S1；否，则执行步骤S2；
[0023]S2、判断手势指令是否为音量调节；是，则调节音量，然后返回步骤S1；否，则执行步骤S3；
[0024]S3、判断手势指令是否为音频输出；是，则控制语音播报模块对文本内容进行语音播报，然后返回步骤S1；否，则执行步骤S4；
[0025]S4、判断手势指令是否为盲文显示；是，则根据预设的字符编码规则，将文本内容中的文本字符转换为索引字符，根据预设的盲文索引映射关系，驱动盲文显示屏逐一显示索引字符，然后返回步骤S1；否，则执行步骤S5；
[0026]S5、判断手势指令是否为关机；否，则返回步骤S1；是，则系统关机。
[0027]本专利技术的优点在于：
[0028](1)本专利技术提出的一种智慧盲人辅助阅读系统，可通过摄像头实时采集手势图像和阅读物图像，结合手势识别和文本解析，可实现实时手势解读，根据手势指令控制文本语音播报或者盲文显示，使得盲人拜托盲文数据库的限制，实现实时的更自然的盲人阅读。
[0029](2)本专利技术基于树莓派构建功能模块，保证了系统的稳定和实时计算效率。
[0030](3)本专利技术对阅读物图像通过灰度处理、二值化、边缘检测与矫正进行预处理，预处理后的图像通过神经网络锐化单本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种智慧盲人辅助阅读系统，其特征在于，包括：图像处理模块、摄像头、手势识别模块、文本解析模块、语音模块、盲文显示屏和中央处理模块；摄像头用于采集图像，包括手势图像和阅读物图像；图像处理模块与摄像头连接，图像处理模块用于对采集图像进行分析，识别手势图像和阅读物图像；手势识别模块与图像处理模块连接，手势识别模块获取手势图像并进行解析，以获取手势指令；文本解析模块连接图像处理模块，文本解析模块获取阅读物图像并解析文本内容；语音模块用于语音播报；中央处理模块分别连接文本解析模块、手势识别模块、语音模块和盲文显示屏；中央处理模块获取文本内容和手势指令，中央处理模块根据手势指令控制语音模块对文本内容进行语音播报，或者控制盲文显示屏对文本内容进行盲文显示。2.如权利要求1所述的智慧盲人辅助阅读系统，其特征在于，中央处理模块采用树莓派主控模块。3.如权利要求1所述的智慧盲人辅助阅读系统，其特征在于，文本解析模块设有灰度处理单元、二值化单元、边缘检测单元、文档矫正单元、锐化单元以及OCR识别单元；灰度处理单元、二值化单元和边缘检测单元依次连接，文档矫正单元分别连接二值化单元和边缘检测单元，锐化单元分别连接文档矫正单元和OCR识别单元；灰度处理单元用于对阅读物图像进行灰度处理，获取灰度图像；二值化单元将灰度图像转换为二值图像，边缘检测单元检测二值图像的轮廓，文档矫正单元对二值图像的轮廓进行矫正，获取矫正后二值图像；锐化单元对矫正后二值图像进行锐化处理，并将获取的锐化图像输入OCR识别单元进行识别，以获取文本识别结果。4.如权利要求3所述的智慧盲人辅助阅读系统，其特征在于，锐化单元采用神经网络，锐化单元通过对标注样本进行对抗训练获得。5.如权利要求1所述的智慧盲人辅助阅读系统，其特征在于，中央处理模块中预设有字符编码规则和盲文索引映射关系；字符编码规则用于将文本字符转换为索引字符，盲文索引映射关系用于定义各索引字符对应的盲文点阵；中央处理模块驱动盲文显示屏对文本内容进行盲文显示时，首先根据字符编码规则将文本内容转换为索引字符，然后驱动盲文显示屏依次显示各索引字符对应的盲文点阵；所述索引字符采用数字，盲文索引映射关系用于标定所以字符和二级布莱叶盲文的对应关系。6.如权利要求1所述的智慧盲人辅助阅读系统，其特征在于，所述手势识别模块中存储有手势信息和手势指令的映射关系，手势指令包括翻页、盲文显示、音频输出、音量调节和关机，手势指令对应的手势信息为静态手势和/或动态手势。7.如权利要求1所述的...
【专利技术属性】
技术研发人员：张泰然，李逸飞，屈永辰，罗智豪，魏振春，
申请(专利权)人：合肥工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。