基于智能眼镜的视障辅助阅读学习方法、系统及存储介质技术方案

本发明专利技术公开了一种基于智能眼镜的视障辅助阅读学习方法、系统及存储介质，包括：接收按键启用信号，向阅读显示板发送阅读启动信号；阅读显示板根据阅读启动信号，向终端服务器请求返回指定阅读文本数据并进行显示；对阅读显示板的显示表面进行投射扫描；判断投射扫描框是否完全覆盖阅读显示板对应的边界框标记点；若是，则对当前显示文字进行拍照以获取图片信息，识别提取以得到当前提取文字内容信息与当前提取文字排版信息；判断与终端服务器内对应存储的文字内容信息以及文字排版信息是否吻合；若是，则进行阅读学习。本发明专利技术可直观地将终端服务器内的文字内容，按照模拟书本排版的方式显示在阅读显示板上，方便视障人群进行阅读学习。学习。学习。

【技术实现步骤摘要】
基于智能眼镜的视障辅助阅读学习方法、系统及存储介质


[0001]本专利技术涉及智能眼镜应用
，特别涉及一种基于智能眼镜的视障辅助阅读学习方法、系统及存储介质。

技术介绍

[0002]随着信息技术的日益革新，传统的产品也在朝着功能集成化、执行智能化以及操作便利化的方向发展。例如，眼镜是人们日常非常常见的一个物件，近年来也在发生着以智能眼镜为主导的技术上的变革。
[0003]具体的，智能眼镜，也称智能镜，是指“像智能手机一样，具有独立的操作系统，智能眼镜可以由用户安装软件、游戏等软件服务商提供的程序。智能眼镜可通过语音或动作操控完成添加日程、地图导航、与好友互动、拍摄照片和视频、与朋友展开视频通话等功能，并可以通过移动通讯网络来实现无线网络接入的这样一类眼镜的总称。目前，大部分的智能眼镜大多集中在增强现实技术方面的应用。
[0004]众所周知，盲人或患有视力疾病的群体，普遍存在阅读方面的障碍，无法像普通正常人一样进行阅读学习，这将在很大程度上影响生活质量以及限制自我的提升。基于此，有必要设计出一种具有较好辅助阅读功能的智能眼镜系统，以满足实际应用需求。

技术实现思路

[0005]为此，本专利技术是为了解决现有技术中，现有的盲人或患有视力疾病的群体，普遍存在阅读方面的障碍，无法像普通正常人一样进行阅读学习，这将在很大程度上影响生活质量以及限制自我的提升的问题。
[0006]本专利技术提出一种基于智能眼镜的视障辅助阅读学习方法，应用于智能眼镜，所述智能眼镜与阅读显示板之间交互控制，所述智能眼镜、所述阅读显示板以及终端服务器之间相互存在数据传输，在所述智能眼镜上设有第一摄像头以及第一语音播报器，在所述阅读显示板上设有第二语音播报器，其中，所述方法包括如下步骤：步骤一：当所述智能眼镜接收到一按键启用信号时，向所述阅读显示板发送阅读启动信号，所述阅读启动信号至少包括目标文本位置信息；步骤二：所述阅读显示板根据所述阅读启动信号，向所述终端服务器请求返回指定阅读文本数据，在加载成功后在所述阅读显示板上进行显示；步骤三：所述智能眼镜通过设置的所述第一摄像头，对所述阅读显示板的显示表面进行投射扫描，其中，在进行投射扫描时对应有一投射扫描框；步骤四：判断所述投射扫描框是否完全覆盖所述阅读显示板对应的边界框标记点，其中各所述边界框标记点合围成一显示区域；步骤五：若是，则对所述阅读显示板中的所述显示区域内的当前显示文字进行拍照以获取图片信息，并对所述图片信息中的文字进行识别提取以得到当前提取文字内容信息以及当前提取文字排版信息；
步骤六：判断所述当前提取文字内容信息与终端服务器内对应存储的文字内容信息是否吻合，且所述当前提取文字排版信息与终端服务器内对应存储的文字排版信息是否吻合；步骤七：若均吻合，则通过所述第二语音播报器依序播报所述当前提取文字内容信息中的每个文字。
[0007]本专利技术提出的基于智能眼镜的视障辅助阅读学习方法，在智能眼镜接收到按键启用信号时，向阅读显示板发送阅读启动信号，阅读显示板根据阅读启动信息向终端服务器请求返回指定阅读文本数据，并加载后在阅读显示板上进行显示；然后，通过智能眼镜对阅读显示板上的当前显示文字进行拍照得到图片信息，通过分析提取图片信息中的文字内容信息以及文字排版信息，进而与存储在终端服务器中的文字内容信息以及文字排版信息进行吻合判断，若一致，则通过第二语音播报器对当前提取文字内容信息中的每个文字进行播报学习。本专利技术提出的基于智能眼镜的视障辅助阅读学习方法，可直观地将存储在终端服务器内的文字内容，按照模拟书本排版的方式显示在阅读显示板上，方便视障人群进行阅读学习；此外，由于通过触控交互式学习，可提高阅读学习的效果，增强了实际应用体验。
[0008]所述一种基于智能眼镜的视障辅助阅读学习方法，其中，在所述步骤一中，所述方法包括如下步骤：当所述智能眼镜接收到所述按键启用信号后，所述智能眼镜生成第一语音提示信息并通过所述第一语音播报器进行播报，其中所述第一语音提示信息包括文本章节列表信息；在所述第一语音播报器完成播报后的第一预设时间内，判断是否接收到用户返回的确认阅读信号，所述确认阅读信号中包括所述目标文本位置信息；若是，则根据所接收的所述确认阅读信号，控制所述智能眼镜向所述阅读显示板发送所述阅读启动信号。
[0009]所述一种基于智能眼镜的视障辅助阅读学习方法，其中，所述目标文本位置信息包括书名序号、章节号、目标文本起始位置以及目标文本长度，在所述步骤二中，所述指定阅读文本数据的获取方法包括如下步骤：根据所述目标文本位置信息中的书名序号、章节号、目标文本起始位置以及目标文本长度，在所述终端服务器中查找确定对应的指定阅读文本数据并返回加载至所述阅读显示板中；所述在加载成功后在所述阅读显示板上进行显示的方法包括如下步骤：在所述终端服务器中查找确定对应的指定阅读文本数据，其中所述指定阅读文本数据中包括指定阅读文本排版信息以及指定阅读文本长度；根据所述阅读显示板的单页最大显示文本长度，结合所述指定阅读文本排版信息在获取的所述指定阅读文本数据中截取得到对应长度的文本，并按照所述指定阅读文本排版信息在所述阅读显示板上进行显示。
[0010]所述一种基于智能眼镜的视障辅助阅读学习方法，其中，所述阅读显示板的形状为方形，在所述阅读显示板的内侧设有第一边界框标记点、第二边界框标记点、第三边界框标记点以及第四边界框标记点，所述第一边界框标记点、所述第二边界框标记点、所述第三边界框标记点以及所述第四边界框标记点合围成所述显示区域；
所述显示区域内设有多个同等大小且均匀设置的显示单元块，其中每个所述显示单元块均为可触控设置，每个所述显示单元块内仅显示一个文字；在所述步骤四中，判断所述投射扫描框是否完全覆盖所述阅读显示板对应的边界框标记点的方法包括如下步骤：判断在所述投射扫描框内是否能同时检测到第一边界框标记点、所述第二边界框标记点、所述第三边界框标记点以及所述第四边界框标记点对应的标记信号。
[0011]所述一种基于智能眼镜的视障辅助阅读学习方法，其中，结合所述指定阅读文本排版信息在获取的所述指定阅读文本数据中截取得到对应长度的文本的方法包括如下步骤：对所述指定阅读文本数据中的每个段落进行拆分以得到段落文本数据，其中每个段落文本数据包括段落文本长度、段落起始符以及段落截止符；根据获取到的所述段落起始符，确认在所述阅读显示板中的段落起始位置；根据所述阅读显示板中显示区域的每一行的显示单元块数量，从所述段落起始位置开始，依序将所述段落文本数据按照逐行填充的方式填充到对应的显示单元块中，并累计计数以得到当前段落对应的段落填充文字长度；当判断到所述段落填充文字长度等于所述段落文本长度，则根据获取到的所述段落截止符，完成当前段落的填充显示作业。
[0012]所述一种基于智能眼镜的视障辅助阅读学习方法，其中，所述方法还包括：对所述指定阅读文本数据中的每个段落进行拆分以得到段落文本数据，其中每个段落文本数据包括段落文本长度、段落起始符以及段落截止符；当判断到当前段落对应的段落文本长度小于本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于智能眼镜的视障辅助阅读学习方法，应用于智能眼镜，所述智能眼镜与阅读显示板之间交互控制，所述智能眼镜、所述阅读显示板以及终端服务器之间相互存在数据传输，在所述智能眼镜上设有第一摄像头以及第一语音播报器，在所述阅读显示板上设有第二语音播报器，其特征在于，所述方法包括如下步骤：步骤一：当所述智能眼镜接收到一按键启用信号时，向所述阅读显示板发送阅读启动信号，所述阅读启动信号至少包括目标文本位置信息；步骤二：所述阅读显示板根据所述阅读启动信号，向所述终端服务器请求返回指定阅读文本数据，在加载成功后在所述阅读显示板上进行显示；步骤三：所述智能眼镜通过设置的所述第一摄像头，对所述阅读显示板的显示表面进行投射扫描，其中，在进行投射扫描时对应有一投射扫描框；步骤四：判断所述投射扫描框是否完全覆盖所述阅读显示板对应的边界框标记点，其中各所述边界框标记点合围成一显示区域；步骤五：若是，则对所述阅读显示板中的所述显示区域内的当前显示文字进行拍照以获取图片信息，并对所述图片信息中的文字进行识别提取以得到当前提取文字内容信息以及当前提取文字排版信息；步骤六：判断所述当前提取文字内容信息与终端服务器内对应存储的文字内容信息是否吻合，且所述当前提取文字排版信息与终端服务器内对应存储的文字排版信息是否吻合；步骤七：若均吻合，则通过所述第二语音播报器依序播报所述当前提取文字内容信息中的每个文字。2.根据权利要求1所述的一种基于智能眼镜的视障辅助阅读学习方法，其特征在于，在所述步骤一中，所述方法包括如下步骤：当所述智能眼镜接收到所述按键启用信号后，所述智能眼镜生成第一语音提示信息并通过所述第一语音播报器进行播报，其中所述第一语音提示信息包括文本章节列表信息；在所述第一语音播报器完成播报后的第一预设时间内，判断是否接收到用户返回的确认阅读信号，所述确认阅读信号中包括所述目标文本位置信息；若是，则根据所接收的所述确认阅读信号，控制所述智能眼镜向所述阅读显示板发送所述阅读启动信号。3.根据权利要求1所述的一种基于智能眼镜的视障辅助阅读学习方法，其特征在于，所述目标文本位置信息包括书名序号、章节号、目标文本起始位置以及目标文本长度，在所述步骤二中，所述指定阅读文本数据的获取方法包括如下步骤：根据所述目标文本位置信息中的书名序号、章节号、目标文本起始位置以及目标文本长度，在所述终端服务器中查找确定对应的指定阅读文本数据并返回加载至所述阅读显示板中；所述在加载成功后在所述阅读显示板上进行显示的方法包括如下步骤：在所述终端服务器中查找确定对应的指定阅读文本数据，其中所述指定阅读文本数据中包括指定阅读文本排版信息以及指定阅读文本长度；根据所述阅读显示板的单页最大显示文本长度，结合所述指定阅读文本排版信息在获取的所述指定阅读文本数据中截取得到对应长度的文本，并按照所述指定阅读文本排版信
息在所述阅读显示板上进行显示。4.根据权利要求3所述的一种基于智能眼镜的视障辅助阅读学习方法，其特征在于，所述阅读显示板的形状为方形，在所述阅读显示板的内侧设有第一边界框标记点、第二边界框标记点、第三边界框标记点以及第四边界框标记点，所述第一边界框标记点、所述第二边界框标记点、所述第三边界框标记点以及所述第四边界框标记点合围成所述显示区域；所述显示区域内设有多个同等大小且均匀设置的显示单元块，其中每个所述显示单元块均为可触控设置，每个所述显示单元块内仅显示一个文字；在所述步骤四中，判断所述投射扫描框是否完全覆盖所述阅读显示板对应的边界框标记点的方法包括如下步骤：判断在所述投射扫描框内是否能同时检测到第一边界框标记点、所述第二边界框标记点、所述第三边界框标记点以及所述第四边界框标记点对应的标记信号。5.根据权利要求4所述的一种基于智能眼镜的视障辅助阅读学习方法，其特征在于，结...

【专利技术属性】
技术研发人员：孙立，胡金鑫，刘晖，
申请(专利权)人：江西影创信息产业有限公司，
类型：发明
国别省市：