盲人智能终端交互辅助系统技术方案

本发明专利技术公开了盲人智能终端交互辅助系统，涉及智能终端技术领域，提出了将图形界面分析整理转化成盲文显示的概念，并且能够对较长文本自动摘要。同时系统将盲文显示技术与语音识别、按键输入相结合，为盲人与智能设备间提供了多样化的交互方式，极大地满足了盲人用户在不同场合对智能设备的使用需求。这样智能且综合的交互辅助系统的应用必将对盲人与智能设备的交互方式产生全新的影响。本发明专利技术功能实用，性能稳定，使用灵活，成本为现有盲文点显器价格的1/20，随着智能设备的普及，本设备能够在盲人辅助设备市场产生可观的经济效益。此外本系统基于Android这一开放性平台，不仅针对智能手机，还可应用于平板电脑、导航仪等多种智能设备，适用范围广阔。

【技术实现步骤摘要】
盲人智能终端交互辅助系统
本专利技术涉及智能终端
，特别是涉及盲人智能终端交互辅助系统。
技术介绍
视力残疾俗称“盲"，它涵盖了我们日常生活中所说的盲和低视力两类。据世界卫生组织(WHO)2010年统计，全球2.85亿人视力受损，其中盲人占3900万，低视力者占2.46亿。中国是世界上盲人最多的国家，约有825万盲人，占世界盲人人口数目的21％。人口增长和老龄化加快，眼科专业医护人员缺少，防盲治盲意识缺乏以及医学技术落后，是我国盲人人数不断上升的主要原因。每年我国约有45万人失明，几乎每分钟就会增加一例新的盲人。按照这种发展趋势，预期中国盲人数量到2020年将增加4倍。因此，越来越庞大的盲人群体，需要社会各界更多的关爱和支持。视力残疾者是指由于各种原因使视觉器官或大脑视中枢的构造或功能发生部分或完全病变，导致双眼不同程度的视力损失或视野缩小，视功能难以像一般人一样在从事工作、学习或进行其它活动时应用自如，甚至丧失，他们主要依靠残余视力、听觉和触觉从外界获取信息。目前，国内外对于综合性的盲人智能设备交互辅助系统的研究与设计还处于起步阶段。以盲人使用智能手机为例，绝大部分盲人使用语音或是触摸的交互方式，即安装读屏软件或连接盲文显示器来“阅读”智能手机所显示的信息做出相应的操作，从而实现交互。对于视觉系统受损的盲人，听觉阅读信息量大但时间长容易造成听力下降，易与环境中的声音相互干扰；并且读屏软件对图形界面不友好，对盲人发出的语音指令识别的辨识度要求较高。而市场上的盲文转化与显示设备又存在着价格高、体积大、同步转化速度有限、单位时间内传递信息量小等不足。由于智能设备上的应用软件和网页上信息量大，其中包含着大量广告、图形等冗余信息，不论是读屏软件的语音交互还是盲文显示器的触摸交互方式都只是对智能设备屏幕局部文字或控制信息的完整再现，盲人快速找到并浏览自己感兴趣的内容十分不易。
技术实现思路
本专利技术实施例提供了盲人智能终端交互辅助系统，可以解决现有技术中存在的问题。一种盲人智能终端交互辅助系统，包括移动终端和外部设备，所述移动终端上安装有APP应用程序，该APP应用程序包括UI分析、汉盲转换和语音助手三个模块；所述UI分析模块利用AccessibilityService服务接口对所述移动终端上显示的图形界面进行分析并整理，所述汉盲转换模块将整理后的汉字信息转换为盲文信号然后通过蓝牙设备传输到所述外部设备上，所述语音助手模块调用科大讯飞语音识别引擎进行语音信息的处理；所述外部设备分为电刺激盲文显示和键盘两个模块，所述电刺激盲文显示模块借鉴电子针灸技术，将获取的盲文信号解析并控制每个触点脉冲信号的输出，盲人通过触摸电极产生的电刺激感来识别盲文，所述键盘模块通过选择显示信息、盲文输入和快捷功能控制所述移动终端的显示和输入。优选地，所述UI分析模块将所述移动终端上显示的界面上的所有窗口信息获取，并根据窗口中原有的属性进行分类，生成完整的UI布局数据树，所述UI布局数据树即为多个文本组成的树形结构；对于所述UI布局数据树中字数超过一定数量的文本，所述UI分析模块还使用TextRank算法对长文本进行自动摘要，得到中文摘要文本。优选地，得到文本后，所述汉盲转换模块首先根据汉字字库对文本进行自动分词，得到多个汉语分词，然后根据汉语拼音库将汉语分词转换为对应的汉语拼音，接着根据汉语拼音-盲文拼音库将汉语拼音转换为对应的盲文拼音，最终得到盲文文本，将盲文文本通过蓝牙设备传输至电刺激盲文显示模块予以显示。优选地，在将汉语分词转换为汉语拼音前，所述汉盲转换模块会首先判断分词中的字是否为多音字，如果是多音字，则使用多音字字符库按照多音字识别规则来判断哪个音节最符合该字；如果不是多音字，则直接根据汉语拼音库将每个汉字转换为相应的拼音，把一个分词中每个字的拼音组成拼音组后输出为汉语拼音。优选地，所述语音助手模块先通过移动终端的麦克风接收盲人的语音输入，然后使用科大讯飞语音处理引擎将语音输入转换为对应的文字，接着对文字进行分析，识别其中的关键词，判断识别得到的关键词是否为预设命令，如果是预设命令，则按照命令表执行，如果不是预设命令，则作为字符串输入。本专利技术实施例中的盲人智能终端交互辅助系统，提出了将图形界面分析整理转化成盲文显示的概念，并且能够对较长文字块自动摘要。同时系统将盲文显示技术与语音识别、按键输入相结合，为盲人与智能设备间提供了多样化的交互方式，极大地满足了盲人用户在不同场合对智能设备的使用需求。这样智能且综合的交互辅助系统的应用必将对盲人与智能设备的交互方式产生全新的影响。本专利技术功能实用，性能稳定，使用灵活，成本为现有盲文点显器价格的1/20，随着智能设备的普及，本设备能够在盲人辅助设备市场产生可观的经济效益。此外本系统基于Android这一开放性平台，不仅针对智能手机，还可应用于平板电脑、导航仪等多种智能设备，适用范围广阔。通过功能的拓展，本系统将在实际应用中不断地显现其卓越的性能和巨大的深层开发潜力。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为电刺激盲文显示模块的电极阵列示意图；图2为图1中电极阵列的驱动电路；图3为开关电路示意图；图4为隔离电路示意图；图5为一个盲文的六个点示意图；图6为键盘模块在输入状态下的对照示意图；图7为键盘模块在非输入状态下的对照示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本专利技术提供了盲人智能终端交互辅助系统，包括移动终端和外部设备，所述移动终端优选使用Android终端，其安装有APP应用程序，该APP应用程序包括UI分析、汉盲转换和语音助手三个模块。所述UI分析模块利用AccessibilityService服务接口对移动终端上显示的图形界面进行分析并整理，同时使用TextRank算法对较长文字块自动摘要。所述汉盲转换模块将整理后的汉字信息转换为盲文信号然后通过蓝牙设备传输到所述外部设备上。所述语音助手模块调用科大讯飞语音识别引擎进行语音信息的处理。所述外部设备分为电刺激盲文显示和键盘两个模块。所述电刺激盲文显示模块借鉴电子针灸技术，将获取的盲文信号解析并控制每个触点脉冲信号的输出，盲人通过触摸电极产生的电刺激感来识别盲文。所述键盘模块通过选择显示信息、盲文输入和快捷功能呼出三个功能的组合，帮助盲人更快捷地使用移动终端。所述UI分析模块将所述移动终端上显示的界面上的所有窗口信息获取，并根据窗口中原有的属性进行分类，生成完整的UI布局数据树，所述UI布局数据树即为多个文本组成的树形结构。对于所述UI布局数据树中的较长文本，例如文本字数超过一定数量，为简化盲人的操作，方便盲人使用，所述UI分析模块还使用TextRank算法对长文本进行自本文档来自技高网...

【技术保护点】
一种盲人智能终端交互辅助系统，其特征在于，包括移动终端和外部设备，所述移动终端上安装有APP应用程序，该APP应用程序包括UI分析、汉盲转换和语音助手三个模块；所述UI分析模块利用AccessibilityService服务接口对所述移动终端上显示的图形界面进行分析并整理，所述汉盲转换模块将整理后的汉字信息转换为盲文信号然后通过蓝牙设备传输到所述外部设备上，所述语音助手模块调用科大讯飞语音识别引擎进行语音信息的处理；所述外部设备分为电刺激盲文显示和键盘两个模块，所述电刺激盲文显示模块借鉴电子针灸技术，将获取的盲文信号解析并控制每个触点脉冲信号的输出，盲人通过触摸电极产生的电刺激感来识别盲文，所述键盘模块通过选择显示信息、盲文输入和快捷功能控制所述移动终端的显示和输入。

【技术特征摘要】
1.一种盲人智能终端交互辅助系统，其特征在于，包括移动终端和外部设备，所述移动终端上安装有APP应用程序，该APP应用程序包括UI分析、汉盲转换和语音助手三个模块；所述UI分析模块利用AccessibilityService服务接口对所述移动终端上显示的图形界面进行分析并整理，所述汉盲转换模块将整理后的汉字信息转换为盲文信号然后通过蓝牙设备传输到所述外部设备上，所述语音助手模块调用科大讯飞语音识别引擎进行语音信息的处理；所述外部设备分为电刺激盲文显示和键盘两个模块，所述电刺激盲文显示模块借鉴电子针灸技术，将获取的盲文信号解析并控制每个触点脉冲信号的输出，盲人通过触摸电极产生的电刺激感来识别盲文，所述键盘模块通过选择显示信息、盲文输入和快捷功能控制所述移动终端的显示和输入。2.如权利要求1所述的盲人智能终端交互辅助系统，其特征在于，所述UI分析模块将所述移动终端上显示的界面上的所有窗口信息获取，并根据窗口中原有的属性进行分类，生成完整的UI布局数据树，所述UI布局数据树即为多个文本组成的树形结构；对于所述UI布局数据树中字数超过一定数量的文本，所述UI分析模块还使用TextRank算法对长文本...

【专利技术属性】
技术研发人员：吴家宝，余文韬，王晶，王子彧，许肇源，付家瑄，梁展浩，雍佳慧，魏雨薇，晋宇飞，沈杨，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61