盲人用的汉语智能计算机系统技术方案

本发明专利技术属于模式识别和人工智能技术领域。主要由能够上网的个人计算机主机，与该主机各接口相连的麦克风、音箱或耳机、扫描仪、盲人用点显器、打印机组成的硬件及设置在所说主机及相关硬件中的软件模块构成。本发明专利技术使盲人在使用计算机时充分发挥听、说、摸能力，有选择性地更自然、更方便地操作计算机。使得交互过程更加人性化、智能化。给盲人文档处理，与正常人交流，盲校教师教学提供了工具。（*该技术在2021年保护过期，可自由使用*）

【技术实现步骤摘要】
【国外来华专利技术】
本专利技术属于模式识别和人工智能
特别涉及中国盲人使用的智能计算机系统设计。盲人使用盲文(摸读的点字符号)进行文化学习与信息交流。在一些发达国家中，已经研究出较好的盲人用计算机及其操作平台。英国已研制出盲人用的计算机，其键盘各键是由大小、形状、纹理不一，每键均带有发声机制的多媒体信息交互功能。微软(Microsoft)表示，计划与纽西兰视觉障碍技术厂商Pause Data International合作，开发出可供盲人及视觉障碍者使用的电子书阅读机。台湾、香港等地也有相应的盲文计算机(主要是有盲人点显器)投入市场。价格都很高，一个点显器要4000～5000美元，是一般中国盲人负担不起的。在中国，近年来，为了使盲人能够使用计算机及能够阅读普通文本也作了一些局部的工作，如中国盲文书社在中国残疾人联合会和中国盲人协会的资助支持下，研制出盲文分词连写系统；北京图书馆在Dos操作系统下研究过盲人阅读机，是将印刷体普通汉字文本通过扫描输入计算机进行识别，再将识别的汉字转换成声音由计算机输出；使盲人能够听到普通文本；清华大学自动化系研究过盲人用键盘输入法，用声音帮助选字，及在Dos下的汉字盲文转换。此外，明眼人的汉字识别、语音识别、语音合成技术已经达到实用或接近实用的水平。但是，目前国际上还没有盲人用的汉语智能计算机系统。本专利技术的目的在于克服上述技术的不足，提出了一种盲人用的汉语智能计算机系统，使盲人在使用计算机时充分发挥听、说、摸能力，有选择性地更自然、更方便地操作计算机。与传统的人机信息交互手段相比，该系统采用了多模式的交互方式。用户既可以使用键盘、盲人点显器、显示器等传统的交互方式，也可以同时采用语音以及OCR等新的交互技术。使得交互过程更加人性化、智能化。给盲人文档处理，与正常人交流，盲校教师教学提供了工具。本专利技术的盲人用的汉语智能计算机系统由硬件及软件模块构成，如附图说明图1所示；该系统所需硬件主要为计算机主机，其中包括显示器、键盘、声卡、网卡或调制解调器等，普通的能够上网的个人计算机。与该主机各接口相连的麦克风、音箱或耳机、扫描仪(普通平板式的或盲人专用的)、盲人用点显器、打印机(盲人打印机或通用汉字打印机)；该系统软件设置在所说主机及相关硬件中。其中主要有OCR模块、盲人键盘输入及编辑模块、语音输入模块，构成三种输入通道；由点显器输出模块、打印机输出模块、语音合成输出模块，构成的三种输出通道；以及连接于所说的各输入通道和输出通道之间的汉盲转换器模块、综合知识库模块、输入接口模块、自然语音识别理解模块、自然语言产生器模块、语音合成器模块、推理系统模块、控制接口模块。本专利技术中各模块的功能及实现方法说明如下OCR模块采用已有技术。既可以将明眼人的印刷在纸张上的汉字文本、或刻在纸张上的盲文点字文本通过光学扫描仪送入计算机，进行自动处理，包括对印刷体汉字、手写体汉字、盲文点字的自动识别，将图像文件转换成为电子文本，为阅读(朗读)、编辑等处理提供必要条件。语音输入对着话筒讲话，将语音信息(控制命令等)送入计算机，采用已有技术。点显器输出模块将计算机显示的汉字或盲文点字转化成为标准盲文ASCII码，输出到盲人用的点显器，使盲人可以通过摸读，理解计算机正在显示的内容，达到使用计算机并其与交互的目的。表一盲文ASCII码与盲文点字码的对照表(盲文代码是由左右两排各三个点，从左排自上而下为1、2、3点，从右排自上而下为4、5、6点，统称为点位，盲文代码的二进制值是从左到右依次为1-6点位) 打印机输出模块将计算机待输出的内容输出到盲人打印机或通用汉字打印机，采用已有技术。语音合成模块、音频输出模块将语句、短语、词或音节变成声音波形，由喇叭或耳机发出声音。采用已有技术。汉盲转换模块包括汉语盲文到汉字的自动转换和汉字到汉语盲文的自动转换。其中，汉语盲文到汉字的自动转换的实现方法是将盲文书籍扫描后识别盲文，或用键盘将盲文输入后，将盲文通过拼音的概念转换为汉字；所说的拼音与汉字转换的每一个环节，利用汉语盲文综合知识库，在带转移概率权重的拼音到汉字转换搜索图上采用viterbi搜索方法得到N个有序最佳结果，来实现由盲文到汉字的自动转换。所说的汉语盲文综合知识库包括电子字典、规则库和统计信息库(由统计大规模真实语料得到的邻接词同现概率库)。上述汉语盲文到汉字的自动转换方法，包括以下具体步骤1)读入未转换文本头部的全部连续非盲文点字符号；2)当前的输入点字符号是否表示非汉字意义，若表示汉字，转步骤4；若表示非汉字，在viterbi搜索图中搜索N-best路径并选择最好路径，得到转换结果，并将开始读入的非盲文点字符号插入到对应位置；3)记录本句的转换结果，记录表示非汉字意义的输入点字符号的转换结果，清空viterbi搜索图，转入步骤5；4)查找当前输入的点字符号能够匹配的所有汉字词候选，并在viterbi搜索图中构造相应结点。5)判断是否全部转换完毕？若是，输出转换后汉字结果；若不是，转步骤1。汉字到汉语盲文的自动转换的实现方法是首先根据汉语盲文分词连写规则对汉字文本作盲文分词连写，然后将词转换成盲文；所说的分词，是把一个一个的词分开来写；所说的连写，是根据盲文的特点，按汉语语法、语音的逻辑性和习惯、音节长短适度的原则将一些词连起来写，以避免音节结构过于分散，便于模读。上述汉字到汉语盲文的自动转换方法具体可包括以下步骤1)首先对非汉语符号进行预切分处理，读入一段连续的汉字串，分别用MM法和RMM法，根据词表进行分词；2)比较MM和RMM分词结果是否相同，相同，记录分词结果，转入步骤1；3)当MM和RMM分词结果不相同时，构造歧义字段的歧义树，搜索最优分词结果，记录分词结果，转入步骤1；判断文本分词是否完毕？若是，按照盲文分词连写规则对分词结果进行修改，生成分词结果对应的盲文点字。综合知识库模块是汉盲互译时所需的各种知识库，包括(1)盲文电子词典包括汉字(6万词)到盲文的电子词典、盲文(6万词)到汉字的电子词典、汉语分词词典等。(2)规则库包括汉语盲文分词连写规则、词法规则、短语规则、句法规则等。(3)统计信息库为了反映汉语上下文关系，用数亿字真实语料统计得到的汉语相邻词同现概率库、词类间连接依存关系统计知识等。盲人普通键盘输入接口模块盲人用普通计算机键盘通过盲人汉字输入法和盲文输入法输入汉字或盲文点字。采用已有技术。语音识别模块有两种方式(1)非特定人、连续语音识别，是已有技术。(2)关键词语音识别将输入语音流中的关键词识别出来，便于说话人语义理解。用于判别盲人发出的各种说法的计算机命令。是已有技术。自然语言产生模块根据控制交互的内容，如需要语音提示或询问的时候，产生带有语调的、盲人易听懂的汉语语句。目前采用的是根据内容选择事先录好的语音，进行播放。控制模块是以上几种输入、输出通道之间的总控制。对话管理层是系统的核心部分，它根据一定的对话策略，对整个会话过程进行组织，负责各个模块之间的通讯，根据相应的决策准则做出系统的反应，以使得人机交互在预期效果下正常进行。控制模块由状态分析器，对话管理器和状态堆栈组成。状态堆栈中存储的状态包括系统状态和对话状态。系统状态用一定的数据结构，描述当前应用程序模块启动和运行本文档来自技高网...

【技术保护点】
一种盲人用的汉语智能计算机系统，由硬件及软件模块构成，其特征在于，所说的硬件主要由显示器、键盘、声卡、网卡或调制解调器，普通的能够上网的个人计算机组成的主机，与该主机各接口相连的麦克风、音箱或耳机、扫描仪、盲人用点显器、打印机；所说的软件模块包括：ＯＣＲ模块、盲人键盘输入及编辑模块、语音输入模块，构成三种输入通道；由点显器输出模块、打印机输出模块、语音合成输出模块，构成的三种输出通道；以及连接于所说的各输入通道和输出通道之间的汉盲转换器模块、综合知识库模块、输入接口模块、自然语音识别理解模块、自然语言产生器模块、语音合成器模块、推理系统模块、控制接口模块；该全部软件模块设置在所说主机及相关硬件中。

【技术特征摘要】
【国外来华专利技术】

【专利技术属性】
技术研发人员：朱小燕，郝宇，马少平，姜哲，金奕江，夏莹，黄民烈，张显，宝塔，
申请(专利权)人：清华大学，
类型：发明
国别省市：11[中国|北京]