一种基于深度学习的手写盲文识别方法及系统技术方案

本发明专利技术提出一种基于深度学习的手写盲文识别方法和系统，包括采用已标注盲符区域的盲文图像训练语义分割模型进行像素级分割，得到预训练模型；获取训练用手写盲文图像和待识别手写盲文图像，并将训练用手写盲文图像输入预训练模型，得到初步盲符识别结果并进行标注，基于标注数据对预训练模型进行迁移学习，得到新模型；待识别手写盲文图像通过新模型进行识别，对识别结果进行盲方识别，得到方框级的盲符识别结果，将盲符识别结果通过盲文电子化操作转化为电子盲文；根据通用盲文规则，将电子盲文映射为拼音与标点符号，并利用通用盲文的标调规则和简写规则对拼音进行标调，得到待识别手写盲文图像的手写盲文识别结果和转拼音结果。结果。结果。

【技术实现步骤摘要】
一种基于深度学习的手写盲文识别方法及系统


[0001]本专利技术涉及盲文图像自动识别
，并特别涉及一种基于深度学习的手写盲文识别方法及系统。

技术介绍

[0002]盲文又称为盲字、凸字或点字，是一种供盲人使用的特定文字，由六个点按一定凹凸起伏的规律排列组合而成，靠触觉感知。盲文在盲人的日常生活中占据着重要地位，是他们获取知识、与他人交流不可缺少的工具。每个盲符由0
‑
6个凸点/凹点构成，六点形如一个三行两列的矩阵，盲符中六点的编号为第一列从上到下1、2、3，第二列从上到下4、5、6。盲符结构如附图1所示，每个盲符由0～6个凸点组成，每个盲点可凸出、可不凸出，构成64(26)种盲符(包括空盲符)。
[0003]在特殊教育学校教授盲人教育的老师，除专业教授盲文认读的老师外，多数不懂盲文，如何让不懂盲文的人看懂盲文成为迫切需要解决的技术问题。例如老师批阅盲生的作业和试卷过程十分繁琐耗时，需由专业人士将盲文翻译成拼音或者中文，老师再进行评阅。将手写的纸版盲文扫描为盲文图像，利用计算机算法自动识别盲符、将其转化为电子盲文，并进行盲文到拼音以及汉语或英语等的转化在盲生教育领域具有迫切的现实需求和社会意义。
[0004]目前常用的盲符识别方法主要包括基于传统数字图像处理的方法和基于机器学习的识别方法。图像处理方法主要利用图像灰度阈值或盲点边缘检测等技巧将盲点与背景分离，然后构建盲文网格将盲点转换为识别的盲符。机器学习方法则通过图像特征进行分类学习，来识别盲符。
[0005]现有技术的识别方法采用模板匹配算法来识别盲文，或对纸介盲文进行识别并将盲文转换成电子文本，或通过融合多分类器的检测结果，确定待检测盲文图像内盲文点的位置和类型信息，以实现对盲文的高精度识别，或通过深度学习算法模型翻译出对应的中文内容，在文本纠错单元对盲文中的错别字进一步纠错，达到高精准度文本翻译结果，或对整张盲文图像进行基于语义分割的像素级盲符类别分类，然后利用形态学获取每个盲符的位置及行列信息，或将盲文图像切分为小区域增加训练样本，提升了盲符识别准确率，将盲符转化为电子版盲符与原始的电子盲文内容进行对比。
[0006]但上述现有技术大多针对打印盲文进行识别，盲文排列较为规则。而且多针对单一数据集，缺乏针对手写盲文，数据分布不一致以及具有多样性的盲文进行高精度识别方面的研究，同时缺乏针对盲生手写试卷转为具有多标记信息的拼音的技术。手写盲文识别具有一定的挑战性，特别是针对盲生作业或者试卷，存在盲点扎的轻重不一，以及扎透盲文纸，导致采集到的盲文点图像形态具有多样性。手写盲文也存在着扎错，以及涂改等现象，给盲文识别带来了极大的挑战。同时为了便于老师批改作业，不仅需要将盲文图像中的盲符检测和识别出来，还需要按照当前通用盲文国家标注转化为带调的拼音。由于存在盲生拼音错误，标调错误等现象，以及拼音和标调的歧义等问题，如何识别盲文，并转化为具有
一定标识信息的带调拼音，比如既保留学生本身书写的盲文，又能补充学生省写的声调，以及漏写的声调，和不符合拼音拼读规则的盲符等信息，以方便老师批改作业，现有技术还不能有效解决以上问题。

技术实现思路

[0007]针对现有技术基于机器学习的盲文图像识别的数据集单一、大多针对打印盲文，缺乏针对复杂场景下的手写盲文识别，以及盲文转带标记拼音等问题，提出了一个高效的手写盲文识别和转拼音的方法及系统。本专利技术提出了一种基于语义分割网络及迁移学习的手写盲文识别方法。首先以盲符为目标，利用语义分割网络在整张盲文图像上进行端到端的64类盲符的像素级分割，并通过形态学处理获得盲符区域及盲符行列信息。然后在手写盲文数据集上，利用迁移学习方法快速的将已有模型迁移到新的场景下，再将盲符识别结果转化为电子盲文，最后将其转换成对应的拼音并标调，并标识出不符合拼读规则的拼音，以及省写的标调等信息。识别出不符合拼读规则的拼音，用于协助老师快速定位盲文书写本身的错误，将符合省写规则的省写的声调进行标注有利于老师快速理解手写盲文内容。如果是客观题，比如选择题等有标准答案的，可以直接将盲文识别结果和标准答案进行比对，实现自动判卷，如果是主观题，还需要老师去阅读和判卷。
[0008]本专利技术具体来说提供了一种基于深度学习的手写盲文识别方法，其中包括：
[0009]步骤1、采用已标注盲符区域的标准盲文图像训练语义分割模型进行64类盲符的像素级分割，训练得到预训练模型；
[0010]步骤2、获取训练用手写盲文图像和待识别手写盲文图像，并将该训练用手写盲文图像输入该预训练模型，得到初步盲符识别结果，经过对该初步盲符识别结果进行校对和标注，得到标注数据，基于该标注数据对该预训练模型进行迁移学习，得到新模型；
[0011]步骤3、该待识别手写盲文图像通过该新模型进行识别，对识别结果进行盲方识别，得到方框级的盲符识别结果，将该盲符识别结果通过盲文电子化操作转化为电子盲文；
[0012]步骤4、根据通用盲文规则，将该电子盲文映射为拼音与标点符号，并利用通用盲文的标调规则和简写规则对拼音进行标调，得到该待识别手写盲文图像的手写盲文识别结果。
[0013]所述的基于深度学习的手写盲文识别方法，其中该步骤4包括：根据该标调规则和该简写规则标记出该电子盲文中符合盲文规则的盲文和不符合盲文规则的盲文，将符合盲文规则的盲文和盲文原有的声调采用同一种颜色或字体进行展示，将根据通用盲文的省写规则后加声调用另外一种颜色或字体进行表示，不符合盲文规则的盲文用第三种颜色或字体进行显示。
[0014]所述的基于深度学习的手写盲文识别方法，其中该训练用手写盲文图像和该待识别手写盲文图像具有用于标识盲符方向的符号，通过识别检测该符号，统一每张该训练用手写盲文图像和该待识别手写盲文图像的标识盲符方向，得到方向统一的训练用手写盲文图像和方向统一的待识别手写盲文图像；
[0015]根据所有训练数据和用于迁移学习的手写盲文图像统计颜色分布，对方向统一的待识别手写盲文图像的颜色进行归一化处理，处理后的图像输入该新模型。
[0016]所述的基于深度学习的手写盲文识别方法，其中该步骤1包括将标准盲文图像裁
剪为多个大小一致的区域来进行训练，同时对应的盲符区域也进行相应的裁剪，在训练阶段采用交叉熵损失和Dice损失不断更新网络参数，直到交叉熵损失和Dice损失均收敛，得到该预训练模型。
[0017]所述的基于深度学习的手写盲文识别方法，其中该步骤2包括：经过人工校对和标注，得到该初步盲符识别的盲符标注图，并将该盲符标注图极其对应的该训练用手写盲文图像输入该预训练模型进行迁移学习，得到优化后的该新模型。
[0018]本专利技术还提出了一种基于深度学习的手写盲文识别系统，其中包括：
[0019]初始模块，用于采用已标注盲符区域的标准盲文图像训练语义分割模型进行64类盲符的像素级分割，训练得到预训练模型；
[0020]迁移学习模块，用于获取训练用手写盲文图像和待识别手写盲文图像，并将该训练用手写本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的手写盲文识别方法，其特征在于，包括：步骤1、采用已标注盲符区域的标准盲文图像训练语义分割模型进行64类盲符的像素级分割，训练得到预训练模型；步骤2、获取训练用手写盲文图像和待识别手写盲文图像，并将该训练用手写盲文图像输入该预训练模型，得到初步盲符识别结果，经过对该初步盲符识别结果进行校对和标注，得到标注数据，基于该标注数据对该预训练模型进行迁移学习，得到新模型；步骤3、该待识别手写盲文图像通过该新模型进行识别，对识别结果进行盲方识别，得到方框级的盲符识别结果，将该盲符识别结果通过盲文电子化操作转化为电子盲文；步骤4、根据通用盲文规则，将该电子盲文映射为拼音与标点符号，并利用通用盲文的标调规则和简写规则对拼音进行标调，得到该待识别手写盲文图像的手写盲文识别结果和转拼音结果。2.如权利要求1所述的基于深度学习的手写盲文识别方法，其特征在于，该步骤4包括：根据该标调规则和该简写规则标记出该电子盲文中符合盲文规则的盲文和不符合盲文规则的盲文，将符合盲文规则的盲文和盲文原有的声调采用同一种颜色或字体进行展示，将根据通用盲文的省写规则后加声调用另外一种颜色或字体进行表示，不符合盲文规则的盲文用第三种颜色或字体进行显示。3.如权利要求1所述的基于深度学习的手写盲文识别方法，其特征在于，该训练用手写盲文图像和该待识别手写盲文图像具有用于标识盲符方向的符号，通过识别检测该符号，统一每张该训练用手写盲文图像和该待识别手写盲文图像的标识盲符方向，得到方向统一的训练用手写盲文图像和方向统一的待识别手写盲文图像；根据所有训练数据和用于迁移学习的手写盲文图像统计颜色分布，对方向统一的待识别手写盲文图像的颜色进行归一化处理，处理后的图像输入该新模型。4.如权利要求1所述的基于深度学习的手写盲文识别方法，其特征在于，该步骤1包括将标准盲文图像裁剪为多个大小一致的区域来进行训练，同时对应的盲符区域也进行相应的裁剪，在训练阶段采用交叉熵损失和Dice损失不断更新网络参数，直到交叉熵损失和Dice损失均收敛，得到该预训练模型。5.如权利要求1所述的基于深度学习的手写盲文识别方法，其特征在于，该步骤2包括：经过人工校对和标注，得到该初步盲符识别的盲符标注图，并将该盲符标注图极其对应的该训练用手写盲文图像输入该预训练模型进行迁移学习，得到优化后的该新模型。6.一种基于深度学习的手写盲文识别系统，...

【专利技术属性】
技术研发人员：刘宏，雷欣，王向东，钱跃良，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：