一种基于卷积神经网络的水书手写文字识别方法技术

一种基于卷积神经网络的水书手写文字识别方法，属于文字信息处理技术领域。包括以下步骤：1)进行水书文字数据集准备：将水书影印卷本的原始图片作为样本图片，对样本图片中的文字进行标注，制作数据集；2)进行水书文字数据集增强：为提高模型的鲁棒性，进行图片裁剪以扩增数据量，并加入随机噪声、进行色彩抖动以及PCA抖动对数据进行增强，增加数据样本的多样性，以应对复杂的识别场景；3)实验实施过程：为检验深度学习方法对水书文字识别适用与否，进行实例实验。将深度学习方法运用到水书手写文字的识别上，同时制作了适用于深度学习研究的水书文字数据集，数据集为页面数据集；注重页面图像文字的目标检测。

A method of handwritten character recognition based on convolution neural network

【技术实现步骤摘要】
一种基于卷积神经网络的水书手写文字识别方法
本专利技术属于文字信息处理
，涉及一种非物质文化遗产水书文化，尤其是涉及一种基于卷积神经网络的水书手写文字识别方法。
技术介绍
水族是为数不多的拥有自己文字的少数民族之一，其语言被称为“泐睢”，与古汉字有紧密的历史渊源关系。水书是通过历代水书先生代代相传，内容涵盖了语言文字、天文历法、哲学思想、社会历史、宗教信仰和民族民俗等方面，至今仍在水族人民的社会生产生活中起着重要作用，被称为“活着的象形文字”。2006年，水书习俗经国务院批准列入第一批国家级非物质文化遗产名录。水书先生在水族社会中具有较高的社会地位，通常水书只传给本族男性，且人数极少，不会传给女性和外人。由于高速发展的经济和较滞后的水族民族传统文化保护工作，水书及其文化传统面临着被逐渐边缘化甚至失传的威胁。水书文字有象形字、指事字、会意字和假借字等，因部分文字类似汉字的反写、倒写、改写，外族人称为反书。经近些年水族学者研究，水书文字能够被识读的单字有500余字，含异体字在内则有2000余字。随着贵州大数据工程的建立以及少数民族文化保护的行动，水书于2015年7月19日完成了水书档案资源数据库建设，成果形式主要是将水书图像和水书善本以图片的形式进行保存，但信息化程度不高，对文字识别传承方面的关注还远远不够，需要进一步进行开发利用。近年来，文字的识别技术已相当成熟，特别是印刷体和标准手写体的汉字识别，已经实现了非常高的识别精准率。但是，相较于汉字识别技术，中国的少数民族文字识别明显落后于汉字识别，特别是诸如水族这样的一些小众少数民族的手写文字识别，更是少之又少，不利于少数民族文化遗产的传承。对水书古籍手写文字进行识别较英文、汉文识别的难度更大，主要表现在数据集的制作及数量上。首先，水族人口基数极少，加之水书只掌握在水族群众中的极个别水书先生手中，数量更是少之又少，所以水书资料珍贵难得，数据样本收集难度大。此外，水书文字字形结构复杂迥异，书写排列方式欠整齐、规律，致使字符分割更为困难。目前被专家破解识读的水书文字仅为一些常用字，水书数据样本中必然存在一些无法识读的文字难以标记，成为模型训练的盲区。水书古籍文字异形同意的异体字太多，会提高错识的可能性，增加识别的难度导致难以取得较高的识别率。夏春磊(夏春磊.基于深度学习的水书图像识别算法研究与应用.中央民族大学.2019硕士论文)研究了一个用于水书识别的卷积神经网络模型,并通过一种基于种群进化的超参数优化算法进行训练，实现水书文字识别任务。具体工作如下：1.提出一种基于种群进化的超参数优化算法。结合网格搜索与人工调试的优点，从进化算法中获得启发，提出一种基于种群进化的超参数优化算法,其主要思想是个体进化,种群选择,异步并行迭代训练以达到种群进化的结果。2.设计一个应用于水书识别的卷积神经网络模型。设计一个11层卷积网络结构，并采用提出的基于种群进化的超参数优化算法进行训练,在水书数据集数据量较多的标注集上进行训练验证,证实了模型设计的有效性。3.建立一个水书古籍文字数据集,为深度学习的研究提供了实验数据。水书文字识别的研究可以作为少数民族语言保护和文字识别的一个经验案例，为文字学和深度学习工作者进行深入研究作参考。但该文献采用的数据集数据量少且主要为单字数据集，注重的是单字分类，单字训练的只能识别单字，无法检测识别出页面图片上的小目标文字。
技术实现思路
本专利技术的目的在于针对非物质文化遗产水书的识读传承问题，提供一种基于卷积神经网络的水书手写文字识别方法。本专利技术将深度学习方法中的卷积神经网络运用到水书文字的识别上，同时制作了首个适用于深度学习研究的水书文字数据集，通过实验取得了较好的识别效果，证明此法可作为水书文化传承的新方法。本专利技术包括以下步骤：1)进行水书文字数据集准备：将水书影印卷本的原始图片作为样本图片，对样本图片中的文字进行标注，制作数据集；2)进行水书文字数据集增强：为提高模型的鲁棒性，进行图片裁剪以扩增数据量，并加入随机噪声、进行色彩抖动以及PCA(PrincipalComponentAnalysis)抖动对数据进行增强，增加数据样本的多样性，以应对复杂的识别场景；3)实验实施过程：为检验深度学习方法对水书文字识别适用与否，进行实例实验。在步骤1)中，所述水书影印卷本可采用《九星卷》、《九喷卷》、《阴阳五行卷》、《寅申卷》、《八探卷》、《正七卷》等。在步骤2)中，所述进行图片裁剪可将图片裁剪为1207×1803大小，以提高模型训练速度，同时扩大数据集中的图片数量，提高模型的鲁棒性；所述加入随机噪声可以为高斯噪声、泊松噪声、椒盐噪声等；所述色彩抖动是对图像的饱和度、亮度、对比度以及锐度进行变换；所述PCA抖动即主成分分析法，在原有n维特征的基础上重新构造出全新的正交k维特征，以便获取到图像的重要特征信息。在步骤3)中，所述实例实验的常用模型有LiuW等人设计的SSD模型(LiuW,AnguelovD,ErhanD,etal.Ssd:Singleshotmultiboxdetector[C]//Europeanconferenceoncomputervision.Springer,Cham,2016:21-37)；RedmonJ等人设计的YOLO模型(RedmonJ,DivvalaS,GirshickR,etal.Youonlylookonce:Unified,real-timeobjectdetection[C]//ProceedingsoftheIEEEconferenceoncomputervisionandpatternrecognition.2016:779-788.)；GirshickR设计的FasterR-CNN模型(GirshickR.FastR-CNN[C]//ProceedingsoftheIEEEinternationalconferenceoncomputervision.IEEE,2015:1440-1448.)。实验可采用的硬件平台为IntelCorei7-8700K3.7GHz的CPU，NVIDIAGeForceGTX1080Ti11G的GPU，内存为32G。软件平台的操作系统为Ubuntu18.04，深度学习工具采用TensorFlow、Pytorch，编程语言为Python。与现有技术相比，本专利技术的有益效果在于：文字识别属于深度学习中的目标检测一类，本专利技术数据集为页面数据集；注重页面图像文字的目标检测，现有单字训练的只能识别单字，无法检测识别出页面图片上的小目标文字。本专利技术提供了非物质文化遗产水书文化传承的新方法，将深度学习方法运用到水书手写文字的识别上，同时制作了适用于深度学习研究的水书文字数据集，通过实验取得了较好的识别效果，相比于仅仅扫描资料的保存更加智能便捷，让机器代替人脑对水书古籍文字进行识别，避免了水书先生人数逐年减少，水书文字无人能识的处境。附图说明图1为本专利技术实施例采用的模型结构图；图2为本发本文档来自技高网...

【技术保护点】
1.一种基于卷积神经网络的水书手写文字识别方法，其特征在于包括以下步骤：/n1)进行水书文字数据集准备：将水书影印卷本的原始图片作为样本图片，对样本图片中的文字进行标注，制作数据集；/n2)进行水书文字数据集增强：为提高模型的鲁棒性，进行图片裁剪以扩增数据量，并加入随机噪声、进行色彩抖动以及PCA抖动对数据进行增强，增加数据样本的多样性，以应对复杂的识别场景；/n3)实验实施过程：为检验深度学习方法对水书文字识别适用与否，进行实例实验。/n

【技术特征摘要】
1.一种基于卷积神经网络的水书手写文字识别方法，其特征在于包括以下步骤：
1)进行水书文字数据集准备：将水书影印卷本的原始图片作为样本图片，对样本图片中的文字进行标注，制作数据集；
2)进行水书文字数据集增强：为提高模型的鲁棒性，进行图片裁剪以扩增数据量，并加入随机噪声、进行色彩抖动以及PCA抖动对数据进行增强，增加数据样本的多样性，以应对复杂的识别场景；
3)实验实施过程：为检验深度学习方法对水书文字识别适用与否，进行实例实验。


2.如权利要求1所述一种基于卷积神经网络的水书手写文字识别方法，其特征在于在步骤1)中，所述水书影印卷本采用《九星卷》、《九喷卷》、《阴阳五行卷》、《寅申卷》、《八探卷》、《正七卷》。


3.如权利要求1所述一种基于卷积神经网络的水书手写文字识别方法，其特征在于在步骤2)中，所述进行图片裁剪是将图片裁剪为1207×1803大小，以提高模型训练速度，同时扩大数据集中的图片数量，提高模型的鲁棒性。


4.如权利要求1所述一种基于卷积神经网络的水书手写文字识别方法，其特征在于在步骤2)中，所述加入随机噪声为高斯噪声、泊松噪声、椒盐噪声中的至少一种。

...

【专利技术属性】
技术研发人员：汤敏丽，刘向荣，谢少灵，
申请(专利权)人：厦门大学，
类型：发明
国别省市：福建;35