一种手写黑板板书识别方法技术

本发明专利技术公开了一种手写黑板板书识别方法，属于光学字符识别技术领域，包括S1：输入待测的手写黑板板书图像；S2：使用训练好的CTPN检测模型检测并过滤出手写黑板板书图像中的文本信息，以确定文本区域；然后对文本区域进行切割操作，切割出每一行的文本区域；S3：对切割出的文本行区域图像进行预处理操作，包括灰度化、归一化、尺度缩放等操作；S4：将预处理之后的图像集合依次输入训练好的CRNN识别模型中去，进行端到端的文本识别，进而得到图像中的文本行信息；S5：将输出的各个文本行信息进行整合输出，从而输出手写黑板板书的识别结果。本发明专利技术采用CTPN检测算法和CRNN识别算法相结合的模型，能够对手写黑板板书进行无切分的识别，更好地减少了过切分和欠切分带来的误差，提高了识别的准确率和鲁棒性。

A Handwritten Blackboard Character Recognition Method

【技术实现步骤摘要】
一种手写黑板板书识别方法
本专利技术涉及光学字符识别领域，具体涉及一种手写黑板板书识别方法。
技术介绍
现有技术主要是针对背景干净的手写文本识别，对于黑板这种特殊背景的下的文本识别，不仅需要考虑到图像的复杂背景，还要兼顾黑板的反光特点、板书颜色的多样性等等，非常具有挑战性。作为学生听课的学习工具——黑板，是每个课堂上必不可少的。随着人工智能技术的发展，传统的采用人工方式记录黑板板书中的内容，往往既耗时又影响听课效率。因此，如何利用计算机技术，高速、有效、完整地录入板书内容，是当前智能化教育急需解决的问题。手写黑板板书识别属于计算机视觉研究领域，是一种脱机手写体文本识别。而脱机手写体文本识别是目前文字识别领域的难题之一，和联机手写识别相比，缺少必要的字符轨迹坐标信息。手写黑板板书检测技术中，如何从复杂的背景中提取到有效的文本区域是整个手写板书识别过程中的关键。常用的特征提取方法有基于重心、粗网络、投影、笔画穿越密度、文字轮廓等，但是这些提取方法的存在抗干扰能力差的特点，对畸形移位变换不敏感。手写黑板板书识别技术中，对提取出的文本区域进行识别的方法一般是把该区域进行单字分割，进而识别单个字符，但是单字分割过程中会出现过分割和欠分割的现象，导致分割出的字符增多或减少，进而使得后面的文本识别结果不准确；另外，针对单字符的手写汉字识别，由于汉字类别较多以及手写汉字书写的多样性，单字符手写汉字识别的难度也很大。
技术实现思路
本专利技术提供了一种手写黑板板书识别方法，实现了手写黑板板书的自动识别，详见下文描述。一种手写黑板板书识别方法，所述方法采用CTPN检测算法和CRNN识别算法相结合的模型，能够对手写板书进行无切分的识别，较好地减少了过切分以和欠切分带来的误差，实现了手写板书的自动识别，所述方法包括以下步骤。S1：输入待测的手写黑板板书图像。S2：使用训练好的CTPN检测模型检测并过滤出手写黑板板书图像中的文本信息，以确定文本区域，然后对文本区域进行切割操作，切割出每一行的文本区域。S3：对切割出的文本行区域图像进行预处理操作，包括灰度化、归一化、尺度缩放等操作。S4：将预处理之后的图像集合依次输入训练好的CRNN识别模型中去，进行端到端的文本识别，进而得到图像中的文本行信息。S5：将输出的各个文本行信息进行整合输出，从而输出手写黑板板书的识别结果。所述步骤S1的操作过程如下。S11：采用摄像头装置拍摄手写黑板板书图片。S12：将拍摄的图片通过局域网上传到云端接口。所述步骤S2的操作过程如下。S21：通过网上收集的手写黑板板书图片作为训练样本集，利用CTPN检测模型进行训练。S22：通过训练好的CTPN检测模型可以对图片中的文本行区域进行有效定位。S23：判断两个文本区域在竖直方向上的重叠部分所占两个文本区域的总高度的比例是否大于一定阈值来确定两个文本区域是否处于一行。S24：若是，则视为两行，否则视为一行。所述步骤S3的操作过程如下。S31：对输入的RGB图像通过加权平均法进行灰度化操作得到灰度图，计算公式如下：Gray(i，j)＝0.3R(i，j)+0.59G(i，j)+0.11B(i，j)(1)S32：对灰度化之后的图片通过最大最小值归一方法进行归一化操作，计算公式如下：norm＝[xi-min(x)]/[max(x)-min(x)](2)其中，xi表示图像像素点值，mnin(x)，max(x)分别表示图像像素的最大与最小值。S33：采用三次样条插值的方法实现图片大小的缩放但不影响图片的像素特征。所述步骤S4的操作过程如下。S41：使用HIT-MW手写文本行数据集作为训练样本集，利用CRNN识别模型进行训练。S42：通过训练好的CRNN识别模型进行端到端的文本识别。所述的步骤S2中，CTPN检测算法是基于tensorflow框架构造的，其检测过程为。S201：在本专利技术中输入样本图像的大小为512*64*3。S202：在网络结构的设计中，选用VGG16架构作为卷积提取器，输入样本图像，在VGG16架构中经过前5层卷积层的卷积运算得到特征图。特征图的个数，或通道数为512，用C表示。S203：在上一步中得到的特征图上，用大小为3*3的窗口滑动，每滑动一次窗口就会相应的输出一个3*3*C，即3*3*512的卷积特征。S204：将卷积运算得到的特征组合序列作为双向LSTM的输入，在LSTM层当中含有128个隐层，将结果输出，最后后接一个全连接层作为输出层。S205：输出层输出三种结果：2k个text/non-text分数值，表示的是k个检测框的类别信息，判断其是否为字符；2k个垂直坐标值，表示检测框的高度和中心y轴的坐标；k个side-refinemennt，表示的是检测框的水平偏移量，在本专利技术中微分的最小检测框的单位是16像素。S206：得到最终预测的候选文本区域，再通过非极大值抑制的方法将多余的检测框过滤掉。S207：最终采用基于图的文本行构造算法，将每一个文本段合并成文本行。所述的步骤S4中，CRNN识别算法是基于caffe框架构造的，其识别过程为。S401：CRNN识别模型由卷积层、循环层和转录层构成。S402：卷积层由传统卷积神经网络当中的卷积层外加最大池化层构成，其将输入样本图像进行特征序列的自动提取。提取的特征序列中的向量是从特征图上从左到右按照顺序生成的，每个特征向量表示了图像上一定宽度上的特征。S403：循环层由一个双向LSTM循环神经网络构成，其对特征序列中的每个特征向量的标签分布进行预测。S404：转录层是将RNN所做的每个特征向量的预测转换成最终标签序列。S405：本专利技术是由双向LSTM网络的最后连接上一个CTC模型构成，做到端对端的识别。S406：CTC连接在RNN网络的最后一层用于序列学习和训练。对于一段长度为T的序列来说，每个样本点t(t远大于T)在RNN网络的最后一层都会输出一个softmax向量，表示该样本点的预测概率，所有样本点的这些概率传输给CTC模型后，输出最可能的标签，再经过去除空格和去重操作，就可以得到最终的序列标签。本专利技术提供的技术方案的有益效果是：1、采用的CTPN检测模型能够对手写黑板板书进行准确的文本定位，实现了在复杂背景下的文本信息提取，有效解决了文本定位抗干扰能力差的问题；2、采用的CRNN识别模型能够对手写黑板板书进行无切分的识别，较好地减少了过切分以和欠切分带来的误差，实现了端到端的文本识别，提高了识别的准确率和鲁棒性；3、实现了手写黑板板书文本的自动识别，既节约了时间，又提高了学生的听课效率。附图说明图1为本专利技术的方法流程图。图2为待测的手写黑板板书图像示意图。图3为检测文本区域图像的示意图。图4为切割后的文本行区域图像的示意图。图5为预处理后的文本行区域图像的示意图。图6为文本行区域文本识别结果示意图。图7为手写黑板板书文本识别结果的示意图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚，下面对本专利技术实施方式作进一步地详细描述。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。实施例1。本专利技术示例提供了一种手写黑板板书识别方法，参见图1，该方法包括以下步骤。S1：输入待测的手写黑板板书图像。S2：使用训练好的CTPN检本文档来自技高网...

【技术保护点】
1.一种手写黑板板书识别方法，其特征在于，所述方法包括以下步骤：S1：输入待测的手写黑板板书图像；S2：使用训练好的CTPN检测模型检测并过滤出手写黑板板书图像中的文本信息，以确定文本区域，然后对文本区域进行切割操作，切割出每一行的文本区域；S3：对切割出的文本行区域图像进行预处理操作，包括灰度化、归一化、尺度缩放等操作；S4：将预处理之后的图像集合依次输入训练好的CRNN识别模型中去，进行端到端的文本识别，进而得到图像中的文本行信息；S5：将输出的各个文本行信息进行整合输出，从而输出手写黑板板书的识别结果。

【技术特征摘要】
1.一种手写黑板板书识别方法，其特征在于，所述方法包括以下步骤：S1：输入待测的手写黑板板书图像；S2：使用训练好的CTPN检测模型检测并过滤出手写黑板板书图像中的文本信息，以确定文本区域，然后对文本区域进行切割操作，切割出每一行的文本区域；S3：对切割出的文本行区域图像进行预处理操作，包括灰度化、归一化、尺度缩放等操作；S4：将预处理之后的图像集合依次输入训练好的CRNN识别模型中去，进行端到端的文本识别，进而得到图像中的文本行信息；S5：将输出的各个文本行信息进行整合输出，从而输出手写黑板板书的识别结果。2.根据权利要求1所述的一种手写黑板板书识别方法，其特征在于，所述步骤S1的操作过程如下：S11：采用摄像头装置拍摄手写黑板板书图片；S12：将拍摄的图片通过局域网上传到云端接口。3.根据权利要求1所述的一种手写黑板板书识别方法，其特征在于，所述步骤S2的操作过程如下：S21：通过网上收集的手写黑板板书图片作为训练样本集，利用CTPN检测模型进行训...

【专利技术属性】
技术研发人员：刘杰，朱旋，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：黑龙江,23