一种基于深度学习的多学科试卷内容检测与识别系统及方法技术方案

本发明专利技术公开了一种基于深度学习的多学科试卷内容检测与识别系统及方法，所述系统包括数据预处理模块、数据粗粒度分类模块、小题细粒度分类模块、字符识别模块，其中：数据预处理模块对由纸质的试卷扫描成的数字图像进行处理；数据粗粒度分类模块使用Faster RCNN算法对输入图像进行试卷的整体结构分析，将图像分为不同类别的小题；小题细粒度分类模块采用Mask RCNN算法对数据粗粒度分类模块分完类的各小题进行内部字符的细粒度分类；字符识别模块将小题细粒度分类模块中的字符根据其类型调用相应的识别API来识别。本发明专利技术对于多学科试卷的复杂版面都有通用性；试卷中印刷体中文的识别率为99％，达到实用程度。

A Multidisciplinary Test Paper Content Detection and Recognition System and Method Based on Deep Learning

【技术实现步骤摘要】
一种基于深度学习的多学科试卷内容检测与识别系统及方法
本专利技术涉及一种数字图像处理、深度学习、光学字符识别(OCR)系统及方法，尤其涉及一种印刷图文的检测与识别系统及方法。
技术介绍
随着社交网络的发展，人们在上面获取的信息主要就是视觉媒介，即视频和照片。由于近几年上传到社交网络上的视觉媒介的数量呈指数级别的增长，每天可达数亿张，故处理越来越多的视觉方面的信息就成为了一个技术上的挑战。图像理解的挑战之一就是从图像中检索文本的信息，表示将包含有各种文本的图像转换为机器编码文本的过程。从各种包含文本的图像中获取文本信息很重要，促进了图像搜索和推荐图像等不同的应用。目前图像的文本检测与识别在图像的快速文档化、车牌的识别、工业流水线等方面的应用日益增多。但是由于图像本身存在的一些背景复杂、光照条件及拍摄时的角度问题，还有图像文本中语言种类的多样、文本的不同尺度等因素，导致了检测与识别时的精度达不到可以直接应用的地步。在识别图像中的字符的过程中，相对于人工来说，计算机在处理这种简单而且重复的工作具有很大的优势。当手动地完成这些任务时，工作人员不可避免地会受到本人情绪和疲劳程度的影响，而计算机本文档来自技高网...

【技术保护点】
1.一种基于深度学习的多学科试卷内容检测与识别系统，其特征在于所述系统包括数据预处理模块、数据粗粒度分类模块、小题细粒度分类模块、字符识别模块，其中：所述数据预处理模块对由纸质的试卷扫描成的数字图像进行处理；所述数据粗粒度分类模块使用Faster RCNN算法对输入图像进行试卷的整体结构分析，将图像分为不同类别的小题；所述小题细粒度分类模块采用Mask RCNN算法对数据粗粒度分类模块分完类的各小题进行内部字符的细粒度分类；所述字符识别模块将小题细粒度分类模块中的字符根据其类型调用相应的识别API来识别。

【技术特征摘要】
1.一种基于深度学习的多学科试卷内容检测与识别系统，其特征在于所述系统包括数据预处理模块、数据粗粒度分类模块、小题细粒度分类模块、字符识别模块，其中：所述数据预处理模块对由纸质的试卷扫描成的数字图像进行处理；所述数据粗粒度分类模块使用FasterRCNN算法对输入图像进行试卷的整体结构分析，将图像分为不同类别的小题；所述小题细粒度分类模块采用MaskRCNN算法对数据粗粒度分类模块分完类的各小题进行内部字符的细粒度分类；所述字符识别模块将小题细粒度分类模块中的字符根据其类型调用相应的识别API来识别。2.一种利用权利要求1所述系统实现基于深度学习的多学科试卷内容检测与识别的方法，其特征在于所述方法包括数据预处理、数据粗粒度分类、小题细粒度分类、字符识别四个步骤，具体步骤如下：第一步、数据预处理(1)采用均值滤波方法去除输入图像中的随机噪声；(2)采用Hough变换方法进行图像的倾斜矫正；第二步、数据粗粒度分类采用FasterRCNN算法对预处理后的数据进行粗粒度分类，即进行各种小题的切分，将小题的类别分为M种类型；第三步、小题细粒度分类对于第二步中所生成的各种类型的小题，采用MaskRCNN算法再针对小题进行细粒度分类，将小题中各种字符分为N种类型；第四步、字符识别由小题的细粒度分类得到了各种类别的字符，然后公式与中文两种字符分别调用相应的模型进行字符识别，其他的字符无需识别。3.根据权利要求2所述的基于深度学习的多学科试卷内容检测与识别方法，其...

【专利技术属性】
技术研发人员：苏统华，杨超杰，王忠杰，涂志莹，徐晓飞，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：黑龙江,23