基于深度学习的答题卡识别方法及系统技术方案

本发明专利技术提出了一种基于深度学习的答题卡识别方法及系统，包括：获取答题卡图像信息，进行预处理；利用深度学习模型进行关键点检测，抠出准考证区域及答题区域；查询是否存在对应答题卡的json文件；若存在，根据json文件存储的答题卡图像信息，检测所述准考证区域及答题区域中的图像内容，利用深度学习图像分类网络对图像内容进行填涂与非填涂的分类，得到识别结果；若不存在或根据json文件检测发生异常时，利用目标检网络YOLOv4进行文本检测，根据文本检测结果，利用深度学习OCR模型识别答题区域的题号内容，利用深度学习图像分类网络对准考证区域及答题区域进行填涂与非填涂的分类，得到识别结果；整理输出答题卡识别结果。整理输出答题卡识别结果。整理输出答题卡识别结果。

【技术实现步骤摘要】
基于深度学习的答题卡识别方法及系统


[0001]本专利技术涉及深度学习
，尤指一种基于深度学习的答题卡识别方法及系统。

技术介绍

[0002]随着计算机技术和人工智能技术的高速发展，网络阅卷由于其贴近互联网发展趋势，且能够有效地降低考试的成本，提高教学质量，得到了越来越广泛地应用。其中，答题卡识别技术是网络阅卷中长期以来的技术难点，传统识别方式一般通过光标阅读机的方式，采用红外线读卡器，设备采用的原理比较精密和复杂，非常依赖设备，一定程度上限制了传播和发展。
[0003]最近几年，随着深度学习、机器视觉算法的不断发展，以及其灵活易部署的优点，得到了越来越广泛地应用。虽然红外线读卡器以及图像识别方法都有比较高的识别率，但是随着网络阅卷应用越来越广，对使用设备，纸张质量，扫描方式，答卷质量的要求也越来越宽松，对答题卡识别技术相应地提出了越来越高的技术要求。
[0004]综上来看，亟需一种可以高效、准确的识别答题卡的技术方案。

技术实现思路

[0005]为解决现有技术存在的问题，本专利技术提出了一种基于深度学习的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度学习的答题卡识别方法，其特征在于，该方法包括：获取答题卡图像信息，其中包括答题卡图像、答题卡的json文件，若答题卡没有对应的json文件则为空；对所述答题卡图像进行预处理；利用深度学习模型对预处理后的答题卡图像进行关键点检测，得到答题卡的关键点；根据所述答题卡的关键点抠出准考证区域及答题区域；根据所述答题卡图像，查询是否存在对应答题卡的json文件；若存在，根据json文件存储的答题卡图像信息，检测所述准考证区域及答题区域中的图像内容，利用深度学习图像分类网络对图像内容进行填涂与非填涂的分类，得到识别结果；若不存在或根据json文件检测发生异常时，利用目标检网络YOLOv4进行文本检测，根据文本检测结果，利用深度学习OCR模型识别答题区域的题号内容，利用深度学习图像分类网络对准考证区域及答题区域进行填涂与非填涂的分类，得到识别结果；将准考证区域及答题区域的识别结果进行整理，输出答题卡识别结果。2.根据权利要求1所述的基于深度学习的答题卡识别方法，其特征在于，获取答题卡图像信息，包括：将答题卡对应的图像信息存储在json文件中；其中，json文件存储的信息包括：题号坐标信息，选项坐标信息，准考证坐标信息，答题区域宽、高，准考证区域宽、高；对所述答题卡图像进行预处理，包括：利用OpenCV中的自适应直方图均衡化调节所述答题卡图像的对比度；利用OpenCV中的均值滤波对所述答题卡图像降噪处理；将预处理后的答题卡图像按照等比例缩放，其中，最大边为512，最小边长等比缩放。3.根据权利要求2所述的基于深度学习的答题卡识别方法，其特征在于，利用深度学习模型对预处理后的答题卡图像进行关键点检测，得到答题卡的关键点，包括：采集一定数量的答题卡图像样本；利用标注工具标注所述答题卡图像样本中的6个关键点，其中，6个关键点为：准考证区域的黑色边框左上角的第一关键点，准考证区域的黑色边框右上角的第二关键点，答题区域的黑色边框左上角的第三关键点，答题区域的黑色边框右上角的第四关键点，答题区域的黑色边框左下角的第五关键点，答题区域的黑色边框右下角的第六关键点；以Resnet50+heatmap深度学习模型为骨干框架，将答题卡图像样本输入至深度学习模型进行训练；其中，heatmap采用高斯分布制作标签，设置正负样本的分区，将正负样本的比重设置为10：1；通过heatmap输出关键点的位置，通过查找heatmap中响应值最大的点来确定关键点的坐标；将Resnet50最后一层全连接层去掉，替换为1个卷积层，卷积层输入数据的大小为2048，输出数据大小为6，其中，6表示输出的6个关键点的特征向量；输出的特征向量经过sigmoid激活后得到6
×
128
×
96的heatmap分布图；在深度学习模型的训练过程中，利用数据在线增强操作调节模型的泛化能力，其中，数
据在线增强操作至少包括：随机旋转图像，打乱图像RGB通道，调节图像对比度、亮度、黑暗度仿射变换；采用迭代式更新方法，根据测试结果将准确率未达到设定值的答题卡图像样本叠加到训练样本中，通过迭代训练更新模型的权重参数，在测试结果达到预设要求时得到训练完成的深度学习模型；将预处理后的答题卡图像输入至所述训练完成的深度学习模型，进行特征提取，输出6个关键点的特征向量，经过sigmoid激活后得到6
×
128
×
96的heatmap分布图，其中，每个通道代表预测一个关键点输出的结果为128
×
96一张heatmap图，heatmap的值分布在0
‑
1之间，若关键点出现在128
×
96图像中的一位置的概率越大，位置所在区域的值越接近于1，概率越小，越接近于0或者等于0，将heatmap分布图中概率最大值作为关键点出现的位置，将6个通道中heatmap分布图中概率值最大值作为6个关键点的位置，根据6个关键点的位置计算出在预处理后的答题卡图像中的坐标；根据坐标中第一、第二、第五、第六关键点的坐标，采用OpenCV中的透视变换将的图像矫正，得到矫正的图像。4.根据权利要求3所述的基于深度学习的答题卡识别方法，其特征在于，根据所述答题卡的关键点抠出准考证区域及答题区域，包括：根据坐标中第一、第二、第三、第四关键点的坐标，抠出准考证区域，根据坐标中第三、第四、第五、第六关键点的坐标，抠出答题区域；其中，采用OpenCV将答题区域转灰度图，做双边滤波处理、图像卷积运算filter2D、二值化处理...

【专利技术属性】
技术研发人员：杨泽霖，吴立升，何钢，罗红亮，
申请(专利权)人：深圳市菁优智慧教育股份有限公司，
类型：发明
国别省市：