一种试卷版面题目自动拆分的方法技术

本发明专利技术涉及图像目标检测与识别技术领域，且公开了一种试卷版面题目自动拆分的方法，该系统基于改进后的yolov3网络架构设计，主要包含仿真数据生成、图片特征提取和特征层预测部分；该方法提出一种试卷版面题目自动拆分的方法，本方法主要针对包含数学、语文、英语等常用试卷在内的试卷版面题目自动拆分，本发明专利技术所述试卷版面题目拆分是指，通过本方法(包括但不限于本方法)从扫描或拍摄等方式获取的试卷图像数据中将每道题目单独完整检测，并获得其在试卷中的坐标位置信息的过程。

A method of automatic splitting test paper layout

【技术实现步骤摘要】
一种试卷版面题目自动拆分的方法
本专利技术涉及图像目标检测与识别
，具体为一种试卷版面题目自动拆分的方法。
技术介绍
目标检测作为图像处理中的一个重要应用领域，在智能交通、安防、医疗、教育等领域得到了广泛的应用。同时，随着深度学习方法的不断应用，目标检测精度得到了大幅度的提高，尤其是目标物体具有特定形体特征的场景，目标检测准确率很高。然而，深度学习技术在试卷版面题目拆分中的应用较少，本方法将深度学习技术强大的卷积神经网络引入试卷版面题目拆分中，提出一种专门解决试卷版面题目拆分的新方法。现有的针对试卷版面题目拆分中大多都是基于试卷版面题目固定位置拆分单个试题，这种拆分方法对不同板式试卷需要变更已知的试题坐标位置信息，不能适应所有版面试卷。而将深度学习的方法在版面分析的应用已经出现，其主要是利用强大的卷积神经网络分析版面中存在的文字区域、图片、表格和公式等检测，本质还是目标检测算法在版面分析中的直接使用，而将目标检测方法在试卷版面分析中以每道题为目标进行拆分的应用较少。以题目为目标单位自动拆分的方法能够将试卷中所有类型题目独立检测并拆分，有利于后续对每道题目单独OCR识别和知识点判定。
技术实现思路
(一)解决的技术问题针对现有技术的不足，本专利技术提供了一种试卷版面题目自动拆分的方法，通过将深度学习技术引入到试卷版面题目自动拆分中，解决了现有试卷版面题目基于固定位置拆分单个试题导致的非灵活扩展和手动标注数据耗时问题。(二)技术方案为实现上述目的，本专利技术提供如下技术方案：一种试卷版面题目自动拆分的方法，其特征在于；该系统基于改进后的yolov3网络架构设计，主要包含仿真数据生成、图片特征提取和特征层预测部分。优选的，所述主要特征具体描述为：主干网络yolov3用于从输入为1024x768大小图片中提取符合版面需要的特征，从而得到1/4、1/8、1/16和1/32四个特征图，四个特征图经过单独卷积后独立预测，同时当前特征图经过上采样后，与下层特征图拼接，并参与下层计算。优选的，所述仿真数据生成具体描述为：使用程序设计自动生成和真实样本高度相似的训练数据，通过程序控制，在仿真数据过程中，随机生成指定数量的包含各种版面试卷题目图片及label数据。优选的，所述图片特征提取具体描述为：在原有1/8、1/16和1/32特征图大小的基础上，新增1/4大小特征图参与预测，同时，主干网络中第三和第四个残差块的次数降为4，以此解决增加特征图个数带来的计算量问题，特征图单独预测中，舍弃原有3x3大小卷积，增加用于预测的特征图之间的拼接关系，使得上层预测特征图也参与下层预测。优选的，所述分层预测具体描述为：权利4中所述特征提取到的四个不同层的特征图，分别进行convolutionalset操作，该操作由多个1x1和3x3卷积组成，该操作结果进行上采样，并与下层特征图拼接后，经过1x1卷积得到用于预测的特征图，为了再次降低计算量，此处去掉原有3x3大小卷积操作，本方法将四个用于预测的F1-F4个特征图上采样，并使其与下层特征融合，丰富其特征。优选的，包括以下具体步骤：步骤一、仿真训练数据：本方法面向试卷版面题目自动拆分，由于试卷版面题目存在形式多样，人工标注过程较慢，并且现有试卷数据不能完全覆盖所有可能出现的试卷版面呈现形式，因此本方法通过程序设计仿真需要的训练数据；首先准备若干张公式和图表图片，每次仿真过程产生0-1之间随机数，规定[0-0.3，0.3-0.5，0.5-0.7，0.7-1.0]为四个不同区间，每个区间代表填空、选择、证明、解答等题目类型(具体实施过程包括但不限于此)，每个区间段范围连续产生数量不等的同类型题目，并按照从左到右、从上到下的顺序排列(程序随机控制每道题目之间的行间距大小)，从而仿真出与真实试卷版面排版接近的训练数据。步骤二、数据预处理：结合常用试卷板式，本次训练数据统一resize到1024x768大小，输入为RGB图片，并且将图片归一化到-1到1之间，训练过程以batchsize为基本输入，每个batchsize随机从原始图片中选择，并随机添加高斯模糊化、对比度、明亮度和试卷裁剪等数据增强操作；步骤三、训练神经网络：将网络结构按照上述描述架构整合，产生新的试卷版面题目自动拆分算法，整体采用端到端的训练模式，网络超参数设置如下：(1)、学习率：初始学习率设置为0.01，每训练10轮减小10％；(2)、优化器：adam或sgd优化器(实施过程根据模型训练情况决定)；(3)、其它：批处理大小设置为8，根据显存大小不同而不同；总共训练轮数为200；步骤四、模型预测输出：加载训练好的模型，分别在1000张真实和仿真数据中进行模型预测，输出试卷中各版面拆分结果的位置坐标信息，并对该模型进行评估分析。(三)有益效果本专利技术提供了一种试卷版面题目自动拆分的方法，具备以下有益效果：(1)、本专利技术针对以上现状，提出一种试卷版面题目自动拆分的方法，本方法主要针对包含数学、语文、英语等常用试卷在内的试卷版面题目自动拆分，本专利技术所述试卷版面题目拆分是指，通过本方法(包括但不限于本方法)从扫描或拍摄等方式获取的试卷图像数据中将每道题目单独完整检测，并获得其在试卷中的坐标位置信息的过程，通过将深度学习技术引入到试卷版面题目自动拆分中，解决了现有试卷版面题目基于固定位置拆分单个试题导致的非灵活扩展和手动标注数据耗时问题。(2)、本专利技术通过设置将深度学习技术引入到试卷版面题目拆分中，从而实现试卷版面题目的自动化拆分，针对试卷版面题目拆分特点，通过对现有目标检测方法yolov3进行改进，提出更多尺度特征图联合预测目标物体的新方法，本方法针对不同类型的题目，尤其在题目中含有图表、题目结构分布比较分散等场景中能够对题目很好拆分检测，避免出现一道题目多检、漏检等情况。附图说明图1为本专利技术的整体实施流程图；图2为本专利技术整体实施流程中的ConvolutionalSet结构图；图3为本专利技术整体实施流程中的ConvolutionalConcat结构图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。实施例：如图1-3所示，本专利技术提供一种技术方案：一种试卷版面题目自动拆分的方法，包括数据仿真部分、图片特征提取部分和特征层预测部分组成：数据仿真部分：主要描述本方法使用的训练数据制作思路，基本思路为使用程序设计语言开发程序，自动仿真需要的各种类型版面试卷，首先随机选取一张背景图片，将其resize到1024x768尺度大小，随机选择一张类型版面(如填空、选择题等)形式，按照该类型生成文字+公式+图表结构的本文档来自技高网...

【技术保护点】
1.一种试卷版面题目自动拆分的方法，其特征在于：该系统基于改进后的yolov3网络架构设计，主要包含仿真数据生成、图片特征提取和特征层预测部分。/n

【技术特征摘要】
1.一种试卷版面题目自动拆分的方法，其特征在于：该系统基于改进后的yolov3网络架构设计，主要包含仿真数据生成、图片特征提取和特征层预测部分。


2.根据权利要求1所述的一种试卷版面题目自动拆分的方法，其特征在于：所述主要特征具体描述为：主干网络yolov3用于从输入为1024x768大小图片中提取符合版面需要的特征，从而得到1/4、1/8、1/16和1/32四个特征图，四个特征图经过单独卷积后独立预测，同时当前特征图经过上采样后，与下层特征图拼接，并参与下层计算。


3.根据权利要求1所述的一种试卷版面题目自动拆分的方法，其特征在于：所述仿真数据生成具体描述为：使用程序设计自动生成和真实样本高度相似的训练数据，通过程序控制，在仿真数据过程中，随机生成指定数量的包含各种版面试卷题目图片及label数据。


4.根据权利要求1所述的一种试卷版面题目自动拆分的方法，其特征在于：所述图片特征提取具体描述为：在原有1/8、1/16和1/32特征图大小的基础上，新增1/4大小特征图参与预测，同时，主干网络中第三和第四个残差块的次数降为4，以此解决增加特征图个数带来的计算量问题，特征图单独预测中，舍弃原有3x3大小卷积，增加用于预测的特征图之间的拼接关系，使得上层预测特征图也参与下层预测。


5.根据权利要求1所述的一种试卷版面题目自动拆分的方法，其特征在于：所述分层预测具体描述为：权利4中所述特征提取到的四个不同层的特征图，分别进行convolutionalset操作，该操作由多个1x1和3x3卷积组成，该操作结果进行上采样，并与下层特征图拼接后，经过1x1卷积得到用于预测的特征图，为了再次降低计算量，此处去掉原有3x3大小卷积操作，本方法将四个用于预测的F1-F4个特征图上采样，并使...

【专利技术属性】
技术研发人员：严军峰，董平，陈家海，叶家鸣，吴波，
申请(专利权)人：安徽七天教育科技有限公司，
类型：发明
国别省市：安徽;34