基于深度学习的错题收集方法、装置及设备制造方法及图纸

本发明专利技术提供一种基于深度学习的错题收集方法、装置及设备，所述方法包括：获取已完成批改的且包含有多道题目的作业或试卷图像；采用预先训练得到的基于题目坐标的识别模型对获取的图像进行题目切割，以获得每道题目所对应的坐标区域；根据预先训练得到的基于批改痕迹的检测模型对每道题目所对应的坐标区域内的批改痕迹进行识别，以获得该道题的对错判定。

【技术实现步骤摘要】
基于深度学习的错题收集方法、装置及设备
本专利技术涉及机器学习领域，且特别涉及一种基于深度学习的错题收集方法、装置及设备。
技术介绍
学生在学习过程中做错题是难免的，也是很正常的。错题本身反映了一个学生在知识理解或运用上存在的问题和不足。因此，通过错题找出知识点漏洞和应试中个人存在的习惯、思维等弱点，加以修正完善，才能把做过的错题转化成最宝贵的学习资源。现在学生的习题量很大，错题量也很可观，但是用传统手抄或者复印下来再剪切黏贴的方法收集错题效率太低，如此繁复的机械性工作非常不容易坚持。错题整理应贯穿于学习新知识、温习旧知识的始终，半途而废的话对于学习就起不到实质性的帮助。有鉴于此，通过手机拍照收集错题的APP便应运而生。目前市场上有几款拍照收集错题的产品，然而现有的解决方法基本上都需要用户手动框选题目区域且一次只能剪裁一道题；然后用软件涂抹答案进行二次操作调整。由于每次拍照只能裁剪一道错题，如果同一页有几道错题则必须多次重复拍摄并操作录题，操作非常的繁琐。此外，现有的错题收集APP还要针对题目进行各种绑定归类，完成上述多项操作之后才能完成一道错题的保存，处理一道错题至少需要两三分钟，耗时很久，使用效率非常的低。
技术实现思路
本专利技术为了克服现有错题收集软件一次只能剪裁一道题目所导致错题收集过程繁琐、处理效率低的问题，提供一种可同时对页面内的多道题目进行剪裁标注的基于深度学习的错题收集方法、装置及设备。为了实现上述目的，本专利技术提供一种基于深度学习的错题收集方法，其包括：获取已完成批改的且包含有多道题目的作业或试卷图像；采用预先训练得到的基于题目坐标的识别模型对获取的图像进行题目切割，以获得每道题目所对应的坐标区域；根据预先训练得到的基于批改痕迹的检测模型对每道题目所对应的坐标区域内的批改痕迹进行识别，以获得该道题的对错判定。根据本专利技术的一实施例，基于深度学习的错题收集方法还包括：展示或发送已判定的所有题目。根据本专利技术的一实施例，基于深度学习的错题收集方法还包括：检测针对已判定的所有题目的确认信息；当确认信息为归类信息时，根据确认信息将已判定的错题进行归类。根据本专利技术的一实施例，基于题目坐标的识别模型通过下述方式预先训练获得：获取包含有多道题目且已对每道题目进行批改的多个练习图片；根据预定义的多个锚框以逐像素预测的方式对每个练习图片进行目标特征检测，目标特征包括题目区域特征或错题特征。根据本专利技术的一实施例，基于题目坐标的识别模型的训练步骤还包括：在获取目标特征的同时根据特征金字塔网络将不同尺寸的锚框分配到不同特征层级中作回归分类；融合多个特征层级作预测推理。根据本专利技术的一实施例，基于批改痕迹的检测模型通过下述方式预先训练获得：获取多个经题目切割后且包含有批改痕迹的错题实例；以像素为单位对每一错题实例进行分割；提取分割后的每个区域内包括题目特征轮廓的底层特征和包括批改痕迹的高层特征；检测含有特征目标的区域。根据本专利技术的一实施例，当对获取的图像进行切割后，每道题目将获得矩形的坐标区域。本申请另一方面还提供一种基于深度学习的错题收集装置，其包括图像获取模块、题目切割模块以及识别模块。图像获取模块获取已完成批改的且包含有多道题目的作业或试卷图像。题目切割模块采用预先训练得到的基于题目坐标的识别模型对获取的图像进行题目切割，以获得每道题目所对应的坐标区域。识别模块根据预先训练得到的基于批改痕迹的检测模型对每道题目所对应的坐标区域内的批改痕迹进行识别，以获得该道题的对错判定。根据本专利技术的一实施例，基于深度学习的错题收集装置还包括展示模块、检测模块以及归类收集模块。展示模块展示或发送已判定的所有题目。检测模块检测针对已判定的所有题目的确认信息。归类收集模块根据确认信息将已判定的错题进行归类。本申请另一方面还提供一种基于深度学习的错题收集设备，其包括：处理器；以及被安排成存储计算机可执行指令的存储器，可执行指令在被执行时使处理器：获取已完成批改的且包含有多道题目的作业或试卷图像；采用预先训练得到的基于题目坐标的识别模型对获取的图像进行题目切割，以获得每道题目所对应的坐标区域；根据预先训练得到的基于批改痕迹的检测模型对每道题目所对应的坐标区域内的批改痕迹进行识别，以获得该道题的对错判定。综上所述，本专利技术提供的基于深度学习的错题收集方法、装置及设备通过对包含多道题目的作业或试卷图像上的每个题目的坐标进行识别，来实现每道题目坐标区域的自动裁剪。之后对已裁剪的每道题目进行批改痕迹的自动识别，以获得每道题目的对错标注，进而实现整页作业或试卷图像上的所有错题的收集。本专利技术提供的基于深度学习的错题的收集方法、装置及设备中用户只需直接拍摄包含多道错题的整页作业或试卷图像即可实现题目区域的自动裁剪和错题的自动标注，无需多次的拍照和手动操作，使用非常的方便。为让本专利技术的上述和其它目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合附图，作详细说明如下。附图说明为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1所示为本专利技术一实施例提供的基于深度学习的错题收集方法的示例性流程示意图。图1A所示为图1中基于题目坐标的识别模型的训练示例性流程示意图。图1B所示为图1中基于批改痕迹的检测模型的示例性流程示意图。图2所示为经题目切割后的作业或试卷图像的示意图。图3所示为经基于批改痕迹的检测模型进行识别后的示意图。图4所示为本专利技术一实施例提供的基于深度学习的错题收集装置的结构示意图。图5所示为本专利技术一实施例提供的基于深度学习的错题收集设备的结构示意图。具体实施方式为了能实现学生在学习过程中错题的自动收集，目前市面上出现了一些采用拍照的方式来自动收集错题的软件。在这些软件中，每次只能针对一道题目进行识别，用户在操作是需要手动框选题目的区域，不仅操作繁琐且耗时长，收集效率低。有鉴于此，本实施例提供一种基于深度学习的错题收集方法。该方法包括：获取已完成批改的且包含有多道题目的作业或试卷图像(步骤S10)；采用预先训练得到的基于题目坐标的识别模型对获取的图像进行题目切割，以获得每道题目所对应的坐标区域(步骤S20)。根据预先训练得到的基于批改痕迹的检测模型对每道题目所对应的坐标区域内的批改痕迹进行识别，以获得该道题的对错判定(步骤S30)。以下将结合图1至图3详细介绍本实施例提供的基于深度学习的错题收集方法的工作原理。本实施提供的基于深度学习的错题收集方法始于步骤S10，在该步骤中用户拍摄已经完成批改且包含多道题目的作业或试卷图像。具体而言，在进行作业或试卷图像的拍摄时，不断检测作业或试卷图像的边缘特征，并根据该边缘特征来调整拍摄框的大小和焦距，以确保作业或试卷图像内的所有题目都被清楚地拍摄于同一张图片内。拍摄框和焦距的自动调整使得用户只要将摄像头对准作业或试卷图像即可，而无需手动调拍照设备与作业(或是试卷)之间的距离，使用非常的方便。在获得包含所有题目的作业或试卷图像后，执行步骤S20。采用预先训练得到的基于题目坐标的识别模型对获取本文档来自技高网...

【技术保护点】
1.一种基于深度学习的错题收集方法，其特征在于，包括：获取已完成批改的且包含有多道题目的作业或试卷图像；采用预先训练得到的基于题目坐标的识别模型对获取的图像进行题目切割，以获得每道题目所对应的坐标区域；根据预先训练得到的基于批改痕迹的检测模型对每道题目所对应的坐标区域内的批改痕迹进行识别，以获得该道题的对错判定。

【技术特征摘要】
1.一种基于深度学习的错题收集方法，其特征在于，包括：获取已完成批改的且包含有多道题目的作业或试卷图像；采用预先训练得到的基于题目坐标的识别模型对获取的图像进行题目切割，以获得每道题目所对应的坐标区域；根据预先训练得到的基于批改痕迹的检测模型对每道题目所对应的坐标区域内的批改痕迹进行识别，以获得该道题的对错判定。2.根据权利要求1所述的基于深度学习的错题收集方法，其特征在于，所述基于深度学习的错题收集方法还包括：展示或发送已判定的所有题目。3.根据权利要求2所述的基于深度学习的错题收集方法，其特征在于，所述基于深度学习的错题收集方法还包括：检测针对已判定的所有题目的确认信息；当确认信息为归类信息时，根据确认信息将已判定的错题进行归类。4.根据权利要求1所述的基于深度学习的错题收集方法，其特征在于，基于题目坐标的识别模型通过下述方式预先训练获得：获取包含有多道题目且已对每道题目进行批改的多个练习图片；根据预定义的多个锚框以逐像素预测的方式对每个练习图片进行目标特征检测，所述目标特征包括题目区域特征或错题特征。5.根据权利要求4所述的基于深度学习的错题收集方法，其特征在于，基于题目坐标的识别模型的训练步骤还包括：在获取目标特征的同时根据特征金字塔网络将不同尺寸的锚分配到不同特征层级中作回归分类；融合多个特征层级作预测推理。6.根据权利要求1所述的基于深度学习的错题收集方法，其特征在于，基于批改痕迹的检测模型通过下述方式预先训练获得：获取多个经题目切割后且...

【专利技术属性】
技术研发人员：徐俊，卢天政，刁新强，
申请(专利权)人：浙江米猪控股有限公司，
类型：发明
国别省市：浙江,33