题目识别方法、装置、设备及存储介质制造方法及图纸

本申请实施例提供一种题目识别方法、装置、设备及存储介质，所述方法包括：获取包括有题目的目标图像；检测所述目标图像中的题目所在位置，获取有关于所述题目的第一检测框；所述第一检测框对应有所述题目的倾斜角度；根据所述倾斜角度对所述第一检测框进行裁剪和旋转，获取有关于所述题目的第二检测框；所述第二检测框小于所述第一检测框；从所述目标图像中提取所述第二检测框处的题目内容进行识别。本实施例有利于提高题目识别的准确率。本实施例有利于提高题目识别的准确率。本实施例有利于提高题目识别的准确率。

【技术实现步骤摘要】
题目识别方法、装置、设备及存储介质


[0001]本申请涉及图像处理
，尤其涉及一种题目识别方法、装置、设备及存储介质。

技术介绍

[0002]随着技术的发展，在教育市场中各种教育产品也逐渐增多，比如有拍摄解题产品等。其中，拍照解题产品的重要一步是能够对图像中的题目所在位置进行准确地检测，以便后续对该位置处的内容进行有效识别。
[0003]相关技术中的一种实现方式中，在进行位置检测时，通常会检测出有关于题目的坐标信息和尺寸信息，并基于坐标信息和尺寸信息定位题目所在位置。但由于在拍摄时书本或者纸张可能会被卷折，或者用户在书写题目时笔迹倾斜等因素，使得照片中的题目内容可能呈现一定的倾斜角度，上述实现方式并不能准确定位题目所在位置，导致后续题目识别错误。

技术实现思路

[0004]有鉴于此，本申请提供一种题目识别方法、装置、设备及存储介质。
[0005]根据本申请实施例的第一方面，提供一种题目识别方法，包括：
[0006]获取包括有题目的目标图像；
[0007]检测所述目标图像中的题目所在位置，获取有关于所述题目的第一检测框；所述第一检测框对应有所述题目的倾斜角度；
[0008]根据所述倾斜角度对所述第一检测框进行裁剪和旋转，获取有关于所述题目的第二检测框；所述第二检测框小于所述第一检测框；
[0009]从所述目标图像中提取所述第二检测框处的题目内容进行识别。
[0010]可选地，通过预先训练好的题目检测模型检测所述目标图像中的题目所在位置。/>[0011]可选地，所述第一检测框还对应有尺寸信息和坐标信息；
[0012]所述根据所述倾斜角度对所述第一检测框进行裁剪和旋转，包括：
[0013]根据所述倾斜角度对所述第一检测框的尺寸信息进行调整，获得所述第二检测框的尺寸信息；所述第二检测框的尺寸小于所述第一检测框的尺寸；
[0014]根据所述倾斜角度和所述第二检测框的尺寸信息，对所述第一检测框的坐标信息进行调整，获取所述第二检测框的坐标信息。
[0015]可选地，所述根据所述倾斜角度对所述第一检测框进行裁剪和旋转，包括：如果所述倾斜角度在预设角度范围内，根据所述倾斜角度对所述第一检测框进行裁剪和旋转；
[0016]所述方法还包括：如果所述倾斜角度不在所述预设角度范围内，将所述倾斜角度置为0，并从所述目标图像中提取所述第一检测框处的题目内容进行识别。
[0017]可选地，所述获取有关于所述题目的第一检测框，包括：
[0018]获取所述题目检测模型输出的多个候选检测框，并确定每个所述候选检测框的
DIoU值；其中，每个所述候选检测框的DIoU值为基准框的中心点与该候选检测框的中心点之间的欧式距离与包含所述基准框和该候选检测框的最小矩形的对角线长度之间的比值；每个所述候选检测框均对应有置信度，所述基准框基于所述置信度所确定；
[0019]根据所述DIoU值低于预设阈值的所述候选检测框，确定有关于所述题目的第一检测框。
[0020]可选地，所述从所述目标图像中提取所述第二检测框处的题目内容进行识别，包括：
[0021]对所述第二检测框进行仿射变换，获得变换后的第二检测框；其中，所述变换后的第二检测框为矩形框；
[0022]从所述目标图像中提取所述变换后的第二检测框处的题目内容进行识别。
[0023]可选地，所述题目检测模型中包括特征提取网络；
[0024]所述特征提取网络用于提取所述目标图像的图像特征，以使得所述题目检测模型根据所述图像特征检测所述目标图像中的题目所在位置。
[0025]可选地，所述特征提取网络至少包括MobileNet网络。
[0026]可选地，所述题目检测模型通过以下方式训练：
[0027]获取若干包括有题目的样本图像，所述样本图像对应有标签，所述标签包括所述样本图像中有关于所述题目的坐标信息、尺寸信息以及倾斜角度；
[0028]将若干所述样本图像输入预设模型中，通过所述预设模型检测所述样本图像中的题目所在位置，获取有关于所述题目的位置预测结果；所述位置预测结果包括有关于所述题目的坐标预测信息、尺寸预测信息以及预测倾斜角度；
[0029]根据所述位置预测结果与所述标签之间的差异，调整所述预设模型的参数，获得所述题目检测模型。
[0030]可选地，所述样本图像中有关于所述题目的倾斜角度在预设角度范围内。
[0031]可选地，所述通过所述预设模型检测所述样本图像中的题目所在位置，还包括：
[0032]通过所述预设模型检测所述样本图像中的题目的倾斜角度，获得所述题目的初始倾斜角度；
[0033]使用所述预设模型对所述初始倾斜角度进行归一化处理，并根据归一化处理后的初始倾斜角度与角度系数获取所述预测倾斜角度；所述角度系数根据所述预设角度范围所确定。
[0034]根据本申请实施例的第二方面，提供一种题目识别装置，包括：
[0035]目标图像获取模块，用于获取包括有题目的目标图像；
[0036]第一检测框获取模块，用于检测模型检测所述目标图像中的题目所在位置，获取有关于所述题目的第一检测框；所述第一检测框对应有所述题目的倾斜角度；
[0037]第二检测框获取模块，用于根据所述倾斜角度对所述第一检测框进行裁剪和旋转，获取有关于所述题目的第二检测框；所述第二检测框小于所述第一检测框；
[0038]题目识别模块，用于从所述目标图像中提取所述第二检测框处的题目内容进行识别。
[0039]根据本申请实施例的第三方面，提供一种电子设备，包括：
[0040]处理器；
[0041]用于存储可执行指令的存储器；
[0042]其中，所述处理器执行所述可执行指令时，被配置为实现第一方面任意一项所述的方法。
[0043]根据本申请实施例的第四方面，提供一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现本申请实施例的第一方面中任一所述方法的步骤。
[0044]本申请实施例具有如下有益效果：
[0045]本申请实施例提供了一种题目识别方法，在获取包括有题目的目标图像之后，检测所述目标图像中的题目所在位置，获取有关于所述题目的第一检测框，所述第一检测框用于指示所述题目在所述目标图像中的位置，所述第一检测框对应有所述题目的倾斜角度，然后根据所述倾斜角度对所述第一检测框进行裁剪和旋转，获取有关于所述题目的第二检测框，所述第二检测框用于指示所述题目在所述目标图像中的位置，所述第二检测框小于所述第一检测框，最后从所述目标图像中提取所述第二检测框处的图像内容进行题目识别。本实施例中对有关于所述题目的第一检测框进行裁剪，在裁剪之后得到的第二检测框小于所述第一检测框，从而可以有效避免或者减少获取的第二检测框包含其他题目的内容，并且本实施例对有关于所述题目的第一检测框进行旋转，可以有效校正题目倾斜问题，进一步地，本申请基于所述题本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种题目识别方法，其特征在于，包括：获取包括有题目的目标图像；检测所述目标图像中的题目所在位置，获取有关于所述题目的第一检测框；所述第一检测框对应有所述题目的倾斜角度；根据所述倾斜角度对所述第一检测框进行裁剪和旋转，获取有关于所述题目的第二检测框；所述第二检测框小于所述第一检测框；从所述目标图像中提取所述第二检测框处的题目内容进行识别。2.根据权利要求1所述的方法，其特征在于，通过预先训练好的题目检测模型检测所述目标图像中的题目所在位置。3.根据权利要求1或2所述的方法，其特征在于，所述第一检测框还对应有尺寸信息和坐标信息；所述根据所述倾斜角度对所述第一检测框进行裁剪和旋转，包括：根据所述倾斜角度对所述第一检测框的尺寸信息进行调整，获得所述第二检测框的尺寸信息；所述第二检测框的尺寸小于所述第一检测框的尺寸；根据所述倾斜角度和所述第二检测框的尺寸信息，对所述第一检测框的坐标信息进行调整，获取所述第二检测框的坐标信息。4.根据权利要求1或2所述的方法，其特征在于，所述根据所述倾斜角度对所述第一检测框进行裁剪和旋转，包括：如果所述倾斜角度在预设角度范围内，根据所述倾斜角度对所述第一检测框进行裁剪和旋转；所述方法还包括：如果所述倾斜角度不在所述预设角度范围内，将所述倾斜角度置为0，并从所述目标图像中提取所述第一检测框处的题目内容进行识别。5.根据权利要求1或2所述的方法，其特征在于，所述获取有关于所述题目的第一检测框，包括：获取所述题目检测模型输出的多个候选检测框，并确定每个所述候选检测框的DIoU值；其中，每个所述候选检测框的DIoU值为基准框的中心点与该候选检测框的中心点之间的欧式距离与包含所述基准框和该候选检测框的最小矩形的对角线长度之间的比值；每个所述候选检测框均对应有置信度，所述基准框基于所述置信度所确定；根据所述DIoU值低于预设阈值的所述候选检测框，确定有关于所述题目的第一检测框。6.根据权利要求1或2所述的方法，其特征在于，所述从所述目标图像中提取所述第二检测框处的题目内容进行识别，包括：对所述第二检测框进行仿射变换，获得变换后的第二检测框；其中，所述变换后的第二检测框为矩形框；从所述目标图像中提取所述变换后的第二检测框处的题目内容进行识别。7.根据权利要求2所述的方法，其特征在于...

【专利技术属性】
技术研发人员：李德健，
申请(专利权)人：广州视源电子科技股份有限公司，
类型：发明
国别省市：