图像处理方法及装置、电子设备和存储介质制造方法及图纸

一种图像处理方法、图像处理装置、电子设备和存储介质。该图像处理方法包括：获取待识别图像；对待识别图像进行识别，以得到多个区域框、与多个区域框一一对应的多个区域信息和多个待排版内容；基于待识别图像和多个区域信息，对多个待排版内容进行排版，以得到与待识别图像对应的排版文档。通过该图像处理方法可以得到待识别图像对应的电子文档，从而便于对待识别图像进行各种操作，例如存储、传输、管理、备份、打印等操作。打印等操作。打印等操作。

【技术实现步骤摘要】
图像处理方法及装置、电子设备和存储介质


[0001]本公开的实施例涉及一种图像处理方法、图像处理装置、电子设备和非瞬时性计算机可读存储介质。

技术介绍

[0002]用户可以通过对纸质文件进行拍照，以提取纸质文件中的相关信息并进行电子存档，以便于对纸质文件进行管理和存储。例如，在一些使用场景中，学生在学习过程中会使用大量的试卷、作业、练习册等，并且需要对这些试卷、作业、练习册进行整理和反复练习，高效、便捷地进行试卷管理、试卷存储、错题记录等可以显著提高学生的学习效率；例如，在另一些使用场景中，在移动网络的发展下学生经常会以网课方式学习并且通过网络交作业，因此需要获得背景清晰的作业文档以通过网络进行提交。

技术实现思路

[0003]本公开至少一实施例提供一种图像处理方法，包括：获取待识别图像；对所述待识别图像进行识别，以得到多个区域框、与所述多个区域框一一对应的多个区域信息和多个待排版内容；基于所述待识别图像和所述多个区域信息，对所述多个待排版内容进行排版，以得到与所述待识别图像对应的排版文档。
[0004]例如，在本公开至少一实施例提供的图像处理方法中，对所述待识别图像进行识别，以得到多个区域框、与所述多个区域框一一对应的多个区域信息和多个待排版内容，包括：通过物体检测模型对所述待识别图像进行识别，以得到所述多个区域框以及所述多个区域信息，其中，所述多个区域框包括多个第一文本框；通过文字识别模型对所述多个第一文本框进行识别，以得到所述多个第一文本框一一对应的多个文本内容；其中，所述多个待排版内容包括所述多个文本内容中的一个或多个。
[0005]例如，本公开至少一实施例提供的图像处理方法还包括：根据所述多个区域信息和所述多个文本内容，确定所述多个第一文本框一一对应的多个文本类别，其中，所述多个第一文本框中的任一第一文本框对应的区域信息包括所述任一第一文本框的文本类别。
[0006]例如，在本公开至少一实施例提供的图像处理方法中，所述多个区域框还包括至少一个图框，对所述待识别图像进行识别，以得到多个区域框、与所述多个区域框一一对应的多个区域信息和多个待排版内容，还包括：提取所述至少一个图框分别对应的至少一个待排版图片，其中，所述多个待排版内容还包括所述至少一个待排版图片。
[0007]例如，在本公开至少一实施例提供的图像处理方法中，所述待识别图像为包含至少一个题目的图像，所述多个区域框还包括与所述至少一个题目一一对应的至少一个题目框，每个题目框在所述待识别图像中覆盖的区域内包括至少一个第一文本框，每个区域信息包括与所述每个区域信息对应的区域框在所述待识别图像中的位置信息，根据所述多个区域信息和所述多个文本内容，确定所述多个第一文本框一一对应的多个文本类别，包括：根据所述多个区域信息中的位置信息，确定所述至少一个题目框和所述多个第一文本框之
间的对应关系；基于所述对应关系和所述多个文本内容，确定所述多个文本类别。
[0008]例如，在本公开至少一实施例提供的图像处理方法中，所述至少一个题目框包括第一题目框，在第一方向上，所述第一题目框具有第一边，所述多个第一文本框包括第一待处理框，所述多个文本类别包括大题名称，基于所述对应关系和所述多个文本内容，确定所述多个文本类别，包括：响应于所述对应关系指示所述第一待处理框位于所述待识别图像中由所述第一题目框所覆盖的区域内，且所述第一待处理框与所述第一边之间不具有任何区域框，确定所述第一待处理框的文本类别为所述大题名称；或者，响应于所述对应关系指示所述第一待处理框位于所述待识别图像中由所述第一题目框所覆盖的区域之外且所述第一待处理框与所述第一边之间不具有任何区域框，且确定所述第一待处理框对应的文本内容包含大题特征信息，确定所述第一待处理框的文本类别为所述大题名称。
[0009]例如，在本公开至少一实施例提供的图像处理方法中，所述多个第一文本框包括第二待处理框，所述多个文本类别包括标题，在第一方向上，所述第二待处理框具有第一边，所述待识别图像具有第一边缘，基于所述对应关系和所述多个文本内容，确定所述多个文本类别，包括：在所述对应关系指示所述第二待处理框不位于所述待识别图像中由所述至少一个题目框所覆盖的区域的情况下，响应于所述第二待处理框的第一边与所述待识别图像的第一边缘之间的距离小于预设距离且所述第二待处理框对应的文本内容包含标题特征信息，确定所述第二待处理框的文本类别为所述标题。
[0010]例如，在本公开至少一实施例提供的图像处理方法中，基于所述待识别图像和所述多个区域信息，对所述多个待排版内容进行排版，以得到与所述待识别图像对应的排版文档，包括：基于所述多个区域信息和所述待识别图像，确定与所述多个待排版内容分别对应的多个排版信息；基于所述多个排版信息，对所述多个待排版内容进行排版，以得到所述排版文档。
[0011]例如，在本公开至少一实施例提供的图像处理方法中，基于所述多个区域信息和所述待识别图像，确定与所述多个待排版内容分别对应的多个排版信息，包括：通过分类模型对所述待识别图像进行分类处理，以确定所述待识别图像的图像类别；根据所述图像类别获取与所述图像类别对应的排版模板；根据所述排版模板和所述多个区域信息，确定所述多个排版信息。
[0012]例如，在本公开至少一实施例提供的图像处理方法中，根据所述排版模板和所述多个区域信息，确定所述多个排版信息，包括：对于所述多个待排版内容中的第i个待排版内容：响应于所述第i个待排版内容为文本内容，确定所述第i个待排版内容对应的区域框的区域信息，根据所述区域信息确定所述第i个待排版内容的文本类别；根据所述排版模板和所述第i个待排版内容的文本类别，确定所述第i个待排版内容对应的排版信息，其中，i为正整数，且小于等于所述多个待排版内容的总个数。
[0013]例如，在本公开至少一实施例提供的图像处理方法中，基于所述多个排版信息，对所述多个待排版内容进行排版，以得到所述排版文档，包括：对所述多个待排版内容进行处理，以得到多个显示内容；确定所述多个显示内容之间的位置关系；基于所述多个显示内容之间的位置关系和所述多个排版信息，对所述多个显示内容进行排版处理，以得到所述排版文档。
[0014]例如，在本公开至少一实施例提供的图像处理方法中，所述多个待排版内容包括
至少一个第一待排版内容和至少一个第二待排版内容，所述至少一个题目框包括所述至少一个第一待排版内容，对所述多个待排版内容进行处理，以得到多个显示内容，包括：对所述至少一个第一待排版内容进行题号检测处理，以得到至少一个中间显示内容；对所述至少一个第二待排版内容和所述至少一个中间显示内容进行格式处理，以得到所述多个显示内容。
[0015]例如，在本公开至少一实施例提供的图像处理方法中，对所述至少一个第一待排版内容进行题号检测处理，以得到至少一个中间显示内容，包括：提取所述至少一个题目框对应的题号信息，以得到至少一个题号信息；确定所述至少一个题目框之间的位置关系；基于所述至少一个题目框之间的位置关系和所述至少一个题号本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，包括：获取待识别图像；对所述待识别图像进行识别，以得到多个区域框、与所述多个区域框一一对应的多个区域信息和多个待排版内容；基于所述待识别图像和所述多个区域信息，对所述多个待排版内容进行排版，以得到与所述待识别图像对应的排版文档。2.根据权利要求1所述的方法，其中，对所述待识别图像进行识别，以得到多个区域框、与所述多个区域框一一对应的多个区域信息和多个待排版内容，包括：通过物体检测模型对所述待识别图像进行识别，以得到所述多个区域框以及所述多个区域信息，其中，所述多个区域框包括多个第一文本框；通过文字识别模型对所述多个第一文本框进行识别，以得到所述多个第一文本框一一对应的多个文本内容；其中，所述多个待排版内容包括所述多个文本内容中的一个或多个。3.根据权利要求2所述的方法，还包括：根据所述多个区域信息和所述多个文本内容，确定所述多个第一文本框一一对应的多个文本类别，其中，所述多个第一文本框中的任一第一文本框对应的区域信息包括所述任一第一文本框的文本类别。4.根据权利要求2所述的方法，其中，所述多个区域框还包括至少一个图框，对所述待识别图像进行识别，以得到多个区域框、与所述多个区域框一一对应的多个区域信息和多个待排版内容，还包括：提取所述至少一个图框分别对应的至少一个待排版图片，其中，所述多个待排版内容还包括所述至少一个待排版图片。5.根据权利要求3所述的方法，其中，所述待识别图像为包含至少一个题目的图像，所述多个区域框还包括与所述至少一个题目一一对应的至少一个题目框，每个题目框在所述待识别图像中覆盖的区域内包括至少一个第一文本框，每个区域信息包括与所述每个区域信息对应的区域框在所述待识别图像中的位置信息，根据所述多个区域信息和所述多个文本内容，确定所述多个第一文本框一一对应的多个文本类别，包括：根据所述多个区域信息中的位置信息，确定所述至少一个题目框和所述多个第一文本框之间的对应关系；基于所述对应关系和所述多个文本内容，确定所述多个文本类别。6.根据权利要求5所述的方法，其中，所述至少一个题目框包括第一题目框，在第一方向上，所述第一题目框具有第一边，所述多个第一文本框包括第一待处理框，所述多个文本类别包括大题名称，基于所述对应关系和所述多个文本内容，确定所述多个文本类别，包括：响应于所述对应关系指示所述第一待处理框位于所述待识别图像中由所述第一题目框所覆盖的区域内，且所述第一待处理框与所述第一边之间不具有任何区域框，确定所述第一待处理框的文本类别为所述大题名称；或者，
响应于所述对应关系指示所述第一待处理框位于所述待识别图像中由所述第一题目框所覆盖的区域之外且所述第一待处理框与所述第一边之间不具有任何区域框，且确定所述第一待处理框对应的文本内容包含大题特征信息，确定所述第一待处理框的文本类别为所述大题名称。7.根据权利要求5所述的方法，其中，所述多个第一文本框包括第二待处理框，所述多个文本类别包括标题，在第一方向上，所述第二待处理框具有第一边，所述待识别图像具有第一边缘，基于所述对应关系和所述多个文本内容，确定所述多个文本类别，包括：在所述对应关系指示所述第二待处理框不位于所述待识别图像中由所述至少一个题目框所覆盖的区域的情况下，响应于所述第二待处理框的第一边与所述待识别图像的第一边缘之间的距离小于预设距离且所述第二待处理框对应的文本内容包含标题特征信息，确定所述第二待处理框的文本类别为所述标题。8.根据权利要求5所述的方法，其中，基于所述待识别图像和所述多个区域信息，对所述多个待排版内容进行排版，以得到与所述待识别图像对应的排版文档，包括：基于所述多个区域信息和所述待识别图像，确定与所述多个待排版内容分别对应的多个排版信息；基于所述多个排版信息，对所述多个待排版内容进行排版，以得到所述排版文档。9.根据权利要求8所述的方法，其中，基于所述多个区域信息和所述待识别图像，确定与所述多个待排版内容分别对应的多个排版信息，包括：通过分类模型对所述待识别图像进行分类处理，以确定所述待识别图像的图像类别；根据所述图像类别获取与所述图像类别对应的排版模板；根据所述排版模板和所述多个区域信息，确定所述多个排版信息。10.根据权利要求9所述的方法，其中，根据所述排版模板和所述多个区域信息，确定所述多个排版信息，包括：对于所述多个待排版内容中的第i个待排版内容：响应于所述第i个待排版内容为文本内容，确定所述第i个待排版内容对应的区域框的区域信息，根据所述区域信息确定所述第i个待排版内容的文本类别；根据所述排版模板和所述第i个待排版内容的文...

【专利技术属性】
技术研发人员：何涛，罗欢，陈明权，
申请(专利权)人：杭州大拿科技股份有限公司，
类型：发明
国别省市：