【技术实现步骤摘要】
本公开涉及图像处理，特别是涉及一种图像处理方法、一种图像处理装置、一种电子设备和一种计算机可读存储介质。
技术介绍
1、文档图像表格复原具有非常广泛的应用场景，如拍照表单电子化。而目前市面上常见的表格复原的算法是两阶段的算法，第一阶段使用表格检测网络进行表格定位，第二阶段将定位后的表格剪切后送入表格结构恢复网络进行单元格的空间结构及逻辑结构识别，这种两阶段的算法有两个显而易见的弊端，一是效率低下(表格检测网络及表格结构恢复网络的骨架网络没有共享)，二是识别结果较差(表格结构恢复网络与表格检测网络是独立的，表格结构恢复网络的损失梯度不能够回流到表格检测网络)，另外，目前表格结构恢复网络的单元格空间结构预测的结果往往不够准确。
技术实现思路
1、鉴于上述问题，提出了本公开实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种图像处理方法和相应的一种图像处理装置、一种电子设备，以及一种计算机可读存储介质。
2、本公开实施例公开了一种图像处理方法，所述方法包括：
3、获取待处理图像；
4、将所述待处理图像输入预先训练的深度学习模型中；其中，所述深度学习模型包括骨架网络、表格检测网络和表格结构恢复网络；所述骨架网络为所述表格检测网络和所述表格结构恢复网络的共享基础网络；所述表格检测网络为transformer网络；
5、通过所述骨架网络对输入的所述待处理图像进行特征提取，得到共享特征；
6、将所述共享特征输入所述表格检测网络
7、将所述表格位置特征输入所述表格结构恢复网络，并结合所述共享特征进行单元格的空间位置及逻辑位置识别，得到单元格空间位置特征和单元格逻辑位置特征；其中，所述表格结构恢复网络包括单元格结构对齐网络；所述单元格结构对齐网络用于提升单元格空间位置的定位精度；
8、基于所述表格位置特征、所述单元格空间位置特征和所述单元格逻辑位置特征输出目标表格。
9、本公开实施例还公开了一种图像处理装置，所述装置包括：
10、获取模块，用于获取待处理图像；
11、输入模块，用于将所述待处理图像输入预先训练的深度学习模型中；其中，所述深度学习模型包括骨架网络、表格检测网络和表格结构恢复网络；所述骨架网络为所述表格检测网络和所述表格结构恢复网络的共享基础网络；所述表格检测网络为transformer网络；
12、第一特征提取模块，用于通过所述骨架网络对输入的所述待处理图像进行特征提取，得到共享特征；
13、第二特征提取模块，用于将所述共享特征输入所述表格检测网络进行特征提取，得到表格位置特征；
14、识别模块，用于将所述表格位置特征输入所述表格结构恢复网络，并结合所述共享特征进行单元格的空间位置及逻辑位置识别，得到单元格空间位置特征和单元格逻辑位置特征；其中，所述表格结构恢复网络包括单元格结构对齐网络；所述单元格结构对齐网络用于提升单元格空间位置的定位精度；
15、输出模块，用于基于所述表格位置特征、所述单元格空间位置特征和所述单元格逻辑位置特征输出目标表格。
16、本公开实施例还公开了一种电子设备，包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述一种图像处理方法。
17、本公开实施例还公开了一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述一种图像处理方法。
18、本公开实施例包括以下优点：
19、在本公开实施例中，获取待处理图像，将待处理图像输入预先训练的深度学习模块中，其中，深度学习模型包括骨架网络、表格检测网络和表格结构恢复网络，骨架网络为表格检测网络和表格结构恢复网络的共享基础网络，可以通过骨架网络对输入的待处理图像进行特征提取，得到共享特征，将共享特征输入基于transformer的表格检测网络进行特征提取，得到表格位置特征，将表格位置特征输入表格结构恢复网络，并结合共享特征进行单元格的空间位置及逻辑位置识别，得到单元格空间位置特征和单元格逻辑位置特征，基于表格位置特征、单元格空间位置特征和单元格逻辑位置特征输出目标表格。通过采用上述方式，表格检测网络及表格结构恢复网络的骨架网络实现了共享，通过选择合适的骨架网络作为表格检测网络及表格结构恢复网络的共享基础网络，之后在共享的骨架网络基础上选择合适的表格检测网络进行表格位置检测，在共享的骨架网络及表格位置检测结果基础上选择合适的表格结构恢复网络获取表格单元格的空间位置和逻辑位置，其中，表格结构恢复网络添加了单元格结构对齐网络优化单元格空间位置的定位精度，本方法可以提升表格识别准确率以及提高识别效率。
本文档来自技高网...【技术保护点】
1.一种图像处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述待处理图像输入预先训练的深度学习模型中之前，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述通过所述骨架网络对输入的所述待处理图像进行特征提取，得到共享特征，包括：
4.根据权利要求1所述的方法，其特征在于，所述表格检测网络包括第一检测网络，所述将所述共享特征输入所述表格检测网络进行特征提取，得到表格位置特征，包括：
5.根据权利要求4所述的方法，其特征在于，所述表格结构恢复网络包括第二检测网络，所述将所述表格位置特征输入所述表格结构恢复网络，并结合所述共享特征进行单元格的空间位置及逻辑位置识别，得到单元格空间位置特征和单元格逻辑位置特征，包括：
6.根据权利要求1所述的方法，其特征在于，所述深度学习模型通过以下方式训练得到：
7.根据权利要求6所述的方法，其特征在于，所述将所述表格位置特征样本输入所述初始深度学习模型中的表格结构恢复网络，并结合所述共享特征样本进行单元格的空间位置及逻辑位置识
8.一种图像处理装置，其特征在于，所述装置包括：
9.一种电子设备，其特征在于，包括：处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1－7中任一项所述一种图像处理方法的步骤。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述一种图像处理方法的步骤。
...【技术特征摘要】
1.一种图像处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述将所述待处理图像输入预先训练的深度学习模型中之前，所述方法还包括：
3.根据权利要求1所述的方法，其特征在于，所述通过所述骨架网络对输入的所述待处理图像进行特征提取，得到共享特征，包括：
4.根据权利要求1所述的方法，其特征在于，所述表格检测网络包括第一检测网络，所述将所述共享特征输入所述表格检测网络进行特征提取，得到表格位置特征，包括：
5.根据权利要求4所述的方法，其特征在于，所述表格结构恢复网络包括第二检测网络，所述将所述表格位置特征输入所述表格结构恢复网络，并结合所述共享特征进行单元格的空间位置及逻辑位置识别，得到单元格空间位置特征和单元格逻辑位置特征，包括：
6.根据权利要求1所述...
【专利技术属性】
技术研发人员：高大帅，李健，陈明，武卫东，
申请(专利权)人：北京捷通华声科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。