一种用于表格检测的方法、装置及检测模型的训练方法制造方法及图纸

本申请涉及一种用于表格检测的方法、装置及检测模型的训练方法，将待检测的表格文档图像输入至对称网络，其中，对称网络包括卷积网络和反卷积网络，通过卷积网络中的各层组合卷积块对表格文档图像进行卷积运算，得到对应的表格特征图，并输入至反卷积网络；通过反卷积网络中的组合卷积块对卷积网络中输出的表格特征图进行反卷积运算，得到对应的表格特征图，并与卷积网络中对应的相同尺寸的表格特征图进行融合；通过反卷积网络中的组合卷积块对融合后得到的表格特征图进行反卷积运算，得到表格结构特征图。通过将组合卷积块应用于对称网络中，不仅提高了模型的特征性能，而且实现了表格线条的高精度检测。

【技术实现步骤摘要】
一种用于表格检测的方法、装置及检测模型的训练方法
本申请涉及图像分割
，特别是涉及一种用于表格检测的方法、装置及检测模型的训练方法。
技术介绍
随着深度学习更加广泛的应用于各个领域，以检测及识别文本图像信息为目的的光学字符识别(OpticalCharacterRecognition)技术得到的了快速发展。文本检测的过程中常伴有表格文档的检测，为保障表格内容的逻辑化输出，需要检测并识别表格文档图像中的表格框线信息。传统技术中，通常采用图像特征提取表格框线，比如文本块特征、表格区域逻辑关系特征、线交点特征等。利用该方法对清晰图像进行检测，表格线的检测效果较好。但是对于模糊或者表格线信息缺失的图像，表格线的检测效果并不理想，存在表格框线误检的技术问题。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够实现表格结构信息精确检测的表格检测方法、装置、计算机设备、存储介质及表格检测模型的训练方法。一种表格检测方法，所述方法包括：将待检测的表格文档图像输入至对称网络，其中，所述对称网络包括卷积网络和反卷积网络，且所述卷积网络与所述反卷积网络连接成对称结构，所述卷积网络与所述反卷积网络分别包括若干层组合卷积块；通过所述卷积网络中的各层组合卷积块对所述表格文档图像进行卷积运算，得到对应的表格特征图，并输入至所述反卷积网络；通过所述反卷积网络中的组合卷积块对所述卷积网络中输出的表格特征图进行反卷积运算，得到对应的表格特征图，并与所述卷积网络中对应的相同尺寸的表格特征图进行融合；通过所述反卷积网络中的组合卷积块对融合后得到的表格特征图进行反卷积运算，得到表格结构特征图。一种表格检测模型的训练方法，所述方法包括：构建训练样本集，其中，所述训练样本集包括若干表格文档图像，所述表格文档图像具有对应的表格结构坐标文件；将所述表格文档图像以及对应的表格结构坐标文件输入至搭建的对称网络，其中，所述对称网络包括卷积网络和反卷积网络，且所述卷积网络与所述反卷积网络连接成对称结构，所述卷积网络与所述反卷积网络分别包括若干层组合卷积块；通过所述卷积网络中的各层组合卷积块对所述表格文档图像进行卷积运算，得到对应的表格特征图，并输入至所述反卷积网络；通过所述反卷积网络中的组合卷积块对所述卷积网络中输出的表格特征图进行反卷积运算，得到对应的表格特征图，并与所述卷积网络中对应的相同尺寸的表格特征图进行融合；通过所述反卷积网络中的组合卷积块对融合后得到的表格特征图进行反卷积运算，得到表格结构特征图。根据所述表格结构特征图以及所述表格结构坐标文件计算模型损失值，并反向传播优化所述表格检测模型的参数。一种表格检测装置，所述装置包括：输入模块，用于将待检测的表格文档图像输入至对称网络，其中，所述对称网络包括卷积网络和反卷积网络，且所述卷积网络与所述反卷积网络连接成对称结构，所述卷积网络与所述反卷积网络分别包括若干层组合卷积块；第一运算模块，用于通过所述卷积网络中的各层组合卷积块对所述表格文档图像进行卷积运算，得到对应的表格特征图，并输入至所述反卷积网络；第二运算模块，用于通过所述反卷积网络中的组合卷积块对所述卷积网络中输出的表格特征图进行反卷积运算，得到对应的表格特征图，并与所述卷积网络中对应的相同尺寸的表格特征图进行融合；第三运算模块，用于通过所述反卷积网络中的组合卷积块对融合后得到的表格特征图进行反卷积运算，得到表格结构特征图。一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一实施例中的方法步骤。一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一实施例中的方法步骤。上述表格检测方法、装置、计算机设备、存储介质及表格检测模型的训练方法，将待检测的表格文档图像输入至对称网络，其中，所述对称网络包括卷积网络和反卷积网络，且所述卷积网络与所述反卷积网络连接成对称结构，所述卷积网络与所述反卷积网络分别包括若干层组合卷积块；通过所述卷积网络中的各层组合卷积块对所述表格文档图像进行卷积运算，得到对应的表格特征图，并输入至所述反卷积网络；通过所述反卷积网络中的组合卷积块对所述卷积网络中输出的表格特征图进行反卷积运算，得到对应的表格特征图，并与所述卷积网络中对应的相同尺寸的表格特征图进行融合；通过所述反卷积网络中的组合卷积块对融合后得到的表格特征图进行反卷积运算，得到表格结构特征图。通过将组合卷积块应用于对称网络中，不仅提高了模型的特征性能，而且实现了表格线条的高精度检测。附图说明图1a为一个实施例中表格检测方法的应用环境图；图1b为一个实施例中表格检测方法的流程示意图；图2a为一个实施例中表格检测方法的流程示意图；图2b为一个实施例中U型网络模型的框架示意图；图2c为一个实施例中组合卷积块的框架示意图；图3a至3d为一个实施例中表格文档图像的示意图；图4为另一个实施例中表格检测方法的流程示意图；图5a为一个实施例中表格检测模型的训练方法的流程示意图；图5b为一个实施例中表格检测模型的训练方法的流程示意图；图6为一个实施例中表格检测装置的结构框图；图7为一个实施例中计算机设备的内部结构图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。随着深度学习更加广泛的应用于各个领域，以检测及识别文本图像信息为目的的光学字符识别(OpticalCharacterRecognition)技术得到的了快速发展。在文本检测中，常伴有表格文档，为保障表格内容的逻辑化输出，需要检测及识别表格文档中的表格信息。传统特征检测在检测线条时，对图像质量要求较高，将其应用于表格文档的检测时，泛化性较弱。传统的表格线特征提取方法多是应用图像特征提取线条，并进一步地判断优化。其对于清晰的文本图像中的表格线检测效果较好，但是对于模糊且表格线信息缺失的文本图像中的表格线检测效果不理想。在传统技术中，一方面，通过霍夫变换实现直线检测，其基本原理是利用点与线的对偶性，在直线检测任务中，图像空间中的直线与参数空间中的点是一一对应的，把在图像空间中的直线检测问题转换到参数空间中对点的检测问题，通过在参数空间里寻找峰值来完成直线检测任务。将霍夫变换应用在表格检测中，不仅对表格的背景要求高，还将输出表格线外的其他非必要线条。另一方面，采用语义分割U-net(ConvolutionalNetworksforBiomedicalImageSegmentation)算法进行图像特征的提取，U-net算法主要用于图像的像素级分类，将图像区域的进行精细分割，分割线框为图像中各分割物体的边界线，实现图像信息的精确理解。U-net作为经典的图像分割算法的最大特点是U型结构和跳跃连接(S本文档来自技高网...

【技术保护点】
1.一种表格检测方法，其特征在于，所述方法包括：/n将待检测的表格文档图像输入至对称网络，其中，所述对称网络包括卷积网络和反卷积网络，且所述卷积网络与所述反卷积网络连接成对称结构，所述卷积网络与所述反卷积网络分别包括若干层组合卷积块；/n通过所述卷积网络中的各层组合卷积块对所述表格文档图像进行卷积运算，得到对应的表格特征图，并输入至所述反卷积网络；/n通过所述反卷积网络中的组合卷积块对所述卷积网络中输出的表格特征图进行反卷积运算，得到对应的表格特征图，并与所述卷积网络中对应的相同尺寸的表格特征图进行融合；/n通过所述反卷积网络中的组合卷积块对融合后得到的表格特征图进行反卷积运算，得到表格结构特征图。/n

【技术特征摘要】
1.一种表格检测方法，其特征在于，所述方法包括：
将待检测的表格文档图像输入至对称网络，其中，所述对称网络包括卷积网络和反卷积网络，且所述卷积网络与所述反卷积网络连接成对称结构，所述卷积网络与所述反卷积网络分别包括若干层组合卷积块；
通过所述卷积网络中的各层组合卷积块对所述表格文档图像进行卷积运算，得到对应的表格特征图，并输入至所述反卷积网络；
通过所述反卷积网络中的组合卷积块对所述卷积网络中输出的表格特征图进行反卷积运算，得到对应的表格特征图，并与所述卷积网络中对应的相同尺寸的表格特征图进行融合；
通过所述反卷积网络中的组合卷积块对融合后得到的表格特征图进行反卷积运算，得到表格结构特征图。


2.根据权利要求1所述的方法，其特征在于，所述通过所述卷积网络中的各层组合卷积块对所述表格文档图像进行卷积运算，得到对应的表格特征图，并输入至所述反卷积网络，包括：
通过所述卷积网络中的第一层组合卷积块对所述表格文档图像进行特征提取，输出对应的表格特征图；
依次通过所述卷积网络中的其他各层组合卷积块对上一层输出的表格特征图进行卷积运算，将所述卷积网络中最后一层输出的表格特征图输入至所述反卷积网络；
所述通过所述反卷积网络中的组合卷积块对所述卷积网络中输出的表格特征图进行反卷积运算，得到对应的表格特征图，并与所述卷积网络中对应的相同尺寸的表格特征图进行融合，包括：
通过所述反卷积网络中的第一层组合卷积块对所述卷积网络中最后一层输出的表格特征图进行特征提取，输出对应的表格特征图，并与所述卷积网络中对应的相同尺寸的表格特征图进行融合；
所述通过所述反卷积网络中的组合卷积块对融合后得到的表格特征图进行反卷积运算，得到表格结构特征图，包括：
依次通过所述反卷积网络中的各层组合卷积块对上一层融合后输出的表格特征图进行反卷积运算，得到表格结构特征图。


3.根据权利要求2所述的方法，其特征在于，所述通过所述卷积网络中的第一层组合卷积块对所述表格文档图像进行特征提取，输出对应的表格特征图，包括：
通过所述卷积网络中的第一层组合卷积块对所述表格文档图像进行特征提取，得到表格全局特征、横向线条特征以及纵向线条特征，将所述表格全局特征、所述横向线条特征以及所述纵向线条特征进行融合，并通过卷积层对融合得到的结果进行降维处理，输出对应的表格特征图。


4.根据权利要求3所述的方法，其特征在于，所述组合卷积块包括对称卷积核、第一非对称卷积核和第二非对称卷积核；所述通过所述卷积网络中的第一层组合卷积块对所述表格文档图像进行特征提取，得到表格全局特征、横向线条特征以及纵向线条特征，包括：
通过所述对称卷积核对表格文档图像进行特征提取，得到所述表格全局特征；
通过所述第一非对称卷积核对表格文档图像进行特征提取，得到所述横向线条特征；
通过所述第二非对称卷积核对表格文档图像进行特征提取，得到所述纵向线条特征。


5.根据权利要求4所述的方法，其特征在于，所述对称卷积核的大小为N*N；所述第一非对称卷积核的大小为N*1；所述第二非对称卷积核的大小为1*N。


6.一种表格检测模型的训练方法，其特征在于，所述方法包括：
构建训练样本集，其中，所述训练样本集包括若干表格文档图像，所述表格文档图像具有对应的表格结构坐标文件；
将所述表格文档图像以及对应的表格结构坐标文件输入至搭建的对称网络，其中，所述对称网络包括卷积网络和反卷积网络，且所述卷积网络与所述反卷积网络连接成对称结构，所述卷积网络与所述反卷积网络分别包括若干层组合卷积块；
通过所述卷积网络中的各层组合卷积块对所述表格文档图像进行卷积运算，得到对应的表格特征图，并输入至所述反卷积网络；
通过所述反卷积网络...

【专利技术属性】
技术研发人员：张飞，孙腾腾，王楹，王建峰，梁波，
申请(专利权)人：苏州超云生命智能产业研究院有限公司，
类型：发明
国别省市：江苏;32