【技术实现步骤摘要】
本申请涉及表格识别，具体而言，涉及一种通用表格的识别方法及装置。
技术介绍
1、目前，表格广泛存在于科技文献、财务报表、报纸杂志等各类文档中，用于紧凑地存储和展示数据，蕴含着大量有用信息。表格识别是表格信息再利用的基础，具有重要的应用价值。随着深度学习的发展，针对表格识别的新研究和新方法纷纷涌现，然而表格大小、种类与样式复杂多样，例如表格中存在不同的背景填充，不同的行列合并方式，不同的内容文本类型等，并且现有文档既包括现代的、电子的文档，也有历史的、扫描的手写文档，它们的文档样式、所处光照环境以及纹理等都有比较大的差异，导致对于表格的识别一直是文档识别领域的研究难点，无法准确有效的形成对多种形式的表格识别。
技术实现思路
1、有鉴于此，本申请的目的在于提供一种通用表格的识别方法及装置，能够通过对图片中的文字内容、文字位置、表格格式等的识别，形成excel格式文件和html格式表格，解决了现有技术中存在的对于表格的识别一直是文档识别领域的研究难点，无法准确有效的形成对多种形式的表格识别的问题，达到准确地对多种形式的表格进行识别的效果。
2、第一方面，本申请实施例提供了一种通用表格的识别方法，所述方法包括：获取待检测图片，所述待检测图片中包括待检测表格；对待检测图片进行处理，得到目标图片，所述目标图片中包括目标格式的待检测表格；对目标图片进行ocr文字识别，确定表格内的文字位置和文字内容；对目标图片中的待检测表格格式进行识别，确定待检测表格的表格结构；根据待检测表格的表格结
3、可选地，通过以下步骤对待检测图片进行处理：基于训练后的anglenet结构模型对所述待检测图片进行角度检测，确定所述待检测图片的角度；根据待检测图片的角度对所述待检测图片进行角度校正，得到校正后的待检测图片；对校正后的待检测图片进行分割，得到待检测图片表格区域的区域掩码结果；根据待检测图片表格区域的区域掩码结果，确定目标图片。
4、可选地，根据待检测图片表格区域的区域掩码结果，确定目标图片的步骤包括：对待检测图片表格区域的区域掩码结果进行置信度过滤，得到第一中间图片；对第一中间图片进行掩码合并，得到第二中间图片；对第二中间图片进行掩码边界计算和图片裁剪，得到目标图片。
5、可选地，对待检测图片进行分割和对目标图片中的待检测表格格式进行识别采用mask2former模型，所述mask2former模型的骨干网络选择swin-transformer结构，并使用iou-loss与crossentropyloss作为损失函数，进行训练参数调整，对掩码边框计算采用findcontours以及minarearect算法。
6、可选地，通过以下步骤对待检测图片表格区域的区域掩码结果进行置信度过滤：计算待检测图片表格区域的区域掩码结果的置信度，得到待检测图片表格区域的置信度分数；判断所述置信度分数是否大于预设数值，所述预设数值为thr；若所述置信度分数大于预设数值，则确定待检测图片表格区域为第一中间图片；若所述置信度分数小于或等于预设数值，则确定误判所述待检测图片的表格区域，并删除所述待检测图片的表格区域。
7、可选地，所述ocr文字识别采用psenet作为文字检测模型，采用crnn作为文字识别模型。
8、可选地，所述待检测表格的表格结构包括有线表格结构和无线表格结构，其中，通过以下步骤确定有线表格结构的待检表格的结构信息：基于训练后的有线表格识别模型，对检测到的表格线进行面积阈值筛选和腐蚀膨胀，以消除干扰线；识别消除干扰线的有线表格的连通区域，并确定所述待检测表格的每个单元格的坐标，以确定有线表格的结构信息，其中，有线表格识别模型结构采用upernet结构，骨干网络选择swin-transformer网络。
9、可选地，通过以下步骤确定无线表格结构的待检表格的结构信息：基于训练后的无线表格识别模型，对无线表格的html标记以及无线表格的每个单元格位置坐标进行预测，以确定无线表格的结构信息，其中，所述无线表格识别模型采用image2sequence的算法模型，网络结构采用tablemaster结构，骨干网络采用resnet。
10、可选地，通过以下步骤形成excel格式文件和html格式表格：对待检测表格的表格结构、表格内的文字位置和文字内容进行匹配；基于预先设定的匹配规则，根据每个文字位置和每个表格位置的相交值，判断文字位置是否在表格位置内；若文字位置在表格位置内，则将文字内容填充至所述表格位置对应的表格中，以形成excel格式文件和html格式表格。
11、第二方面，本申请实施例还提供了一种通用表格的识别装置，所述装置包括：
12、待检测图片获取模块，用于获取待检测图片，所述待检测图片中包括待检测表格；
13、目标图片确定模块，用于对待检测图片进行处理，得到目标图片，所述目标图片中包括目标格式的待检测表格；
14、文字信息确定模块，用于对目标图片进行ocr文字识别，确定表格内的文字位置和文字内容；
15、表格结构确定模块，用于对目标图片中的待检测表格格式进行识别，确定待检测表格的表格结构；
16、表格形成模块，用于根据待检测表格的表格结构、表格内的文字位置和文字内容，形成excel格式文件和html格式表格。
17、第三方面，本申请实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的通用表格的识别方法的步骤。
18、第四方面，本申请实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述的通用表格的识别方法的步骤。
19、本申请实施例提供的通用表格的识别方法及装置，能够通过对图片中的文字内容、文字位置、表格格式等的识别，形成excel格式文件和html格式表格，解决了现有技术中存在的对于表格的识别一直是文档识别领域的研究难点，无法准确有效的形成对多种形式的表格识别的问题，达到准确地对多种形式的表格进行识别的效果。
20、为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
本文档来自技高网...【技术保护点】
1.一种通用表格的识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，通过以下步骤对待检测图片进行处理：
3.根据权利要求2所述的方法，其特征在于，根据待检测图片表格区域的区域掩码结果，确定目标图片的步骤包括：
4.根据权利要求3所述的方法，其特征在于，对待检测图片进行分割和对目标图片中的待检测表格格式进行识别采用Mask2Former模型，所述Mask2Former模型的骨干网络选择Swin-Transformer结构，并使用IOU-Loss与CrossEntropyLoss作为损失函数，进行训练参数调整，
5.根据权利要求3所述的方法，其特征在于，通过以下步骤对待检测图片表格区域的区域掩码结果进行置信度过滤：
6.根据权利要求1所述的方法，其特征在于，所述OCR文字识别采用PSENet作为文字检测模型，采用CRNN作为文字识别模型。
7.根据权利要求1所述的方法，其特征在于，所述待检测表格的表格结构包括有线表格结构和无线表格结构，
8.根据权利要求1所述的方法，其特
9.根据权利要求1所述的方法，其特征在于，通过以下步骤形成Excel格式文件和HTML格式表格：
10.一种通用表格的识别装置，其特征在于，所述装置包括：
...【技术特征摘要】
1.一种通用表格的识别方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，通过以下步骤对待检测图片进行处理：
3.根据权利要求2所述的方法，其特征在于，根据待检测图片表格区域的区域掩码结果，确定目标图片的步骤包括：
4.根据权利要求3所述的方法，其特征在于，对待检测图片进行分割和对目标图片中的待检测表格格式进行识别采用mask2former模型，所述mask2former模型的骨干网络选择swin-transformer结构，并使用iou-loss与crossentropyloss作为损失函数，进行训练参数调整，
5.根据权利要求3所述的...
【专利技术属性】
技术研发人员：刘东，陈鸣，王琦琦，
申请(专利权)人：金科览智科技北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。