图像表格的结构化方法及图像表格结构化模型的训练方法技术

本说明书提供了一种图像表格的结构化方法及图像表格结构化模型的训练方法，所述方法包括：在所述图像中设置多条虚拟锚线，对所述图像进行特征提取，以得到所述图像对应的特征图，针对每条虚拟锚线生成对应的特征向量，对所述多条虚拟锚线对应的特征向量进行回归处理，以确定出匹配于所述待识别表格的表格线的目标虚拟锚线，以及根据所述目标虚拟锚线对应的特征向量所生成的回归坐标，所述回归坐标为所述待识别表格的表格线在所述图像中的坐标，根据生成的回归坐标，生成所述待识别表格对应的结构化表格。的结构化表格。的结构化表格。

【技术实现步骤摘要】
图像表格的结构化方法及图像表格结构化模型的训练方法


[0001]本说明书涉及图像识别
，尤其涉及一种图像表格的结构化方法及图像表格结构化模型的训练方法。

技术介绍

[0002]表格是信息表达的一种重要形式，其可以将数据组织成标准的结构，便于信息检索和比较。而当表格以图片的形式存在时，因为无法直接对图片中的表格内容进行信息检索和比较，所以需要对该图片进行图像识别，从而可以提取表格中的数据与结构信息，得到行列线条的分布和单元格之间的逻辑结构，最终实现表格文档的重建，从而使用户可以基于该电子化的表格实现高效、精准的数据分析。
[0003]在相关技术中，对于图像中的表格线识别不够准确，存在较大的误差。

技术实现思路

[0004]为克服相关技术中存在的问题，本说明书提供了一种图像表格的结构化方法及图像表格结构化模型的训练方法。
[0005]根据本说明书实施例的第一方面，提供一种图像表格的结构化方法，所述图像包含有待识别的表格，所述方法包括：
[0006]在所述图像中设置多条虚拟锚线，所述虚拟锚线由一组沿所述虚本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像表格的结构化方法，所述图像包含有待识别的表格，所述方法包括：在所述图像中设置多条虚拟锚线，所述虚拟锚线由一组沿所述虚拟锚线排列的虚拟锚点在所述图像上对应的原始坐标所定义；对所述图像进行特征提取，以得到所述图像对应的特征图；针对每条虚拟锚线生成对应的特征向量；其中，任一虚拟锚线对应的特征向量通过下述方式生成：基于所述图像与所述特征图之间的映射关系，确定所述任一虚拟锚线对应的虚拟锚点在所述特征图上对应的映射坐标，并基于所述特征图中位于该映射坐标处的像素特征生成特征向量；对所述多条虚拟锚线对应的特征向量进行回归处理，以确定出匹配于所述待识别表格的表格线的目标虚拟锚线，以及根据所述目标虚拟锚线对应的特征向量生成对应的回归坐标，所述回归坐标为所述待识别表格的表格线在所述图像中的坐标；根据生成的回归坐标，生成所述待识别表格对应的结构化表格。2.根据权利要求1所述的方法，所述在所述图像中设置多条虚拟锚线，包括：在所述图像边界处选取起始虚拟锚点；针对每个起始虚拟锚点生成一组虚拟锚线；其中，任一起始虚拟锚点对应的一组虚拟锚线通过下述方式生成：以所述任一起始虚拟锚线为端点、在所述图像所处的平面内确定一组射线，其中相邻射线之间具有预设夹角间隔；在各条射线上分别确定一组剩余虚拟锚点，并将所述任一起始虚拟锚点和各组剩余虚拟锚点分别组合为多组虚拟锚点，以用于定义所述任一起始虚拟锚点对应的一组虚拟锚线。3.根据权利要求2所述的方法，在以所述起始虚拟锚点所处的边界作为横轴、垂直于所述边界的直线作为纵轴建立有原始坐标系的情况下，所述在各条射线上分别确定一组剩余虚拟锚点，包括：在各条射线上根据预先设定的一组固定的纵轴坐标值分别确定位于所述射线上的一组对应的定位点，以将所述一组对应的定位点作为该条射线的所述一组剩余虚拟锚点。4.根据权利要求1所述的方法，所述基于所述图像与所述特征图之间的映射关系，确定所述任一虚拟锚线对应的虚拟锚点在所述特征图上对应的映射坐标，包括：将在所述图像边界处选取的起始虚拟锚点所处的边界作为横轴、垂直于所述边界的直线作为纵轴、所述起始虚拟锚点所处的边界的顶点为原点建立原始坐标系，以确定所述虚拟锚线对应的虚拟锚点在所述原始坐标系中对应的一组原始坐标；根据所述图像与所述特征图之间的下采样倍数，将所述原始坐标中的纵轴坐标值等倍数缩小，以将缩小后的数值作为所述虚拟锚点对应的映射坐标中的纵轴坐标值；根据映射坐标中的纵轴坐标值和所述虚拟锚线与所述坐标系横轴之间的夹角，确定所述虚拟锚点在特征图上的横轴映射值，并计算所述横轴映射值和将所述原始坐标中的横轴坐标值按照下采样倍数缩小后的数值之和，以作为所述虚拟锚点对应的映射坐标中的横轴坐标值。5.根据权利要求1所述的方法，所述基于所述图像与所述特征图之间的映射关系，确定所述任一虚拟锚线对应的虚拟锚点在所述特征图上对应的映射坐标，包括：将在所述图像边界处选取的起始虚拟锚点所处的边界作为横轴、垂直于所述边界的直线作为纵轴、所述起始虚拟锚点为原点建立原始坐标系，以确定所述虚拟锚线对应的虚拟
锚点在所述原始坐标系中对应的一组原始坐标；根据所述图像与所述特征图之间的下采样倍数，将所述原始坐标中的纵轴坐标值等倍数缩小，以将缩小后的数值作为所述虚拟锚点对应的映射坐标中的纵轴坐标值；根据映射坐标中的纵轴坐标值和所述虚拟锚线与所述坐标系横轴之间的夹角，确定所述虚拟锚点在特征图上的横轴映射值，以作为所述虚拟锚点对应的映射坐标中的横轴坐标值。6.根据权利要求1所述的方法，所述方法还包括：将所述图像输入至预先训练完成的结构化模型中；所述结构化模型包括：特征提取层、特征向量确定层和回归层；其中：所述特征提取层用于对所述图像进行特征提取，以得到所述图像对应的N个通道的特征图；所述特征向量确定层用于针对每条虚拟锚线的M个虚拟锚点在所述N个通道的特征图上的像素特征，生成对应M
×
N的特征向量，并将生成的M
×
N的特征向量进行全局平均池化，以得到以单个平均像素特征构成的1
×
N的特征向量；所述回归层用于对所述多条虚拟锚线对应的由单个平均像素特征构成的1
×
N的特征向量进行回归处理,以确定出匹配于所述待识别表格的表格线的目标虚拟锚线，并得到目标虚拟锚线对应的1
...

【专利技术属性】
技术研发人员：阮宇艨，朱禹轲，郭胜，韩冰，
申请(专利权)人：浙江网商银行股份有限公司，
类型：发明
国别省市：