【技术实现步骤摘要】
【国外来华专利技术】表单识别方法、表格提取方法及相关装置
本公开涉及计算机视觉技术，尤其涉及一种表单识别方法、表格提取方法及相关装置。
技术介绍
目前通常应用OCR(OpticalCharacterRecognition，光学字符识别)技术对文本资料扫描图像进行识别。利用该技术可以识别大部分的文本文字，但遇到表单时，经常会出现乱码，无法对表单进行正确识别。因此，如何提高表单图像的识别精度，是本领域亟待解决的问题。
技术实现思路
本公开实施例提供了一种表单识别方案和表格提取方案。第一方面，提供一种表单识别方法，所述方法包括：对待识别表单图像进行表格线提取处理，得到所述待识别表单图像的表格线提取结果，所述表格线提取结果包括多个第一表格线和/或多个第一表格线交点；基于所述待识别表单图像的表格线提取结果和预设表单模板，对所述待识别表单图像进行矫正处理，其中，所述预设表单模板上具有预设的多个第二表格线和/或预设的多个第二表格线交点；对矫正处理后的所述待识别表单图像进行文本识别处理，得到表单识别结果。结合本公开提...
【技术保护点】
1.一种表单识别方法，其特征在于，所述方法包括：/n对待识别表单图像进行表格线提取处理，得到所述待识别表单图像的表格线提取结果，所述表格线提取结果包括多个第一表格线和/或多个第一表格线交点；/n基于所述待识别表单图像的表格线提取结果和预设表单模板，对所述待识别表单图像进行矫正处理，其中，所述预设表单模板上具有预设的多个第二表格线和/或预设的多个第二表格线交点；/n对矫正处理后的所述待识别表单图像进行文本识别处理，得到表单识别结果。/n
【技术特征摘要】
【国外来华专利技术】20190930 CN 20191094410171.一种表单识别方法，其特征在于，所述方法包括：
对待识别表单图像进行表格线提取处理，得到所述待识别表单图像的表格线提取结果，所述表格线提取结果包括多个第一表格线和/或多个第一表格线交点；
基于所述待识别表单图像的表格线提取结果和预设表单模板，对所述待识别表单图像进行矫正处理，其中，所述预设表单模板上具有预设的多个第二表格线和/或预设的多个第二表格线交点；
对矫正处理后的所述待识别表单图像进行文本识别处理，得到表单识别结果。
2.根据权利要求1所述的方法，其特征在于，所述基于所述待识别表单图像的表格线提取结果和预设表单模板，对所述待识别表单图像进行矫正处理，包括：
对所述多个第一表格线与所述多个第二表格线进行匹配处理，得到表格线匹配结果，和/或对所述多个第一表格线交点与所述多个第二表格线交点进行匹配处理，得到表格线交点匹配结果；
基于所述表格线匹配结果和/或表格线交点匹配结果，对所述待识别表单图像进行矫正处理。
3.根据权利要求2所述的方法，其特征在于，所述基于所述表格线匹配结果和/或表格线交点匹配结果，对所述待识别表单图像进行矫正处理，包括：
基于所述表格线匹配结果和/或表格线交点匹配结果，得到所述待识别表单图像与所述预设表单模板之间的变换参数，其中，所述表格线匹配结果包括所述多个第一表格线与所述多个第二表格线之间的多个表格线对的匹配结果，所述表格线交点匹配结果包括所述多个第一表格线交点与所述多个第二表格线交点之间的多个表格线交点对的匹配结果；
根据所述变换参数，对所述待识别表单图像进行矫正处理。
4.根据权利要求3所述的方法，其特征在于，所述基于所述表格线匹配结果和/或表格线交点匹配结果，得到所述待识别表单图像与所述预设表单模板之间的变换参数，包括：
基于所述多个表格线对中匹配的表格线对，和/或，基于所述多个表格线交点对中匹配的表格线交点对，得到所述待识别表单图像与所述预设表单模板之间的变换参数。
5.根据权利要求3或4所述的方法，其特征在于，
所述基于所述表格线匹配结果和/或表格线交点匹配结果，得到所述待识别表单图像与所述预设表单模板之间的变换参数，包括：
基于所述多个表格线对中匹配置信度大于第一设定值的表格线对，和/或基于所述多个表格线交点对中匹配置信度高于第二设定值的表格线交点对，获得变换参数。
6.根据权利要求3至5任一项所述的方法，其特征在于，所述基于所述表格线匹配结果和/或表格线交点匹配结果，得到所述待识别表单图像与所述预设表单模板之间的变换参数，包括：
基于所述表格线匹配结果和/或表格线交点匹配结果，确定目标区域，其中，所述目标区域中包括的表格线和/或表格线交点的匹配结果满足预设条件；
基于所述目标区域中的表格线和/或表格线交点的匹配结果，得到所述待识别表单图像与所述预设表单模板之间的变换参数。
7.根据权利要求6所述的方法，其特征在于，所述预设条件包括下列中的一项或任意多项：
所述目标区域中匹配的表格线对和/或表格线交点对的数量满足第一条件；
所述目标区域中的表格线对和/或表格线交点对的匹配置信度满足第二条件。
8.根据权利要求3至7中任一项所述的方法，其特征在于，所述预设表单模板包括至少两个模板区域，
所述基于所述表格线匹配结果和/或表格线交点匹配结果，得到所述待识别表单图像与所述预设表单模板之间的变换参数，包括：
基于所述表格线匹配结果和/或表格线交点匹配结果，得到所述至少两个模板区域中每个模板区域对应的变换参数；
所述根据所述变换参数，对所述待识别表单图像进行矫正处理，包括：
根据所述至少两个模板区域中每个模板区域对应的变换参数，对所述每个模板区域在所述待识别表单图像中的对应区域进行矫正处理。
9.根据权利要求1至8任一项所述的方法，其特征在于，所述基于所述待识别表单图像的表格线提取结果和预设表单模板，对所述待识别表单图像进行矫正处理，包括：
响应于所述多个第一表格线中匹配的表格线对的比例达到第一比例数值，和/或响应于所述多个第一表格线交点中匹配的表格线交点对的比例达到第二比例数值，基于所述待识别表单图像的表格线提取结果和预设表单模板，对所述待识别表单图像进行矫正处理。
10.根据权利要求1至9任一项所述的方法，其特征在于，所述对矫正处理后的所述待识别表单图像进行文本识别处理，得到表单识别结果，包括：
对矫正后的表单图像进行文本检测，获得所述待识别表单图像的多个文本检测框；
对所述多个文本检测框进行文本识别，获得文本识别结果；
基于所述多个文本检测框与所述多个第一表格线限定而成的多个表格框之间的交并比，得到表单识别结果。
11.根据权利要求1至9任一项所述的方法，其特征在于，所述对矫正处理后的所述待识别表单图像进行文本识别处理，得到表单识别结果，包括：
基于所述预设表单模板，确定所述待识别表单图像中由所述多个第一表格线限定而成的多个表格框中待检测的至少一个目标表格框；
对所述至少一个目标表格框进行文本识别，获得所述至少一个目标表格框中每个目标表格框的文本识别结果；
基于所述至少一个目标表格框的文本识别结果，得到表单识别结果。
12.根据权利要求11所述的方法，其特征在于，所述基于所述预设表单模板，确定所述待识别表单图像中由所述多个第一表格线限定而成的多个表格框中待检测的至少一个目标表格框，包括：
接收用户输入的识别条件；
基于识别条件，确定所述预设表单模板的多个表格框中的至少一个目标表格框。
13.根据权利要求11或12所述的方法，其特征在于，所述方法还包括：为所述目标表格框设定属性；
所述基于所述至少一个目标表格框的文本识别结果，得到表单识别结果，包括：
基于所述目标表格框的属性和所述目标表格框的文本识别结果，得到表单识别结果。
14.根据权利要求1至13任一项所述的方法，其特征在于，所述方法还包括：
对参考表单图像进行表格线提取处理，得到所述参考表单图像的表格线提取结果；
基于用户输入，对所述参考表单图像的表格线提取结果进行修正处理，得到所述预设表单模板。
15.根据权利要求1至14任一项所述的方法，其特征在于，所述对所述待识别表单图像进行表格线提取处理，得到所述待识别表单图像的表格线提取结果，包括：
确定所述待识别表单图像中的多个有向单连通链；
对所述多个有向单连通链中符合合并条件的至少两个有向单连通链进行第1合并处理，得到多个第1合并线段；
对多个第i合并线段中符合所述合并条件的至少两个第i合并线段进行第i+1合并处理，得到至少一个第i+1合并线段；
基于N次合并处理的合并结果，得到所述待识别表单图像的表格线提取结果，其中，i和N为整数，且i大于1且小于N。
16.根据权利要求15所述的方法，其特征在于，所述方法还包括：
对所述第i合并线段的至少一端扩展至少一个相素，得到所述第i合并线段的扩展线段；
基于所述多个第i合并线段中每个第i合并线段的扩展线段，从所述多个第i合并线段中确定符合所述合并条件的至少两个第i合并线段。
17.根据权利要求15或16所述的方法，其特征在于，所述合并条件包括下列中的一项或任意多项：
两个待合并对象的端点之间的最小距离小于第一阈值；
所述两个待合并对象的端点之间的最大距离小于第二阈值；
所述两个待合并对象的各个端点与所述最大距离所对应的连线之间的最大距离小于所述第二阈值；
其中，所述待合并对象为有向单连通链或第i合并线段。
18.一种表单识别方法，其特征在于，所述方法包括：
对参考表单图像进行表格线提取处理，得到所述参考表单图像的表格线提取结果；
基于所述表格线提取结果，生成表单模板，其中，所述表单模版包括多个第二表格线和/或多个第二表格线交点；
基于所述表单模板，对待识别表单图像进行文本识别处理，得到表单识别结果。
19.根据权利要求18所述的方法，其特征在于，所述基于所述表格线提取结果，生成表单模板，包括：
显示所述表格线提取结果；
响应于接收到用户的确认指令，基于所述表格线提取结果生成表单模板。
20.根据权利要求18所述的方法，其特征在于，所述基于所述表格线提取结果，生成表单模板，包括：
响应于接收到用户的调整指令，对所述表格线提取结果进行调整处理，得到调整结果；
基于所述调整结果，生成表单模板。
21.根据权利要求18至20任一项所述的方法，其特征在于，所述方法还包括：
接收用户的识别指令，所述识别指令用于指示所述表单模板中需要识别的目标表项；
所述基于所述表单模板，对待识别表单图像进行文本识别处理，得到表单识别结果，包括：
基于所述表单模板，对所述待识别表单图像中的目标表项进行文本识别处理，得到表单识别结果。
22.根据权利要求18至21任一项所述的方法，其特征在于，所述对参考表单图像进行表格线提取处理，得到所述参考表单图像的表格线提取结果，包括：
确定所述参考表单图像中的多个有向单连通链；
对所述多个有向单连通链中符合合并条件的至少两个有向单连通链进行第1合并处理，得到多个第1合并线段；
对多个第i合并线段中符合所述合并条件的至少两个第i合并线段进行第i+1合并处理，得到至少一个第i+1合并线段；
基于N次合并处理的合并结果，得到所述参考表单图像的表格线提取结果，其中，i和N为整数，且i大于1且小于N。
23.根据权利要求22所述的方法，其特征在于，所述方法还包括：
对所述第i合并线段的至少一端扩展至少一个相素，得到所述第i合并线段的扩展线段；
基于所述多个第i合并线段中每个第i合并线段的扩展线段，从所述多个第i合并线段中确定符合所述合并条件的至少两个第i合并线段。
24.根据权利要求22或23所述的方法，其特征在于，所述合并条件包括下列中的一项或任意多项：
两个待合并对象的端点之间的最小距离小于第一阈值；
所述两个待合并对象的端点之间的最大距离小于第二阈值；
所述两个待合并对象的各个端点与所述最大距离所对应的连线之间的最大距离小于所述第二阈值；
其中，所述待合并对象为有向单连通链或第i合并线段。
25.根据权利要求18至24任一项所述的方法，其特征在于，所述基于所述表单模板，对待识别表单图像进行文本识别处理，得到表单识别结果包括：
对所述待识别表单图像进行表格线提取处理，得到所述待识别表单图像的表格线提取结果，所述表格线提取结果包括多个第一表格线和/或多个第一表格线交点；
基于所述表单模板中包含的多个第二表格线和/或多个第二表格线交点，以及所述待识别表单图像的表格线提取结果，得到变换参数；
根据所述变换参数，对所述待识别表单图像进行文本识别处理，得到表单识别结果。
26.根据权利要求25所述的方法，其特征在于，所述基于所述表单模板中包含的多个第二表格线和/或多个第二表格线交点，以及所述待识别表单图像的表格线提取结果，得到变换参数，包括：
对所述多个第一表格线与所述多个第二表格线进行匹配处理，得到表格线匹配结果，和/或对所述多个第一表格线交点与所述多个第二表格线交点进行匹配处理，得到表格线交点匹配结果；
基于所述表格线匹配结果和/或表格线交点匹配结果，得到所述待识别表单图像与所述表单模板之间的变换参数，其中，所述表格线匹配结果包括所述多个第一表格线与所述多个第二表格线之间的多个表格线对的匹配结果，所述表格线交点匹配结果包括所述多个第一表格线交点与所述多个第二表格线交点之间的多个表格线交点对的匹配结果。
27.根据权利要求26所述的方法，其特征在于，所述基于所述表格线匹配结果和/或表格线交点匹配结果，得到所述待识别表单图像与所述表单模板之间的变换参数，包括：
基于所述表格线匹配结果和/或表格线交点匹配结果，确定目标区域，其中，所述目标区域中包括的表格线和/或表格线交点的匹配结果满足预设条件；
基于所述目标区域中的表格线和/或表格线交点的匹配结果，得到所述待识别表单图像与所述表单模板之间的变换参数。
28.根据权利要求27所述的方法，其特征在于，所述预设条件包括下列中的一项或任意多项：
所述目标区域中匹配的表格线对和/或表格线交点对的数量满足第一条件；
所述目标区域中表格线对和/或表格线交点对的匹配置信度满足第二条件。
29.根据权利要求25至28任一项所述的方法，其特征在于，所述根据所述变换参数，对所述待识别表单图像进行文本识别处理，得到表单识别结果，包括：
根据所述变换参数，对所述待识别表单图像进行矫正处理；
对所述矫正处理后的待识别表单图像进行文本识别处理，得到表单识别结果。
30.一种表格提取方法，其特征在于，所述方法包括：
确定待识别的表单图像中的多个有向单连通链；
对所述多个有向单连通链中符合合并条件的至少两个有向单连通链进行第1合并处理，得到多个第1合并线段；
对多个第i合并线段中符合所述合并条件的至少两个第i合并线段进行第i+1合并处理，得到至少一个第i+1合并线段；
基于N次合并处理的合并结果，得到所述表单图像的表格线提取结果，其中，i和N为整数，且i大于1且小于N。
31.根据权利要求30所述的方法，其特征在于，所述方法还包括：
对所述第i合并线段的至少一端扩展至少一个相素，得到所述第i合并线段的扩展线段；
基于所述多个第i合并线段中每个第i合并线段的扩展线段，从所述多个第i合并线段中确定符合所述合并条件的至少两个第i合并线段。
32.根据权利要求30或31所述的方法，其特征在于，所述合并条件包括下列中的一项或任意多项：
两个待合并对象的端点之间的最小距离小于第一阈值；
所述两个待合并对象的端点之间的最大距离小于第二阈值；
所述两个待合并对象的各个端点与所述最大距离所对应的连线之间的最大距离小于所述第二阈值；
其中，所述待合并对象为有向单连通链或第i合并线段。
33.一种表单识别装置，其特征在于，所述装置包括：
处理单元，用于对待识别表单图像进行表格线提取处理，得到所述待识别表单图像的表格线提取结果，所述表格线提取结果包括多个第一表格线和/或多个第一表格线交点；
矫正单元，用于基于所述待识别表单图像的表格线提取结果和预设表单模板，对所述待识别表单图像进行矫正处理，其中，所述预设表单模板上具有预设的多个第二表格线和/或预设的多个第二表格线交点；
识别单元，用于对矫正处理后的所述待识别表单图像进行文本识别处理，得到表单识别结果。
34.根据权利要求33所述的装置，其特征在于，所述矫正单元具体用于：
对所述多个第一表格线与所...
【专利技术属性】
技术研发人员：詹明捷，刘学博，梁鼎，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。