一种表格文档比对识别方法及装置制造方法及图纸

本发明专利技术公开一种表格文档比对识别方法及装置，该方法包括：通过表格文档定位模型对待比对的纸质表格文档进行定位，通过表格图像增强模型进行待比对图像背景优化，通过表格检测模型得到表格区域图片，利用表格结构识别模型和文字识别模型对表格区域图片进行识别，最后将识别的结果送入差异比对模型，输出表格单元格和文字的比对识别结果；本发明专利技术针对有对应关系的纸质表格文档和电子表格文档，提取文本内容和表格结构，识别表格内容之间的差异，自动化地进行表格文档的审核，可以提高表格文档审核的效率和降低审核成本。核的效率和降低审核成本。核的效率和降低审核成本。

【技术实现步骤摘要】
一种表格文档比对识别方法及装置


[0001]本专利技术实施例涉及人工智能
，尤其涉及一种表格文档比对识别方法及装置。

技术介绍

[0002]在针对电子文档，例如pdf文件、图片等无法进行文字编辑的表格文档进行比对审核时，需要人工对表格内容进行核对，在面对大量的表格文档数据比对时会耗费巨大的人力和物力。
[0003]传统的自动化差异比对的方法解决了部分比对的问题。传统的采用基于像素差异比对的方法，可以准确地定位到差异位置，但是像素差异的文档比对识别方法通常针对两份表格文档有较高的要求，必须保证两份表格文档的排版不变。在面对纸质表格文档和电子表格文档的比对时，由于纸质文档的采集会导致表格的位置发生偏移，不能保证排版的一致性，导致基于像素的比对方法产生较大的误差。
[0004]目前，OCR技术已经相对成熟，采用OCR识别表格文档，然后通过识别到的文本内容进行差异比对。OCR技术在识别表格内容时，能够输出文字的坐标位置和相应的文字内容，通过文字坐标关联两份表格对应的文本，然后通过比对文本内容来进行差异比对。基于OCR技术的表格比对，存在与基于像素比对方法同样的问题，在纸质表格文档的采集过程中，表格会发生畸变，导致OCR识别的坐标位置并不能准确的匹配到电子文档对应的文字上，造成错误的匹配，从而导致较大的比对误差。
[0005]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0006]本专利技术提供了一种表格文档比对识别的方法及装置，用于解决现有基于像素差异比对和单一OCR识别方法针对纸质表格文档比对存在像素偏移和采集过程中表格畸变情况会产生较大比对误差的问题。
[0007]本专利技术提供的一种表格文档比对识别方法包括以下步骤：
[0008]接收待比对的纸质表格文档图片和对应的标准电子表格文档，将标准电子表格文档转换成标准表格文档图片；
[0009]将所述待比对的纸质表格文档图片输入到表格文档定位模型，得到位置矫正的纸质表格文档图片；
[0010]将所述位置矫正的纸质表格文档图片输入到表格图像增强模型，得到背景优化的待比对纸质表格文档图片；
[0011]将所述背景优化的待比对纸质表格文档图片输入到表格检测模型，得到待比对的表格区域图片；将所述标准表格文档图片输入到所述表格检测模型，得到标准的表格区域图片；
[0012]将所述待比对的表格区域图片输入到表格结构识别模型，得到待比对的单元格交点坐标；将所述标准的表格区域图片输入到所述表格结构识别模型，得到标准的单元格交点坐标；
[0013]将所述待比对的表格区域图片输入到文字识别模型，得到待比对的文字矩形框坐标和文本；将所述标准的表格区域图片所述输入到文字识别模型，得到标准的文字矩形框坐标和文本；
[0014]将所述待比对的文字矩形框坐标和文本输入到差异比对模型，同时将所述标准的文字矩形框坐标和文本输入到所述差异比对模型，得到表格单元格和文字的比对识别结果。
[0015]优选地，所述表格文档定位模型采用基于语义分割的表格文档定位模型进行纸质表格文档区域的定位和矫正；
[0016]相应地，所述将所述待比对的纸质表格文档图片输入到表格文档定位模型，得到位置矫正的纸质表格文档图片的具体步骤包括：
[0017]步骤S11：分割出所述待比对的纸质表格文档图片的像素区域，得到所述待比对的纸质表格文档掩码图；
[0018]步骤S12：计算所述待比对的纸质表格文档掩码图的四个角点坐标；
[0019]步骤S13：通过将所述四个文档角点坐标做透视变换，裁剪出文档区域，得到位置矫正的纸质表格文档图片。
[0020]优选地，所述表格图像增强模型，采用基于去光照的方法对矫正的纸质表格文档图片进行图像增强；
[0021]相应地，所述将所述位置矫正的纸质表格文档图片输入到表格图像增强模型，得到背景优化的待比对纸质表格文档图片的具体步骤包括：
[0022]步骤S21：对所述位置矫正的纸质表格文档图片进行高斯模糊，得到光照均匀的背景图片；
[0023]步骤S22：将所述位置矫正的纸质表格文档图片和所述背景图片做除法运算，得到权重图；
[0024]步骤S23：将所述权重图进行缩放处理，得到去光照的纸质表格文档图片；
[0025]步骤S24：将所述去光照的纸质表格文档图片进行对比度增强和锐化处理，得到图像增强后的纸质表格文档图片，将所述图像增强后的纸质表格文档图片作为背景优化的待比对纸质表格文档图片。
[0026]优选地，所述表格检测模型，采用基于深度学习的表格检测模型定位表格区域；
[0027]相应地，所述将所述背景优化的待比对纸质表格文档图片输入到表格检测模型，得到待比对的表格区域图片；将所述标准表格文档图片输入到所述表格检测模型，得到标准的表格区域图片的步骤，具体包括：
[0028]步骤S31：对所述图像增强的纸质表格文档图片进行表格检测，得到表格区域矩形坐标，裁剪出待比对的表格区域图片；
[0029]步骤S32：对所述标准表格文档图片进行表格检测，得到表格区域矩形坐标，裁剪出标准的表格区域图片；
[0030]步骤S33：通过表格坐标匹配，得到待比对的表格和标准的表格对应的匹配对。
[0031]优选地，所述步骤S33中，通过表格坐标匹配，得到待比对的表格和标准表格对应的匹配对的步骤，具体包括：
[0032]步骤S311：选取待比对表格的一个矩形坐标和标准表格的所有矩形坐标进行交并比计算，选取交并比最大并且满足设定阈值的标准表格矩形坐标，匹配到待比对表格当前的矩形坐标；
[0033]步骤S312：将待比对表格后续的矩形坐标进行匹配计算，得到所述待比对表格和所述标准表格的坐标匹配关系；
[0034]步骤S313：将待比对表格中未匹配到的矩形坐标标记为新增的表格坐标，将标准表格中未被匹配的矩形坐标标记为缺失的表格坐标；
[0035]步骤S314：根据检测的矩形坐标，裁剪出表格图片，将裁剪的表格图片通过匹配关系构建表格图片对，所述图片对为所述待比对的表格区域图片和所述标准的表格区域图片。
[0036]优选地，所述表格结构识别模型，采用语义分割模型得到表格框线，通过框线交点得到表格单元格，具体步骤包括：
[0037]步骤S41：语义分割模型分割步骤S314中所述的表格图片对，得到表格图片对的表格框线；所述表格图片对的表格框线包括：所述待比对的表格区域图片的表格框线，和所述标准的表格区域图片的表格框线；
[0038]步骤S42：对所述表格图片对的表格框线进行交点检测，得到表格单元格坐标；
[0039]步骤S43：对得到的表格单元格进行四边校验，过滤掉不闭合的表格单元格。
[0040]优选地，所述步骤S43中，对表格单元格进行四边校验的方法，具体步骤包括：
[0041]步骤S51：对步骤S52中得到的表格单元格本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种表格文档比对识别的方法，其特征在于，所述方法包括以下步骤：接收待比对的纸质表格文档图片和对应的标准电子表格文档，将标准电子表格文档转换成标准表格文档图片；将所述待比对的纸质表格文档图片输入到表格文档定位模型，得到位置矫正的纸质表格文档图片；将所述位置矫正的纸质表格文档图片输入到表格图像增强模型，得到背景优化的待比对纸质表格文档图片；将所述背景优化的待比对纸质表格文档图片输入到表格检测模型，得到待比对的表格区域图片；将所述标准表格文档图片输入到所述表格检测模型，得到标准的表格区域图片；将所述待比对的表格区域图片输入到表格结构识别模型，得到待比对的单元格交点坐标；将所述标准的表格区域图片输入到所述表格结构识别模型，得到标准的单元格交点坐标；将所述待比对的表格区域图片输入到文字识别模型，得到待比对的文字矩形框坐标和文本；将所述标准的表格区域图片所述输入到文字识别模型，得到标准的文字矩形框坐标和文本；将所述待比对的文字矩形框坐标和文本输入到差异比对模型，同时将所述标准的文字矩形框坐标和文本输入到所述差异比对模型，得到表格单元格和文字的比对识别结果。2.根据权利要求1所述的表格文档比对识别的方法，其特征在于，所述表格文档定位模型采用基于语义分割的表格文档定位模型进行纸质表格文档区域的定位和矫正；相应地，所述将所述待比对的纸质表格文档图片输入到表格文档定位模型，得到位置矫正的纸质表格文档图片的具体步骤包括：步骤S11：分割出所述待比对的纸质表格文档图片的像素区域，得到所述待比对的纸质表格文档掩码图；步骤S12：计算所述待比对的纸质表格文档掩码图的四个角点坐标；步骤S13：通过将所述四个文档角点坐标做透视变换，裁剪出文档区域，得到位置矫正的纸质表格文档图片。3.根据权利要求1所述的表格文档比对识别的方法，其特征在于，所述表格图像增强模型，采用基于去光照的方法对矫正的纸质表格文档图片进行图像增强；相应地，所述将所述位置矫正的纸质表格文档图片输入到表格图像增强模型，得到背景优化的待比对纸质表格文档图片的具体步骤包括：步骤S21：对所述位置矫正的纸质表格文档图片进行高斯模糊，得到光照均匀的背景图片；步骤S22：将所述位置矫正的纸质表格文档图片和所述背景图片做除法运算，得到权重图；步骤S23：将所述权重图进行缩放处理，得到去光照的纸质表格文档图片；步骤S24：将所述去光照的纸质表格文档图片进行对比度增强和锐化处理，得到图像增强后的纸质表格文档图片，将所述图像增强后的纸质表格文档图片作为背景优化的待比对纸质表格文档图片。4.根据权利要求3所述的表格文档比对识别的方法，其特征在于，所述表格检测模型，
采用基于深度学习的表格检测模型定位表格区域；相应地，所述将所述背景优化的待比对纸质表格文档图片输入到表格检测模型，得到待比对的表格区域图片；将所述标准表格文档图片输入到所述表格检测模型，得到标准的表格区域图片的步骤，具体包括：步骤S31：对所述图像增强的纸质表格文档图片进行表格检测，得到表格区域矩形坐标，裁剪出待比对的表格区域图片；步骤S32：对所述标准表格文档图片进行表格检测，得到表格区域矩形坐标，裁剪出标准的表格区域图片；步骤S33：通过表格坐标匹配，得到待比对的表格和标准的表格对应的匹配对。5.根据权利要求4所述的表格文档比对识别的方法，其特征在于，所述步骤S33中，通过表格坐标匹配，得到待比对的表格和标准表格对应的匹配对的步骤，具体包括：步骤S311：选取待比对表格的一个矩形坐标和标准表格的所有矩形坐标进行交并比计算，选取交并比最大并且满足设定阈值的标准表格矩形坐标，匹配到待比对表格当前的矩形坐标；步骤S312：将待比对表格后续的矩形坐标进行匹配计算，得到所述待比对表格和所述标...

【专利技术属性】
技术研发人员：陈鹏飞，林健，易秋晨，
申请(专利权)人：东云睿连武汉计算技术有限公司，
类型：发明
国别省市：