本发明专利技术涉及计算机视觉技术领域，提供了一种文档图像版面分析方法、装置、计算机设备和存储介质，所述方法包括：对文档图像进行多尺寸高维语义特征提取，得到多尺寸高维语义特征；将所述多尺寸高维语义特征输入至训练好的文本子网络挖掘文本行上下文语义信息并进行多尺寸语义合并，得到文本检测结果；将所述多尺寸高维语义特征分别输入至训练好的图片子网络和表格子网络，由所述图片子网络输出图片检测结果和所述表格子网络输出表格检测结果；结合所述文本检测结果、所述图片检测结果和所述表格检测结果，得到版面分析结果。采用本方法能够提高版面分析元素识别准确率和位置定位的精准度。位的精准度。位的精准度。
【技术实现步骤摘要】
文档图像版面分析方法、装置、计算机设备和存储介质
[0001]本专利技术属于计算机视觉
，尤其涉及一种文档图像版面分析方法、装置、计算机设备和存储介质。
技术介绍
[0002]文档是人们日常生活中最常见的信息载体，其以多样化的形式将文本、表格、图片等文档元素组织在一起，形象生动的向用户高效的展示信息。现有文档主要分为纸质文档和电子文档。电子文档可以借助打印设备将其转换为纸质文档；而纸质文档转换为电子文档则需要更为复杂的流程：首先需要将纸质文档扫描成文档图像，接着借助文档图像版面分析技术得到一系列文本、表格、图片等文档元素，接着借助OCR相关技术将文档元素转换为可编辑的文本、表格及矢量图等信息元素，最后将信息元素组织成电子文档。由此可见，文档图像版面分析是纸质文档转换成电子文档流程中必不可少的核心环节。
[0003]目前，学术界和工业界主流的文档图像版面分析方法是基于深度学习的策略，其相对于传统基于规则和区域分析的方法而言，分析准确率更高，泛化性更强。然而，基于深度学习的文档版面分析方法主要是直接借鉴目标检测的方法，将文档中的文本、图片、表格统统当作物体目标进行版面分析，从而忽略了文本、图片、表格之间的差异性和内部固有特性，进而导致文本版面分析元素识别不准、元素位置精准度不够等问题。
技术实现思路
[0004]基于此，有必要针对上述技术问题，提供一种能够提高版面分析元素识别准确率和位置定位精准度的文档图像版面分析方法、装置、计算机设备和存储介质。
[0005]本专利技术提供一种文档图像版面分析方法，包括：
[0006]对文档图像进行多尺寸高维语义特征提取，得到多尺寸高维语义特征；
[0007]将所述多尺寸高维语义特征输入至训练好的文本子网络挖掘文本行上下文语义信息并进行多尺寸语义合并，得到文本检测结果；
[0008]将所述多尺寸高维语义特征分别输入至训练好的图片子网络和表格子网络，由所述图片子网络输出图片检测结果和所述表格子网络输出表格检测结果；
[0009]结合所述文本检测结果、所述图片检测结果和所述表格检测结果，得到版面分析结果。
[0010]在其中一个实施例中，所述将所述多尺寸高维语义特征输入至训练好的文本子网络挖掘文本行上下文语义信息并进行多尺寸语义合并，得到文本检测结果，包括：
[0011]合并所述多尺寸高维语义特征中尺寸相同的特征，得到多尺寸合并特征；
[0012]利用transform网络在所述多尺寸合并特征中挖掘文本行上下文语义信息并将合并的特征进行特征分离，得到多尺寸上下文语义特征；
[0013]融合所述多尺寸上下文语义特征中不同尺寸的特征，得到多尺寸融合特征；
[0014]基于所述多尺寸融合特征进行类别和边框检测，得到文本检测结果。
[0015]在其中一个实施例中，所述融合所述多尺寸上下文语义特征中不同尺寸的特征，得到多尺寸融合特征，包括：
[0016]遍历所述多尺寸上下文语义特征中各个尺寸特征，将当前尺寸特征以及与当前尺寸特征相邻且尺寸小于当前尺寸特征的特征进行特征融合；
[0017]将所述多尺寸上下文语义特征中尺寸最大的特征与特征融合所得到的各个融合特征作为多尺寸融合特征。
[0018]在其中一个实施例中，将所述多尺寸高维语义特征分别输入至训练好的图片子网络，由所述图片子网络输出图片检测结果，包括：
[0019]所述图片子网络对所述多尺寸高维语义特征中不同尺寸的特征，基于权重共享的方式进行卷积操作，得到各个尺寸对应的卷积特征；
[0020]根据各尺寸对应的所述卷积特征进行类别和边框预测，输出图片检测结果。
[0021]在其中一个实施例中，将所述多尺寸高维语义特征分别输入至训练好的表格子网络，由所述表格子网络输出表格检测结果，包括：
[0022]所述表格子网络对所述多尺寸高维语义特征中不同尺寸的特征，基于权重共享的方式进行卷积操作，得到各个尺寸对应的卷积特征；
[0023]将各个尺寸对应的所述卷积特征进行特征融合，基于融合后的特征进行类别和边框检测，得到表格检测结果。
[0024]在其中一个实施例中，所述文本子网络、所述图片子网络和所述表格子网络的训练步骤，包括：
[0025]获取标注元素数据集，将所述标注元素数据集划分为训练集和测试集；
[0026]从所述标注元素数据集中分别选取所述文本子网络、所述图片子网络和所述表格子网络对应的文本超参数、图片超参数和表格超参数；
[0027]从所述训练集中分别剔除非文本元素、非图片元素和非表格元素，得到文本训练集、图片训练集和表格训练集；
[0028]基于所述文本超参数和所述文本训练集单独训练文本子网络、基于所述图片超参数和所述图片训练集单独训练图片子网络、以及基于所述表格超参数和所述表格训练集单独训练表格子网络；
[0029]利用所述训练集和所述测试集对完成单独训练后所述文本子网络、所述图片子网络和所述表格子网络进行全量训练，直至测试结果收敛。
[0030]在其中一个实施例中，所述从所述标注元素数据集中分别选取所述文本子网络、所述图片子网络和所述表格子网络对应的文本超参数、图片超参数和表格超参数，包括：
[0031]从标注元素数据集对应的标注结果中分别选取元素类别分别为文本、图片和表格的标注边框，得到文本标注边框、图片标注边框和表格标注边框；
[0032]将所述文本标注边框、所述图片标注边框和所述表格标注边框的边框高度和边框宽度分别作为样本组成尺寸样本集，得到文本边框尺寸样本集、图片边框尺寸样本集、表格边框尺寸样本集；
[0033]分别基于预设的聚类数，对所述文本边框尺寸样本集、所述图片边框尺寸样本集和所述表格边框尺寸样本集进行聚类，获得与所述聚类数相等个数的聚类中心作为对应的文本超参数、图片超参数和表格超参数。
[0034]一种文档图像版面分析装置，包括：
[0035]浅层语义提取模块，用于对文档图像进行多尺寸高维语义特征提取，得到多尺寸高维语义特征；
[0036]文本检测模块，用于将所述多尺寸高维语义特征输入至训练好的文本子网络挖掘文本行上下文语义信息并进行多尺寸语义合并，得到文本检测结果；
[0037]图片表格检测模块，用于将所述多尺寸高维语义特征分别输入至训练好的图片子网络和表格子网络，由所述图片子网络输出图片检测结果和所述表格子网络输出表格检测结果；
[0038]结果结合模块，用于结合所述文本检测结果、所述图片检测结果和所述表格检测结果，得到版面分析结果。
[0039]本专利技术还提供一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器存储由计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述的文档图像版面分析方法的步骤。
[0040]本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的文档图像版面分析方法的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种文档图像版面分析方法，其特征在于，包括：对文档图像进行多尺寸高维语义特征提取，得到多尺寸高维语义特征；将所述多尺寸高维语义特征输入至训练好的文本子网络挖掘文本行上下文语义信息并进行多尺寸语义合并，得到文本检测结果；将所述多尺寸高维语义特征分别输入至训练好的图片子网络和表格子网络，由所述图片子网络输出图片检测结果和所述表格子网络输出表格检测结果；结合所述文本检测结果、所述图片检测结果和所述表格检测结果，得到版面分析结果。2.根据权利要求1所述的方法，其特征在于，所述将所述多尺寸高维语义特征输入至训练好的文本子网络挖掘文本行上下文语义信息并进行多尺寸语义合并，得到文本检测结果，包括：合并所述多尺寸高维语义特征中尺寸相同的特征，得到多尺寸合并特征；利用transform网络在所述多尺寸合并特征中挖掘文本行上下文语义信息并将合并的特征进行特征分离，得到多尺寸上下文语义特征；融合所述多尺寸上下文语义特征中不同尺寸的特征，得到多尺寸融合特征；基于所述多尺寸融合特征进行类别和边框检测，得到文本检测结果。3.根据权利要求1所述的方法，其特征在于，所述融合所述多尺寸上下文语义特征中不同尺寸的特征，得到多尺寸融合特征，包括：遍历所述多尺寸上下文语义特征中各个尺寸特征，将当前尺寸特征以及与当前尺寸特征相邻且尺寸小于当前尺寸特征的特征进行特征融合；将所述多尺寸上下文语义特征中尺寸最大的特征与特征融合所得到的各个融合特征作为多尺寸融合特征。4.根据权利要求1所述的方法，其特征在于，将所述多尺寸高维语义特征分别输入至训练好的图片子网络，由所述图片子网络输出图片检测结果，包括：所述图片子网络对所述多尺寸高维语义特征中不同尺寸的特征，基于权重共享的方式进行卷积操作，得到各个尺寸对应的卷积特征；根据各尺寸对应的所述卷积特征进行类别和边框预测，输出图片检测结果。5.根据权利要求1所述的方法，其特征在于，将所述多尺寸高维语义特征分别输入至训练好的表格子网络，由所述表格子网络输出表格检测结果，包括：所述表格子网络对所述多尺寸高维语义特征中不同尺寸的特征，基于权重共享的方式进行卷积操作，得到各个尺寸对应的卷积特征；将各个尺寸对应的所述卷积特征进行特征融合，基于融合后的特征进行类别和边框检测，得到表格检测结果。6.根据权利要求1所述的方法，其特征在于，所述文本子网络、所述图片子网络和所述表格子网络的训练步骤，包括：获取标注元素数据集，将所述标注元素数据集划分为训练集和...
【专利技术属性】
技术研发人员：郭建京，索红亮，周忠诚，黄九鸣，张圣栋，
申请(专利权)人：湖南星汉数智科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。