信息生成方法、装置、电子设备以及存储介质制造方法及图纸

本公开提供了一种信息生成方法、装置、电子设备以及存储介质，涉及人工智能技术领域，尤其涉及图像处理、计算机视觉和深度学习技术领域，可应用于OCR等场景。具体实现方案为：对文本表格图像进行处理，得到文本表格图像中各文本区域的局部特征信息和文本识别信息；对局部特征信息进行列分类，得到各文本区域的列分类信息；根据局部特征信息，确定各文本区域之间的相似度；根据相似度，确定各文本区域的行分类信息；根据行分类信息、列分类信息和文本识别信息，生成文本表格图像的结构化信息。生成文本表格图像的结构化信息。生成文本表格图像的结构化信息。

【技术实现步骤摘要】
信息生成方法、装置、电子设备以及存储介质


[0001]本公开涉及人工智能
，尤其涉及图像处理、计算机视觉和深度学习
，可应用于OCR(Optical Character Recognition，光学字符识别)等场景。具体地，涉及一种信息生成方法、装置、电子设备以及存储介质。

技术介绍

[0002]随着计算机技术的发展，人工智能技术也得以发展。人工智能技术可以包括计算机视觉技术、语音识别技术、自然语言处理技术、机器学习、深度学习、大数据处理技术和知识图谱技术等。
[0003]人工智能技术在各种领域得到了广泛应用。例如，可以利用人工智能技术获取文本表格图像的结构化信息。

技术实现思路

[0004]本公开提供了一种用于信息生成的方法、装置、电子设备以及存储介质。
[0005]根据本公开的一方面，提供了一种信息生成方法，包括：对文本表格图像进行处理，得到上述文本表格图像中各文本区域的局部特征信息和文本识别信息；对上述局部特征信息进行列分类，得到各上述文本区域的列分类信息；根据上述局部特征信息，确定各上述文本区域之间的相似度；根据上述相似度，确定各上述文本区域的行分类信息；以及，根据上述行分类信息、上述列分类信息和上述文本识别信息，生成上述文本表格图像的结构化信息。
[0006]根据本公开的另一方面，提供了一种信息生成装置，包括：处理模块，用于对文本表格图像进行处理，得到所述文本表格图像中各文本区域的局部特征信息和文本识别信息；分类模块，用于对所述局部特征信息进行列分类，得到各所述文本区域的列分类信息；第一确定模块，用于根据所述局部特征信息，确定所述文本区域之间的相似度；第二确定模块，用于根据所述相似度，确定各所述文本区域的行分类信息；以及，生成模块，用于根据所述行分类信息、所述列分类信息和所述文本识别信息，生成所述文本表格图像的结构化信息。
[0007]根据本公开的另一方面，提供了一种电子设备，包括：至少一个处理器；以及与上述至少一个处理器通信连接的存储器；其中，上述存储器存储有可被上述至少一个处理器执行的指令，上述指令被上述至少一个处理器执行，以使上述至少一个处理器能够执行如本公开所述的方法。
[0008]根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，上述计算机指令用于使上述计算机执行如本公开所述的方法。
[0009]根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，上述计算机程序在被处理器执行时实现如本公开所述的方法。
[0010]应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特
征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
[0011]附图用于更好地理解本方案，不构成对本公开的限定。其中：
[0012]图1示意性示出了根据本公开实施例的可以应用信息生成方法及装置的示例性系统架构；
[0013]图2示意性示出了根据本公开实施例的信息生成方法的流程图；
[0014]图3示意性示出了根据本公开实施例的对文本表格图像进行处理，得到文本表格图像中各文本区域的局部特征信息和文本识别信息的流程图；
[0015]图4示意性示出了根据本公开实施例的对局部特征信息进行列分类，得到各文本区域的列分类信息的流程图；
[0016]图5A示意性示出了根据本公开实施例的根据局部特征信息，确定各文本区域彼此之间的相似度的流程图；
[0017]图5B示意性示出了根据本公开另一实施例的根据局部特征信息，确定各文本区域之间的相似度的流程图；
[0018]图6示意性示出了根据本公开实施例的根据相似度，确定各文本区域的行分类信息的流程图；
[0019]图7示意性示出了根据本公开实施例的根据行分类信息、列分类信息和文本识别信息，生成文本表格图像的结构化信息的流程图；
[0020]图8示意性示出了根据本公开实施例的信息生成过程的示例示意图；
[0021]图9示意性示出了根据本公开另一实施例的信息生成过程的示例示意图；
[0022]图10示意性示出了根据本公开实施例的信息生成装置的框图；以及
[0023]图11示意性示出了根据本公开实施例的适于实现信息生成方法的电子设备的框图。
具体实施方式
[0024]以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
[0025]表格可以指按照所需的内容项目划分多个方格，并在不同方格中分别填写文字或者数字的书面材料。由于表格能够较为有效地进行数据或信息的组织与展示，因而得到了广泛的应用。文本表格图像可以是具有文本表格信息的图像。
[0026]为此，本公开实施例提出了一种信息生成方案。例如，对文本表格图像进行处理，得到文本表格图像中各文本区域的局部特征信息和文本识别信息。对局部特征信息进行列分类，得到各文本区域的列分类信息。根据局部特征信息，确定各文本区域之间的相似度。根据相似度，确定各文本区域的行分类信息。根据行分类信息、列分类信息和文本识别信息，生成文本表格图像的结构化信息。
[0027]根据本公开的实施例，通过利用根据局部特征信息确定的各文本区域之间的相似
度来确定各文本区域的行分类信息，实现了基于相似度来确定文本区域的行分类信息，而无需依赖语义行模型来实现，由此有效解决了利用语义行模型进行行分类存在的边界定位不够准确且较容易出现信息丢失，以及较容易将不属于同一行的信息划分为同一行所导致的行分类不准确的问题，提高了行分类的准确性。在此基础上，根据行分类信息、文本识别信息和对局部特征信息进行列分类得到的列分类信息，生成文本表格图像的结构化信息，并实现了无需依赖语义行模型来实现结构化信息的生成，提高了结构化信息的准确性。
[0028]本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
[0029]在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
[0030]图1示意性示出了根据本公开实施例的可以应用信息生成方法及装置的示例性系统架构。
[0031]需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的
技术实现思路
，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。例如，在另一实施例中，可以应用信息生成方法及装置的示例性系统架构可以包括终端设备，但终端设备可以无需与服务器进行交互，即可实现本公开实施例提供的信息生成方法及装置。
[0032]如图1所示，根据该实施例的系本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息生成方法，包括：对文本表格图像进行处理，得到所述文本表格图像中各文本区域的局部特征信息和文本识别信息；对所述局部特征信息进行列分类，得到各所述文本区域的列分类信息；根据所述局部特征信息，确定各所述文本区域之间的相似度；根据所述相似度，确定各所述文本区域的行分类信息；以及根据所述行分类信息、所述列分类信息和所述文本识别信息，生成所述文本表格图像的结构化信息。2.根据权利要求1所述的方法，其中，所述对文本表格图像进行处理，得到所述文本表格图像中各文本区域的局部特征信息和文本识别信息，包括：对所述文本表格图像进行特征提取，得到全局特征信息；根据所述全局特征信息，获取文本检测信息，其中，所述文本检测信息包括所述文本表格图像中各子区域的文本位置信息和文本置信度，所述文本置信度表征所述子区域是所述文本区域的概率；以及根据所述全局特征信息和所述文本检测信息，获取所述局部特征信息和所述文本识别信息。3.根据权利要求2所述的方法，其中，所述根据所述全局特征信息和所述文本检测信息，获取所述局部特征信息和所述文本识别信息，包括：在根据所述文本置信度确定所述子区域是所述文本区域的情况下，基于所述文本位置信息和所述全局特征信息，获取所述局部特征信息；以及根据所述局部特征信息，获取所述文本识别信息。4.根据权利要求2或3所述的方法，其中，所述根据所述全局特征信息，获取文本检测信息，包括：根据所述全局特征信息，确定候选框信息；根据所述候选框信息和所述全局特征信息，获取候选特征信息；以及根据所述候选特征信息，获取所述文本检测信息。5.根据权利要求1～4中任一项所述的方法，其中，所述对所述局部特征信息进行列分类，得到各所述文本区域的列分类信息，包括：对所述局部特征信息进行全连接处理，得到所述列分类信息。6.根据权利要求2～5中任一项所述的方法，其中，所述根据所述局部特征信息，确定各所述文本区域彼此之间的相似度，包括：根据两个所述文本区域各自的局部特征信息，确定两个所述文本区域的差异特征信息；以及根据所述差异特征信息，确定两个所述文本区域之间的相似度。7.根据权利要求6所述的方法，其中，所述根据两个所述文本区域各自的局部特征信息，确定两个所述文本区域的差异特征信息，包括：对两个所述文本区域各自的文本位置信息进行特征提取，得到两个所述文本区域各自的文本位置特征信息；对所述局部特征信息和所述文本位置特征信息进行融合，得到两个所述文本区域各自
的融合特征信息；以及根据所述融合特征信息，获取所述差异特征信息。8.根据权利要求6所述的方法，其中，所述根据两个所述文本区域各自的局部特征信息，确定两个所述文本区域的差异特征信息，包括：确定两个所述文本区域各自的局部特征信息之间的差值；以及将所述差值确定为两个所述文本区域的差异特征信息。9.根据权利要求1～5中任一项所述的方法，其中，所述根据所述局部特征信息，确定各所述文本区域之间的相似度，包括：确定两个所述文本区域的两个局部特征信息之间的点积；以及根据所述点积，确定两个所述文本区域之间的相似度。10.根据权利要求1～9中任一项所述的方法，其中，所述根据所述相似度，确定各所述文本区域的行分类信息，包括：在确定两个所述文本区域之间的相似度大于或等于预定相似度阈值的情况下，确定两个所述文本区域各自的行分类信息是表征所述两个文本区域属于同一行的行分类信息。11.根据权利要求1～10中任一项所述的方法，其中，所述根据所述行分类信息、所述列分类信息和所述文本识别信息，生成所述文本表格图像的结构化信息，包括：根据各所述文本区域的行分类信息和列分类信息，对各所述文本区域进行组合，得到组合信息；以及根据所述组合信息和各所述文本区域的文本识别信息，生成所述文本表格图像的结构化信息。12.一种信息生成装置，包括：处理模块，用于对文本表格图像进行处理，得到所述文本表格图像中各文本区域的局部特征信息和文本识别信息；分类模块，用于对所述局部特征信息进行列分类，得到各所述文本区域的列分类信息；第一确定模块，用于根据所述局部特征信息，...

【专利技术属性】
技术研发人员：于海鹏，李煜林，钦夏孟，姚锟，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：