图像文献结构化解析方法、系统、电子设备、存储介质技术方案

本发明专利技术提供一种图像文献结构化解析方法、系统、电子设备、存储介质，所述方法包括：将图像文献内各页图像按顺序拼接，获得合成图；基于预定的待剔除的文本内容信息，对合成图中对应部分进行遮盖处理；对合成图进行版面整合，获得待解析图；将待解析图输入LX

Image document structural analysis method, system, electronic equipment, storage medium

【技术实现步骤摘要】
图像文献结构化解析方法、系统、电子设备、存储介质


[0001]本专利技术涉及文献处理
，尤其涉及一种图像文献结构化解析方法、系统、电子设备、存储介质。

技术介绍

[0002]对于图像文本内容的提取解析在很多实际生产场景中有着广泛的需求，随着基于人工智能的计算机视觉(Computer Vision)任务的相关算法技术蓬勃发展，利用AI技术进行图像文本内容解析是一个十分具有价值和意义的方向。
[0003]在图像文献中通常包含标题、关键词、摘要、正文、图表、参考文献等几部分信息，如何在解析图像文献过程中，对文献的各部分信息进行精准识别提取即图像文献页面布局分析是一个十分重要的研究课题。
[0004]目前，对图像文献进行文本解析可以有多种不同的方式，比如可以通过使用Python语言的内置工具包，直接对图像文献中的文本进行解析输出，但这种解析方式只是将图像中的文本进行读取，无法实现对每段文本进行按类别属性进行分类识别且这类方法只能针对文本内容，无法解决图表等非文本内容；还有的是通过采用一些图像解析工具，通过上传图像文件进行图像的拆分与内容识别，这种方式往往只是针对特定类型的图像有效，且同样无法实现图像内容的结构化输出。
[0005]因此，如何将图像文献中的内容以某种固定的规则进行结构化的提取成为了一个值得探究的方案。

技术实现思路

[0006]针对现有技术存在的问题，本专利技术提供一种图像文献结构化解析方法、系统、电子设备、存储介质。
[0007]本专利技术提供的一种图像文献结构化解析方法，所述方法包括：
[0008]将图像文献内各页图像按顺序拼接，获得合成图；
[0009]基于预定的待剔除的文本内容信息，对合成图中对应部分进行遮盖处理；
[0010]对合成图进行版面整合，获得待解析图；
[0011]将待解析图输入LX
‑
BioLayoutLM模型，获得带有结构化标签的解析文档；
[0012]其中，所述LX
‑
BioLayoutLM模型基于BERT模型和LayoutLM模型，完成对待解析图中图像信息和文本信息的对齐。
[0013]根据本专利技术提供的一种图像文献结构化解析方法，所述将待解析图输入LX
‑
BioLayoutLM模型，获得带有结构化标签的解析文档，之后包括：
[0014]将解析文档中文本的长度和待解析图中文本的长度作比较，获得关于文本结构化的完整度；
[0015]若完整度超过预定阈值，将解析文档确认为图像文献的结构化解析后的文档。
[0016]根据本专利技术提供的一种图像文献结构化解析方法，所述若完整度超过预定阈值，
将解析文档确认为图像文献的结构化解析后的文档，之后包括：
[0017]基于解析文档中的结构化标签，选中需要的若干标签，将标签对应的图像文献中的段落文本批量提取。
[0018]根据本专利技术提供的一种图像文献结构化解析方法，所述LX
‑
BioLayoutLM模型的训练数据集为结构化标记的图像文献。
[0019]根据本专利技术提供的一种图像文献结构化解析方法，所述LX
‑
BioLayoutLM模型中的BERT模型部分，以待解析图中的文本和文本对应的位置信息作为输入，以体现文本语义理解的文本向量和表征文本段落与图像间映射关系的位置嵌入向量作为输出。
[0020]根据本专利技术提供的一种图像文献结构化解析方法，所述LX
‑
BioLayoutLM模型中的LayoutLM模型部分，以待解析图、待解析图中的文本和文本对应的位置信息作为输入，以字符级的2D位置嵌入向量和体现图像特征信息的图像嵌入向量作为输出。
[0021]根据本专利技术提供的一种图像文献结构化解析方法，所述LX
‑
BioLayoutLM模型包括图像对齐层，所述图像对齐层以所述待解析图、体现文本语义理解的文本向量、表征文本段落与图像间映射关系的位置嵌入向量、字符级的2D位置嵌入向量、体现图像特征信息的图像嵌入向量作为输入，以带有结构化标签的解析文档作为输出。
[0022]本专利技术还提供的一种图像文献结构化解析系统，所述系统包括：
[0023]图像合成模块，所述图像合成模块将图像文献内各页图像按顺序拼接，获得合成图；
[0024]自定义信息剔除模块，所述自定义信息剔除模块基于预定的待剔除的文本内容信息，对合成图中对应部分进行遮盖处理；
[0025]图像版面重置模块，所述图像版面重置模块对合成图进行版面整合，获得待解析图；
[0026]解析模块，所述解析模块将待解析图输入LX
‑
BioLayoutLM模型，获得带有结构化标签的解析文档；
[0027]其中，所述LX
‑
BioLayoutLM模型基于BERT模型和LayoutLM模型，完成对待解析图中图像信息和文本信息的对齐。
[0028]本专利技术还提供的一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一项所述图像文献结构化解析方法的步骤。
[0029]本专利技术还提供的一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述图像文献结构化解析方法的步骤。
[0030]本专利技术还提供的一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一项所述图像文献结构化解析方法的步骤。
[0031]本专利技术提供的图像文献结构化解析方法、系统、电子设备、存储介质，实现批量地对图像文献进行结构化解析，便于对复杂场景下的文献数据进行结构化提取。
附图说明
[0032]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图是本专利技术的一些
实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0033]图1为本专利技术提供的一种图像文献结构化解析方法的流程示意图；
[0034]图2为本专利技术还提供的一种图像文献结构化解析系统的结构示意图；
[0035]图3为本专利技术提供的一种电子设备的实体结构示意图。
具体实施方式
[0036]为使本专利技术的目的、技术方案和优点更加清楚，下面将结合本专利技术中的附图，对本专利技术中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0037]下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的图像文献结构化解析方法进行详细地说明。
[0038]图1为本专利技术提供的一种图像文献本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像文献结构化解析方法，其特征在于，所述方法包括：将图像文献内各页图像按顺序拼接，获得合成图；基于预定的待剔除的文本内容信息，对合成图中对应部分进行遮盖处理；对合成图进行版面整合，获得待解析图；将待解析图输入LX
‑
BioLayoutLM模型，获得带有结构化标签的解析文档；其中，所述LX
‑
BioLayoutLM模型基于BERT模型和LayoutLM模型，完成对待解析图中图像信息和文本信息的对齐。2.根据权利要求1所述的图像文献结构化解析方法，其特征在于，所述将待解析图输入LX
‑
BioLayoutLM模型，获得带有结构化标签的解析文档，之后包括：将所述解析文档中文本的长度和所述待解析图中文本的长度作比较，获得关于文本结构化的完整度；若完整度超过预定阈值，将所述解析文档确认为所述图像文献的结构化解析后的文档。3.根据权利要求2所述的图像文献结构化解析方法，其特征在于，所述若完整度超过预定阈值，将所述解析文档确认为所述图像文献的结构化解析后的文档，之后包括：基于所述解析文档中的结构化标签，选中需要的若干标签，将标签对应的图像文献中的段落文本批量提取。4.根据权利要求1所述的图像文献结构化解析方法，其特征在于，所述LX
‑
BioLayoutLM模型的训练数据集为结构化标记的图像文献。5.根据权利要求1所述的图像文献结构化解析方法，其特征在于，所述LX
‑
BioLayoutLM模型中的BERT模型部分，以待解析图中的文本和文本对应的位置信息作为输入，以体现文本语义理解的文本向量和表征文本段落与图像间映射关系的位置嵌入向量作为输出。6.根据权利要求5所述的图像文献结构化解析方法，其特征在于，所述LX
...

【专利技术属性】
技术研发人员：王则远，刘鹏，
申请(专利权)人：灵犀量子北京医疗科技有限公司，
类型：发明
国别省市：