一种文件信息提取方法及电子设备技术

本发明专利技术实施例提供了一种文件信息提取方法及电子设备，该方法包括：从目标文件中获取所述目标图像的视觉信息和第一文字信息；将所述视觉信息和文字信息输入到预设的图像分类器中，输出得到所述目标图像的图像类型；根据与所述图像类型对应的信息提取方法，从所述目标图像中提取信息。通过本发明专利技术实施例，实现了对目标文件中目标图像的细粒度的分类，从而能够更加快速、准确得对目标图像进行信息提取。准确得对目标图像进行信息提取。准确得对目标图像进行信息提取。

【技术实现步骤摘要】
一种文件信息提取方法及电子设备


[0001]本专利技术涉及数据处理
，尤其涉及一种文件信息提取方法及电子设备。

技术介绍

[0002]专利的增加和专利文件格式的广泛变化增加了对自动提取信息的需求，包括对文档图像分析和处理自动化的需求。通常，最关键的信息以结构化的方式以表格，图形，图表和图像的形式呈现。这些表，图形和图表的自动检测和分析为构建搜索引擎索引，信息检索和数据收集提供了强大的支持。
[0003]现有信息提取方法对图像的分析通常仅对单独的专利表中的图像进行，大多数专利图像分类都非常宽泛，导致对识别后的图像中的信息无法准确提取。

技术实现思路

[0004]本专利技术实施例的目的是提供一种文件信息提取方法、装置及电子设备，以解决专利图像分类非常宽泛，导致对识别后的图像中的信息无法准确提取的问题。
[0005]为了解决上述技术问题，本专利技术实施例是这样实现的：
[0006]第一方面，本专利技术实施例提供了一种文件信息提取方法，包括：
[0007]从目标文件中获取目标图像的视觉信息和第一文字信息；
[0008]将所述视觉信息和文字信息输入到预设的图像分类器中，输出得到所述目标图像的图像类型；其中，所述图像分类器为，基于深度学习模型预先以训练文件中的训练图型的视觉信息和文字信息为样本，以所述训练图型的图像类型为样本标签，进行训练后得到的；
[0009]根据与所述图像类型对应的信息提取方法，从所述目标图像中提取信息。
[0010]第二方面，本专利技术实施例提供了一种电子设备，包括处理器、通信接口、存储器和通信总线；其中，所述处理器、所述通信接口以及所述存储器通过总线完成相互间的通信；所述存储器，用于存放计算机程序；所述处理器，用于执行所述存储器上所存放的程序，实现如第一方面所述的文件信息提取方法步骤。
[0011]第三方面，本专利技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现如第一方面所述的文件信息提取方法步骤。
[0012]由以上本专利技术实施例提供的技术方案可见，本专利技术实施例通过从目标文件中获取所述目标图像的视觉信息和第一文字信息；将所述视觉信息和文字信息输入到预设的图像分类器中，输出得到所述目标图像的图像类型；根据与所述图像类型对应的信息提取方法，从所述目标图像中提取信息。通过本专利技术实施例，实现了对目标文件中目标图像的细粒度的分类，从而能够更加快速、准确得对目标图像进行信息提取。
附图说明
[0013]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现
有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0014]图1为本专利技术实施例提供的文件信息提取方法的一种流程示意图；
[0015]图2为本专利技术实施例提供的图像分类器的结构示意图；
[0016]图3为本专利技术实施例提供的图像类型的分类示意图；
[0017]图4为本专利技术实施例提供的文件信息提取方法的另一种流程示意图；
[0018]图5为本专利技术实施例提供的文件信息提取方法的又一种流程示意图；
[0019]图6为本专利技术实施例提供的文件信息提取方法中表格的信息提取方法示意图；
[0020]图7为本专利技术实施例提供的文件信息提取方法中表格的信息展示示意图；
[0021]图8为本专利技术实施例提供的文件信息提取装置的模块组成示意图；
[0022]图9为本专利技术实施例提供的电子设备的结构示意图。
具体实施方式
[0023]本专利技术实施例提供了一种文件信息提取方法及电子设备。
[0024]为了使本
的人员更好地理解本专利技术中的技术方案，下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本专利技术保护的范围。
[0025]如图1所示，本专利技术实施例提供一种文件信息提取方法。该方法具体可以包括以下步骤：
[0026]步骤S101、从目标文件中获取所述目标图像的视觉信息和第一文字信息。
[0027]通过对目标文件进行扫描，判断在所述目标文件中是否存在目标图像，若存在则获取所述目标图像的视觉信息和第一文字信息。所述视觉信息可以为对目标图像进行数字图像处理后得到的图像特征信息，可以包括纹理、形状轮廓、颜色、位置关系等图像特征。所述第一文字信息可以是从所述目标图像的标题、声明部分或图像标识信息的文字内容中通过预设关键词提取的，并将提取后的第一文字信息与目标图像进行关联。
[0028]应理解的是，所述目标文件可以为专利文件或学术文件等。
[0029]进一步的，所述目标图像包括以下至少一种：图形(figure)、图表(graph/chart)、表格(table)、公式(equation)和化学式(chemical structure)。
[0030]所述目标图像可位于所述目标文件所有页面内，包括单独的图像页，也包括位于文本之间的图像等。例如，对于专利文件，所述目标图像可以为位于说明书附图中的图形或图表，也可以位于说明书中表格、公式或化学式。
[0031]步骤S102、将所述视觉信息和文字信息输入到预设的图像分类器中，输出得到所述目标图像的图像类型；其中，所述图像分类器为，基于深度学习模型预先以训练文件中的训练图型的视觉信息和文字信息为样本，以所述训练图型的图像类型为样本标签，进行训练后得到的。
[0032]将获取到的目标图像的视觉信息和第一文字信息输入到预先训练完成的图像分
类器中，所述图像分类器将根据所述视觉信息和第一文字信息，输出所述目标图像的图像类型。
[0033]所述图像分类器可以是基于深度神经网络模型构建的，例如，使用残差神经网络(Residual Network，ResNet)作为主干网络。如图2所示，所述图像分类器可以为一多模态分类器(Multimodal Classifier)，以图像的视觉信息(Image Features)和文字信息(TextFeatures)为输入，以对应的图像类型为输出，并使用注意力机制来强调输入的部分。通过预先收集到的大量训练文件，以所述训练文件中的训练图型的视觉信息和文字信息为样本，并标记对应的图像类型作为样本标签，对所述图像分类器进行训练。
[0034]进一步的，所述图像分类器的训练过程采用了基于预设的应用领域与图像类型的映射关系的启发式算法。
[0035]预先对文件进行分类，并建立各应用领域与各图像类型的映射关系，所述映射关系用于指示某一应用领域的文件中出现各种图像类型的图像的概率。以专利文件本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文件信息提取方法，其特征在于，所述方法包括：从目标文件中获取目标图像的视觉信息和第一文字信息；将所述视觉信息和文字信息输入到预设的图像分类器中，输出得到所述目标图像的图像类型；其中，所述图像分类器为，基于深度学习模型预先以训练文件中的训练图型的视觉信息和文字信息为样本，以所述训练图型的图像类型为样本标签，进行训练后得到的；根据与所述图像类型对应的信息提取方法，从所述目标图像中提取信息。2.根据权利要求1所述的方法，其特征在于，所述图像分类器的训练过程采用了基于预设的应用领域与图像类型的映射关系的启发式算法。3.根据权利要求1所述的方法，其特征在于，在将所述视觉信息和文字信息输入到预设的图像分类器中，输出得到所述目标图像的图像类型的步骤后，所述方法还包括：从所述目标文件的文本中获取与所述目标图像对应的第二文字信息；根据所述第二文字信息，从所述图像类型的子类型中，确定所述目标图型的子类型。4.根据权利要求1所述的方法，其特征在于，所述从目标文件中获取所述目标图像的视觉信息和第一文字信息，包括：依次对所述目标文件中各页进行扫描，以识别是否存在所述目标图像；在识别出所述目标图像后，从所述目标图像中获取所述目标图像的视觉信息和第一文字信息。5.根据权利要求1所述的方法，其特征在于，所述目标图像包括以下至少一种：图形、图表、表格、公式和化学式。6.根据权利要求1所述的方法，其特征在于，所述图像类型包括以下至少一种：照片类；示意图类；所述示意图类包括以下至少一种：框图、状态图、电...

【专利技术属性】
技术研发人员：马库斯，
申请(专利权)人：智慧芽信息科技苏州有限公司，
类型：发明
国别省市：