一种图像语义要素提取方法技术

本发明专利技术公开了一种图像语义要素提取方法，涉及图像识别技术领域，所述图像语义要素提取方法包括以下步骤：S10获取图像信息；S20识别所述图像信息中的文字信息；S30以及根据所述文字信息构建图神经网络后，对所述图像进行语义要素抽取。本技术方案通过文字信息之间的位置关系，构建图神经网络，通过图神经网络记录文字信息之间的位置关系，解决了在对需要相对位置才能描述清楚的文档进行语义要素提取时，保证信息的准确性。保证信息的准确性。保证信息的准确性。

An image semantic feature extraction method

【技术实现步骤摘要】
一种图像语义要素提取方法


[0001]本专利技术涉及图像识别
，尤其涉及一种图像语义要素提取方法。

技术介绍

[0002]图像语义要素抽取是信息结构化中的一种重要手段，特别是对各种文件资料进行关键要素抽取，从纸质文本中提取重要信息在众多领域中有重要的意义，如资料审核，文件审批，历史资料信息化等。
[0003]现有的技术常常通过对OCR之后的结果进行分块分割、按行或按列进行拼接，在实际应用中，面对复杂的文档格式，并不能很好地表示文档的结构，特别是一些需要相对位置才能描述的信息会被完全丢失掉。
[0004]上述内容仅用于辅助理解本专利技术的技术方案，并不代表承认上述内容是现有技术。

技术实现思路

[0005]本专利技术的主要目的在于提供一种图像语义要素提取方法，旨在解决在对需要相对位置才能描述清楚的文档进行语义要素提取时，保证信息的准确性。
[0006]为实现上述目的，本专利技术提供的图像语义要素提取方法，所述图像语义要素提取方法包括以下步骤：
[0007]获取图像信息；
[0008]识别所述图像信息中的文字信息；以及
[0009]根据所述文字信息构建图神经网络后，对所述图像进行语义要素抽取。
[0010]在本申请的一实施例中，对所述文字信息进行分词和/或分字处理，并定义所述分词和/或分词为节点信息。
[0011]在本申请的一实施例中，所述图神经网络包括所述节点信息上侧、下侧、左侧以及右侧的近邻节点，并在各节点信息之间建立连接。
>[0012]在本申请的一实施例中，所述要素抽取至少包括：
[0013]embedding层，所述embedding层用于对所述节点信息进行向量转化，生成词向量和/或字向量；
[0014]图卷积层，所述图卷积层用于对所述词向量和/或字向量进行卷积；以及
[0015]判别层，所述判别层连接于所述图卷积层，用于对所述图卷积层的卷积结果进行分类，并标注其语义要素类型，生成标记节点。
[0016]在本申请的一实施例中，通过OCR获取所述图像信息中的文字信息，所述文字信息数字至少包括：文字、字母以及数字。
[0017]在本申请的一实施例中，所述图卷积层采用GCN卷积变换。
[0018]在本申请的一实施例中，所述判别层采用soft-max分类函数进行分类。
[0019]在本申请的一实施例中，获取所述判别层分类结果，获取所述相同标记节点，并对
所述相同标记节点进行合并。
[0020]本专利技术提供的一种图像语义要素提取方法，首先获取记载有文字信息的图像信息，对获取的图像信息进行预处理，获取图像信息中的文字信息，根据获取的文字信息构建图神经网络，根据构建的图神经网络进行语义要素的提取。本技术方案通过文字信息之间的位置关系，构建图神经网络，通过图神经网络记录文字信息之间的位置关系，解决了在对需要相对位置才能描述清楚的文档进行语义要素提取时，保证信息的准确性。
附图说明
[0021]图1是本专利技术实施例一种语义要素提取方法流程示意图。
[0022]本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
[0023]应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。
[0024]本专利技术实施例的主要解决方案是：
[0025]获取图像信息；
[0026]识别所述图像信息中的文字信息；以及
[0027]根据所述文字信息构建图神经网络后，对所述图像进行语义要素抽取。
[0028]现有技术中，一般将OCR之后结果进行分块分割和按行按列拼接，在实际应用中，面对复杂的文档格式，并不能很好地表示文档的结构，特别是一些需要相对位置才能描述的信息会被完全丢失掉。导致信息不完整，极大的削弱的信息的准确性。
[0029]本专利技术提供上述的解决方案，旨在解决了在对需要相对位置才能描述清楚的文档进行语义要素提取时，保证信息的准确性。
[0030]本专利技术提供的一种解决方案，首先获取记载有文字信息的图像信息，对获取的图像信息进行预处理，获取图像信息中的文字信息，根据获取的文字信息构建图神经网络，根据构建的图神经网络进行语义要素的提取。使得语义要素的提取更加方便快捷，并且保证了语义要素提取结果的准确性。
[0031]本专利技术的技术方案为一种语义要素提取方法，参见图1所示，在本专利技术的其中一实施例中，所述图像语义要素提取方法包括以下步骤：
[0032]步骤S10：获取图像信息；
[0033]首先获取图像信息，该图像信息可以采用人工在客户端进行输入，然后通过网络传输至服务端，例如通过人工扫描的方式将纸质文档转换成图像信息，然后传输至服务端进行下一步操作。当然根据设计的需要也可以直接在服务端进行上传，直接进行下一步操作。除人工干预外，还可以通过图像识别技术获取网络中的图像信息用于后续操作。具体的图像信息至少应当包含文字信息。为后续的语义提取提供可能。
[0034]步骤S20：识别所述图像信息中的文字信息；
[0035]识别图像信息中的文字信息，将图像中的文字转化成可编辑状态，图像识别采用现有技术中的识别方法，文字信息可以为文字，英文单词以及阿拉伯数字等。
[0036]步骤S30：以及根据所述文字信息构建图神经网络后，对所述图像进行语义要素抽取。
[0037]根据识别到的文字信息构建图神经网络，具体的，以中文为例，获取文字信息后，对获取的文字信息进行分词和/或分字处理，以抽取到的分词和/或分字作为图神经网络中的节点，各个节点之间的距离表现为图神经网络的边长。当文本信息的内容为英文时，以英文单个单词为神经网络中的节点，边的权重设定为像素点之间的距离，从而完成一轮图像的构建。当然在构建图像的过程中，存在多个不同的且相互独立的子网络时，通过选取网络之间的最近节点进行连接，从而可以得到一个包含所有要素的网络。通过选取网络之间最近节点进行连接，保证了各个节点之间的联系度。
[0038]本专利技术提供的一种图像语义要素提取方法，首先获取记载有文字信息的图像信息，对获取的图像信息进行预处理，获取图像信息中的文字信息，根据获取的文字信息构建图神经网络，根据构建的图神经网络进行语义要素的提取。本技术方案通过文字信息之间的位置关系，构建图神经网络，通过图神经网络记录文字信息之间的位置关系，解决了在对需要相对位置才能描述清楚的文档进行语义要素提取时，保证信息的准确性。
[0039]在本申请的一实施例中，对所述文字信息进行分词和/或分字处理，并定义所述分词和/或分词为节点信息。
[0040]对图像信息识别后，获取可编辑状态的文本信息，采用现有技术对文本信息进行分词和/或分字处理，具体的使用方法和具体的步骤可以参见包括现有技术在内的各种技术，在此不再一一赘述。本申请中分词是指将文本划分为各个词语；分字是指将文本划分为单个文字。完成分词和/或分字处理后，定义分词和/本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像语义要素提取方法，其特征在于，所述图像语义要素提取方法包括以下步骤：获取图像信息；识别所述图像信息中的文字信息；以及根据所述文字信息构建图神经网络后，对所述图像进行语义要素抽取。2.如权利要求1所述的图像语义要素提取方法，其特征在于，对所述文字信息进行分词和/或分字处理，并定义所述分词和/或分词为节点信息。3.如权利要求2所述的图像语义要素提取方法，其特征在于，所述图神经网络包括所述节点信息上侧、下侧、左侧以及右侧的近邻节点，并在各节点信息之间建立连接。4.如权利要求3所述的图像语义要素提取方法，其特征在于，所述要素抽取至少包括：embedding层，所述embedding层用于对所述节点信息进行向量转化，生成词向量和/或字向量；图...

【专利技术属性】
技术研发人员：王永康，李文禄，杜倩云，
申请(专利权)人：广东爱因智能数字营销有限公司，
类型：发明
国别省市：