【技术实现步骤摘要】
一种图像文本信息的提取方法、控制装置及可读存储介质
[0001]本专利技术涉及视觉信息提取
，具体提供一种图像文本信息的提取方法、控制装置及可读存储介质。
技术介绍
[0002]随着信息化技术的发展，人们对于图像文本电子化的需求也日益增加。例如，在银行、证券等领域，存在大量的图像文本信息提取的需求。通常由工作人员手工录入，并且在初步录入完成后还需要进行核对录入是否正确等。在手工录入过程中存在很多的弊端，一方面是人工录入可能会出现漏项错项问题，另外还需配置大量人力。在给工作人员带来较大工作压力的同时，还会造成人力资源的浪费，且整体的工作效率也难以提高。
[0003]图像文本信息的自动提取，可以极大降低人工录入的成本，提高工作效率。目前图像文本的信息提取主要依赖于两种不同的模态特征：文本语义信息和文本的排布版式，传统的算法不能将两种模态特征高效的融合起来，导致算法对文本的排布比较敏感，往往每种版式都需要开发一个模型，需要算法工程师投入大量精力去优化模型或者编辑提取规则，成本较高。
[0004]相应地，本领域需要一种新的图像文本信息的提取方案来解决上述问题。
技术实现思路
[0005]为了克服上述缺陷，提出了本专利技术，以提供解决或至少部分地解决如何更加准确的提取图像文本信息的技术问题的一种图像文本信息的提取方法。
[0006]在第一方面，本专利技术提供一种图像文本信息的提取方法，包括：
[0007]获取待提取图像文本的文本序列信息、字符位置信息和语义关系信息；>[0008]根据所述文本序列信息、字符位置信息和语义关系信息得到所述待提取图像文本的结构化信息。
[0009]在一个实施例中，所述获取待提取图像文本的文本序列信息，包括：
[0010]将待提取图像文本进行字符识别，得到待提取图像文本的字符序列和字符位置信息；
[0011]根据所述字符位置信息，获取所述字符序列中相邻的两个字符的位置关系；
[0012]根据所述相邻两个字符的位置关系，在所述字符序列中插入相应的间隔符，得到所述待提取图像文本的文本序列信息。
[0013]在一个实施例中，获取待提取图像文本的文本序列信息、字符位置信息和语义关系信息，包括：
[0014]将所述待提取文本进行序列识别，得到所述待提取文本的字符位置信息。
[0015]在一个实施例中，获取待提取图像文本的文本序列信息、字符位置信息和语义关系信息，还包括：
[0016]将所述待提取图像文本进行识别分割，得到多个待提取文本框；
[0017]建立所述待提取文本框中字符与其所在待提取文本框的联系，得到所述提取文本的语义关系信息。
[0018]在一个实施例中，根据所述相邻的两个字符的位置关系，在所述字符序列中插入相应的间隔符，得到所述待提取图像文本的文本序列信息，包括：
[0019]判断所述相邻的两个字符是否位于同一行；
[0020]若不位于同一行，则在所述相邻的两个字符之间插入第一间隔符；
[0021]若在同一行，则根据设定在所述相邻的两个字符之间插入第二间隔符。
[0022]在一个实施例中，所述根据设定在所述相邻的两个字符之间插入第二间隔符，包括：
[0023]判断所述相邻的两个字符的距离是否大于预设阈值；
[0024]若大于预设阈值，则在所述相邻的两个字符之间插入第二间隔符。
[0025]在一个实施例中，所述根据所述文本序列信息、字符位置信息和语义关系信息得到所述待提取图像文本的结构化信息，包括：
[0026]将所述文本序列信息、字符位置信息和语义关系信息分别进行特征嵌入，得到文本序列嵌入特征、字符位置嵌入特征和语义关系嵌入特征；
[0027]将所述文本序列嵌入特征、字符位置嵌入特征和语义嵌入特征输入已训练的转化器模型进行融合，得到多模态融合特征；
[0028]将所述多模态融合特征输入实体提取网络，得到所述待提取图像文本的结构化信息。
[0029]在一个实施例中，所述将所述待提取文本框进行序列识别，得到所述待提取文本的字符位置信息，包括：采用坐标形式表示所述待提取文本的字符位置信息。
[0030]在一个实施例中，所述建立所述待提取文本框中字符与其所在待提取文本框的联系，得到所述提取文本的语义关系信息，包括：
[0031]对所述待提取文本框进行编号，得到多个带有编号的待提取文本框；
[0032]将所述字符表征为其所属的待提取文本框的编号，得到所述待提取文本的语义关系信息。
[0033]在一个实施例中，所述转化器模型采用迁移学习模式进行训练。
[0034]在一个实施例中，所述方法还包括：
[0035]从语料库中选取文本或者设置固定文本，以合成数据样本；
[0036]根据所述数据样本得到文本序列信息、字符位置信息和语义关系信息；
[0037]将所述文本序列信息、字符位置信息和语义信息作为训练集对转化模型进行训练，得到所述已训练的转化器模型。
[0038]在第二方面，提供一种控制装置，该控制装置包括处理器和存储装置，所述存储装置适于存储多条程序代码，所述程序代码适于由所述处理器加载并运行以执行上述图像文本信息的提取方法的技术方案中任一项技术方案所述的图像文本信息的提取方法。
[0039]在第三方面，提供一种计算机可读存储介质，该计算机可读存储介质其中存储有多条程序代码，所述程序代码适于由处理器加载并运行以执行上述图像文本信息的提取方法的技术方案中任一项技术方案所述的图像文本信息的提取方法。
[0040]本专利技术上述一个或多个技术方案，至少具有如下一种或多种有益效果：
[0041]在实施本专利技术的技术方案中，通过文本序列信息、字符位置信息、语义关系信息三者的结合，得到图像文本结构化信息，加强了文本语义信息和文本排版信息的联系。进一步的，显式的将文本的排版信息转化为间隔符插入到文本序列中，加强文本语义与文档排布之间的融合。
[0042]同时，由于模型只依赖于文本的信息和排版信息，为此通过数据样本合成，快速生成特定场景下的样本，应对特定场景下的多种版式变化，针对特定场景实现快速定制化；并采用迁移学习策略，减少对数据的依赖，能够针对特定的票据实现快速模型定制，加快模型的成型。另外由于文本信息占用的磁盘空间比图片要小很多，减少了对磁盘空间资源的占用。
附图说明
[0043]参照附图，本专利技术的公开内容将变得更易理解。本领域技术人员容易理解的是：这些附图仅仅用于说明的目的，而并非意在对本专利技术的保护范围组成限制。此外，图中类似的数字用以表示类似的部件，其中：
[0044]图1是根据本专利技术的一个实施例的图像文本信息的提取方法的主要步骤流程示意图；
[0045]图2是根据本专利技术的一个实施例的获取待提取图像文本的文本序列信息方法的主要步骤流程示意图；
[0046]图3是根据本专利技术的一个实施例的在字符序列中插入本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像文本信息的提取方法，其特征在于，包括：获取待提取图像文本的文本序列信息、字符位置信息和语义关系信息；根据所述文本序列信息、字符位置信息和语义关系信息得到所述待提取图像文本的结构化信息。2.根据权利要求1所述的方法，其特征在于，所述获取待提取图像文本的文本序列信息，包括：将待提取图像文本进行字符识别，得到待提取图像文本的字符序列和字符位置信息；根据所述字符位置信息，获取所述字符序列中相邻两个字符的位置关系；根据所述相邻两个字符的位置关系，在所述字符序列中插入相应的间隔符，得到所述待提取图像文本的文本序列信息。3.根据权利要求1所述的方法，其特征在于，获取待提取图像文本的文本序列信息、字符位置信息和语义关系信息，包括：将所述待提取文本进行序列识别，得到所述待提取文本的字符位置信息。4.根据权利要求1所述的方法，其特征在于，获取待提取图像文本的文本序列信息、字符位置信息和语义关系信息，还包括：将所述待提取图像文本进行识别分割，得到多个待提取文本框；建立所述待提取文本框中字符与其所在待提取文本框的联系，得到所述提取文本的语义关系信息。5.根据权利要求2所述的方法，其特征在于，根据所述相邻的两个字符的位置关系，在所述字符序列中插入相应的间隔符，得到所述待提取图像文本的文本序列信息，包括：判断所述相邻的两个字符是否位于同一行；若不位于同一行，则在所述相邻的两个字符之间插入第一间隔符；若在同一行，则根据设定在所述相邻的两个字符之间插入第二间隔符。6.根据权利要求5所述的方法，其特征在于，所述根据设定在所述相邻的两个字符之间插入第二间隔符，包括：判断所述相邻的两个字符的距离是否大于预设阈值；若大于预设阈值，则在所述相邻的两个字符之间插入第二间隔符。7.根据权利要求1所述的方法，其特征在于，所述根据所...
【专利技术属性】
技术研发人员：李源，杨博，赵永森，黄纯，
申请(专利权)人：北京云从科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。