一种智能提取图像文字信息的方法技术

本发明专利技术提供一种智能提取图像文字信息的方法，包括以下步骤：步骤S1、调用图像文字检测识别模型，提取图像文字检测识别模型输出结果中的关键字段；步骤S2、为图像文字检测识别结果标注一定量的标签，作为图像文字信息智能提取模型的训练集，设置待提取关键字段类别数等参数，送入图像文字信息智能提取模型进行训练，得到模型参数；步骤S3、获取步骤S2中训练得到的模型参数，作为图像文字信息智能提取系统推理时的参数，将待处理的图像数据输入图像文字信息智能提取模型。本发明专利技术利用深度学习的方法设计了卷积神经网络，自动提取图像文字内容中的关键信息，在操作简便的前提下能获得更准确的图像文字信息智能提取效果。

An intelligent method of extracting image text information

The invention provides a method for intelligently extracting image and text information, which comprises the following steps: step S1, calling image and text detection and recognition model, extracting key fields in output results of image and text detection and recognition model; step S2, labeling image and text detection and recognition results with a certain amount of labels as training set of image and text information intelligent extraction model, and setting the relevant to be extracted Key field category number and other parameters are sent to the image text information intelligent extraction model for training to obtain the model parameters; step S3 and step S2 are used as the parameters of the image text information intelligent extraction system reasoning to input the image data to be processed into the image text information intelligent extraction model. The convolution neural network is designed by using the deep learning method to automatically extract the key information in the image text content, and the more accurate intelligent extraction effect of image text information can be obtained under the premise of simple operation.

【技术实现步骤摘要】
一种智能提取图像文字信息的方法
本专利技术涉及人工智能领域中的图像文字信息提取
，具体地讲，本专利技术涉及一种智能提取图像文字信息的方法。
技术介绍
图像文字信息智能提取是指利用人工智能方法与模型，对图像进行处理和分析，判断图像内的文字的具体所在位置和内容，之后对图像文字内容中的关键信息进行判断和提取。图像文字信息智能提取有助于提高文字智能理解的自动化，快速定位关键信息，并且能够帮助解决实际问题；例如帮助实现自动化关键字段提取、敏感文字信息鉴别等。图像文字信息提取一般需要确定在图像文字检测与图像文字识别的基础上确定关键信息的位置，从而进行关键字段提取。待提取的关键字段内容是未知的，但是其位置一般在某些标志性字段附近，目前，现有技术是根据识别结果定位标志性字段位置，再根据关键字段与标志性字段的相对位置设计某些规则来提取关键字段，例如，对身份证、增值税发票等固定样式定义标志性字段位置并进行识别的过程。然而，通过定位标志性字段再根据相对位置确定待提取的关键字段缺点之一是这种方法非常依赖识别结果，要求识别模型输出的标志性字段结果与定义的标志性字段完全一致才能定位到标志性字段的位置，当识别模型输出结果不太精确时可能使这种方法完全失效；另一个缺点是这种方法只适合版面固定的某类图像，因为这种方法中标志性字段和待提取的关键字段相对位置是固定的，一旦两者位置有偏移或者图像版面有微小变化也会导致这种方法失效；另外，这种方法开发成本高，对于每一类版面不同的图像都需要重新开发一套适用该类图像的规则。因此，本领域技术人员亟需提供一种智能提取图像文字信息的方法，解决当前图像文字信息提取系统中过度依赖识别模型输出的图像文字识别结果、应用的图像标志性字段和关键字段位置不能有变化的问题。
技术实现思路
本专利技术要解决的技术问题是：提供一种智能提取图像文字信息的方法，解决当前图像文字信息提取系统中过度依赖识别模型输出的图像文字识别结果、应用的图像标志性字段和关键字段位置不能有变化的问题。本专利技术解决其技术问题所采用的技术方案是：提供一种智能提取图像文字信息的方法，包括以下步骤：步骤S1、调用图像文字检测识别模型，提取图像文字检测识别模型输出结果中的关键字段，根据图像文字检测识别结果的复杂程度判断是否将其作为训练数据；步骤S2、为图像文字检测识别结果标注一定量的标签，作为图像文字信息智能提取模型的训练集，设置待提取关键字段类别数等参数，送入图像文字信息智能提取模型进行训练，得到模型参数；步骤S3、获取步骤S2中训练得到的模型参数，作为图像文字信息智能提取系统推理时的参数，将待处理的图像数据输入图像文字信息智能提取模型，图像文字信息智能提取系统输出即为图像文字信息提取的结果。优选的，还包括以下步骤：步骤S4、图像文字检测：调用图像文字检测模型，检测图像中的文字内容所在的区域；步骤S5、图像文字识别：调用图像文字识别模型，识别输入的图像局部区域或整张图像，并提取其中的文字内容；步骤S6、提取关键信息：将图像送入文字信息智能提取系统，确定步骤S5中的图像文字内容哪些是关键信息，以{关键字：内容}的形式，输出关键信息提取结果。优选的，所述步骤S2中，将图像文字检测识别结果标注一定量的标签，作为图像文字信息智能提取模型的训练集，具体包括：将每个检测框内的识别结果用语言模型转换为N维词向量，假设图像宽、高分别为W、H，将数据整理成H×W×N的格式，检测框内的每个像素点对应的向量为该检测框内识别结果映射成的N维向量，检测框外的像素点对应的向量为N维0向量，将该数据与图像拼接输入图像文字信息智能提取模型进行训练。优选的，所述步骤S2中，所述图像文字信息智能提取模型基于深度学习中用于图像分割问题的卷积神经网络，所述卷积神经网络包括四个第一网络单元和四个第二网络单元，所述第一网络单元包括每个池化层后接一个卷积层，所述第二网络单元包括高层特征上采样与相应的低层特征拼接后送入卷积层。优选的，所述步骤S2中，所述图像文字信息智能提取模型的数据输入和输出过程包括：数据输入第一个卷积层后送入四第一网络单元，之后高层特征上采样与相应的低层特征拼接后送入卷积层，经过第二网络单元，最后经过一个卷积层后将最终数据输出。本专利技术提供了一种智能提取图像文字信息的方法，利用深度学习的方法设计了卷积神经网络，自动提取图像文字内容中的关键信息，图像文字信息智能提取模型利用深度学习来设计，训练模型的数据主要为图像，不依赖或轻度依赖图像文字识别结果，可以应用在图像版面不固定的情形。本方法只需要标注少量图片作为训练数据，在操作简便的前提下能获得更准确的图像文字信息智能提取效果。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本专利技术的图像文字信息智能提取模型的结构图；图2是实施例一图像文字信息智能提取系统中训练部分的流程图；图3是实施例一图像文字信息智能提取系统中推理部分的流程图；图4是实施例二图像文字信息智能提取系统中训练部分的流程图；图5是实施例二图像文字信息智能提取系统中推理部分的流程图。具体实施方式为使本专利技术的内容更加清楚易懂，以下结合说明书附图，对本专利技术的内容作进一步说明。当然本专利技术并不局限于该具体实施例，本领域内的技术人员所熟知的一般替换也涵盖在本专利技术的保护范围内。其次，本专利技术利用示意图进行了详细的表述，在详述本专利技术实例时，为了便于说明，示意图不依照一般比例局部放大，不应以此作为对本专利技术的限定。上述及其它技术特征和有益效果，将结合实施例及附图1-5对本专利技术的智能提取图像文字信息的方法进行详细说明。本专利技术一种智能提取图像文字信息的方法，包括训练部分以及推理部分，训练部分作用是获得应用于某类图像的文字信息智能提取系统的网络模型参数，训练部分包括以下步骤：步骤S1、调用图像文字检测识别模型，提取图像文字检测识别模型输出结果中的关键字段，根据图像文字检测识别结果的复杂程度判断是否将其作为训练数据；步骤S2、为图像文字检测识别结果标注一定量的标签，作为图像文字信息智能提取模型的训练集，设置待提取关键字段类别数等参数，送入图像文字信息智能提取模型进行训练，得到模型参数；步骤S3、获取步骤S2中训练得到的模型参数，作为图像文字信息智能提取系统推理时的参数，将待处理的图像数据输入图像文字信息智能提取模型，图像文字信息智能提取系统输出即为图像文字信息提取的结果。推理部分即为实际应用部分，推理部分包括以下步骤：步骤S4、图像文字检测：调用图像文字检测模型，检测图像中的文字内容所在的区域；步骤S5、图像文字识别：调用图像文字识别模型，识别输入的图像局部区域或整张图像，并本文档来自技高网...

【技术保护点】
1.一种智能提取图像文字信息的方法，其特征在于,包括以下步骤：/n步骤S1、调用图像文字检测识别模型，提取图像文字检测识别模型输出结果中的关键字段，根据图像文字检测识别结果的复杂程度判断是否将其作为训练数据；/n步骤S2、为图像文字检测识别结果标注一定量的标签，作为图像文字信息智能提取模型的训练集，设置待提取关键字段类别数等参数，送入图像文字信息智能提取模型进行训练，得到模型参数；/n步骤S3、获取步骤S2中训练得到的模型参数，作为图像文字信息智能提取系统推理时的参数，将待处理的图像数据输入图像文字信息智能提取模型，图像文字信息智能提取系统输出即为图像文字信息提取的结果。/n

【技术特征摘要】
1.一种智能提取图像文字信息的方法，其特征在于,包括以下步骤：
步骤S1、调用图像文字检测识别模型，提取图像文字检测识别模型输出结果中的关键字段，根据图像文字检测识别结果的复杂程度判断是否将其作为训练数据；
步骤S2、为图像文字检测识别结果标注一定量的标签，作为图像文字信息智能提取模型的训练集，设置待提取关键字段类别数等参数，送入图像文字信息智能提取模型进行训练，得到模型参数；
步骤S3、获取步骤S2中训练得到的模型参数，作为图像文字信息智能提取系统推理时的参数，将待处理的图像数据输入图像文字信息智能提取模型，图像文字信息智能提取系统输出即为图像文字信息提取的结果。


2.如权利要求1所述的智能提取图像文字信息的方法，其特征在于,还包括以下步骤：
步骤S4、图像文字检测：调用图像文字检测模型，检测图像中的文字内容所在的区域；
步骤S5、图像文字识别：调用图像文字识别模型，识别输入的图像局部区域或整张图像，并提取其中的文字内容；
步骤S6、提取关键信息：将图像送入文字信息智能提取系统，确定步骤S5中的图像文字内容哪些是关键信息，以{关键字：内容}的形式，输出关键信息提取结果。


3.如权利要求1所述的...

【专利技术属性】
技术研发人员：周钊，郑莹斌，叶浩，
申请(专利权)人：上海兑观信息科技技术有限公司，
类型：发明
国别省市：上海;31