文本图像的处理方法、装置、设备以及存储介质制造方法及图纸

本申请实施例提供了一种文本图像的处理方法、装置、设备以及存储介质，可适用于图像处理、云计算以及人工智能等领域。该方法包括：提取待处理文本图像的初始特征图；根据初始特征图，确定待处理文本图像所包含的至少一个文本区域中各个文本区域的文本内容特征和空间位置特征；对于每个文本区域，将文本区域的文本内容特征和空间位置特征拼接，得到文本区域的区域特征；基于各文本区域的区域特征，确定各文本区域的排序结果获取各文本区域的文本识别结果，基于排序结果将各文本区域的文本识别结果进行排序，得到待处理图像的文本识别结果。采用本申请实施例，可对文本图像中的文本内容进行有效排序，适用性高。适用性高。适用性高。

【技术实现步骤摘要】
文本图像的处理方法、装置、设备以及存储介质


[0001]本申请涉及人工智能领域，具体而言，本申请涉及一种文本图像的处理方法、装置、设备以及存储介质。

技术介绍

[0002]OCR(Optical Character Recognition，光学字符识别)版面分析一直是一个十分重要的方向，随着科技的发展，信息呈现出爆炸式的增长，在面对海量的OCR文本时，通过使用人力获取其中的内容信息作用十分的有限，而且成本较高，因此越来越多的OCR版面分析方法应运而生。现有的OCR版面分析方案包括基于CNN(或GCN(Graph Convolutional Network，图卷积神经网络))的文本分类器对文本中的文本、表格和图片(或标题，作者，摘要等)进行分类。
[0003]但是经发现，现有的OCR版面分析解决方案大都是对OCR的文本内容进行分类，而对离散的文本信息的整合排序在版面分析中也十分的重要，然而现在并没有对离散文本的排序问题的解决方法。

技术实现思路

[0004]本申请实施例提供一种文本图像的处理方法、装置、设备以及存储介质，可对文本图像中的文本内容进行有效排序，适用性高
[0005]一方面，本申请实施例提供了一种文本图像的处理方法，该方法包括：
[0006]提取待处理文本图像的初始特征图；
[0007]根据上述初始特征图，确定上述待处理文本图像所包含的至少一个文本区域中各个文本区域的文本内容特征和空间位置特征；
[0008]对于每个上述文本区域，将上述文本区域的文本内容特征和空间位置特征拼接，得到上述文本区域的区域特征；
[0009]基于各上述文本区域的区域特征，确定各上述文本区域的排序结果，上述排序结果表征了各上述文本区域的文本识别结果的输出顺序；
[0010]获取各上述文本区域的文本识别结果，基于上述排序结果将各上述文本区域的文本识别结果进行排序，得到上述待处理图像的文本识别结果。
[0011]另一方面，本申请实施例提供了一种文本图像的处理装置，该装置包括：
[0012]初始特征图提取模块，用于提取待处理文本图像的初始特征图；
[0013]初始特征图处理模块，用于根据上述初始特征图，确定上述待处理文本图像所包含的至少一个文本区域中各个文本区域的文本内容特征和空间位置特征；
[0014]区域特征确定模块，用于对于每个上述文本区域，将上述文本区域的文本内容特征和空间位置特征拼接，得到上述文本区域的区域特征；
[0015]排序结果确定模块，用于基于各上述文本区域的区域特征，确定各上述文本区域的排序结果，上述排序结果表征了各上述文本区域的文本识别结果的输出顺序；
[0016]文本排序模块，用于获取各上述文本区域的文本识别结果，基于上述区域排序结果将各上述文本区域的文本识别结果进行排序，得到上述待处理图像的文本识别结果。
[0017]其中，上述初始特征图处理模块，用于：
[0018]基于上述初始特征图中各特征点的位置，确定上述初始特征图中各特征点之间的位置关系；
[0019]基于上述初始特征图中各特征点的特征值、以及上述初始特征图中各特征点之间的位置关系，对上述初始特征图进行特征提取，得到目标特征图；
[0020]根据上述目标特征图，确定上述目标特征图中各特征点对应的分类结果，上述分类结果表征了上述目标特征图中各特征点属于文本区域或背景区域；
[0021]根据上述目标特征图中各特征点对应的分类结果，确定上述目标特征图中的至少一个文本区域；
[0022]对于每个上述文本区域，根据上述文本区域在上述目标特征图中所对应的各特征点的特征值，确定上述文本区域对应的文本内容特征，根据上述文本区域在上述目标特征图中所对应的各特征点的位置，确定上述文本区域对应的空间位置特征。
[0023]可选地，上述初始特征图处理模块，用于：
[0024]基于上述初始特征图中各特征点的位置，确定上述初始特征图中各特征点之间的距离；
[0025]基于上述初始特征图中各特征点的特征值、以及上述初始特征图中各特征点之间的距离，构建图结构，对上述图结构进行特征提取，得到目标特征图，其中，上述初始特征图中每个特征点对应于上述图结构中的一个节点，上述距离小于或等于设定值的特征点所对应的节点之间具有连边。
[0026]可选地，上述区域特征确定模块，用于：
[0027]将上述文本区域在上述目标特征图中所对应的各特征点中同一通道的特征值进行融合，得到对应于各通道的融合特征值；
[0028]基于上述文本区域对应的融合特征值，确定上述文本区域对应的文本内容特征。
[0029]可选地，上述排序结果确定模块，用于：
[0030]基于包含各上述文本区域的区域特征的特征序列，预测上述特征序列中各上述区域特征在每个时间步所对应的概率，基于各上述区域特征在每个时间步所对应的概率，确定各上述文本区域的排序结果；
[0031]其中，一个上述区域特征在一个时间步所对应的概率，表征了上述区域特征对应的文本区域在各上述文本区域中的排序对应于上述时间步的概率。
[0032]可选地，上述排序结果确定模块，用于：
[0033]对上述特征序列中各上述文本区域的区域特征进行编码处理，得到上述特征序列的编码结果；
[0034]对于每个时间步，基于上述编码结果和该时间步所对应的历史输出结果，预测各上述区域特征在该时间步所对应的概率；
[0035]其中，第一个时间步所对应的历史输出结果为预设特征，除第一个时间步之外的每个时间步，该时间步对应的历史输出结果包括该时间步的上一时间步所对应的预测结果，上述预测结果是基于上述上一个时间步所对应的各概率中最大概率对应的文本区域的
区域特征确定的。
[0036]可选地，上述排序结果确定模块，用于：
[0037]对上述特征序列中各上述文本区域的区域特征进行编码处理，得到各上述区域特征的对应的隐状态特征和上述特征序列的编码结果；
[0038]对于每个时间步，基于上述编码结果和该时间步对应的历史输出结果，确定该时间步对应的第一特征；对各上述隐状态特征进行特征提取，得到各上述区域特征对应的第二特征，根据各上述区域特征对应的第二特征和上述第一特征的相关性，得到各上述区域特征在该时间步所对应的概率。
[0039]可选地，上述文本排序模块，用于：
[0040]对于每个上述文本区域，基于上述文本区域的文本内容特征，得到上述文本区域的文本识别结果。
[0041]可选地，上述文本图像的处理装置根据上述初始特征图，确定上述待处理文本图像所包含的至少一个文本区域中各个文本区域的文本内容特征和空间位置特征、以及上述对于每个上述文本区域，将上述文本区域的文本内容特征和空间位置特征拼接，得到上述文本区域的区域特征是通过图处理模型实现的，上述图处理模型是由模型训练模块训练得到的，上述模型训练模块用于：
[0042]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本图像的处理方法，其特征在于，包括：提取待处理文本图像的初始特征图；根据所述初始特征图，确定所述待处理文本图像所包含的至少一个文本区域中各个文本区域的文本内容特征和空间位置特征；对于每个所述文本区域，将所述文本区域的文本内容特征和空间位置特征拼接，得到所述文本区域的区域特征；基于各所述文本区域的区域特征，确定各所述文本区域的排序结果，所述排序结果表征了各所述文本区域的文本识别结果的输出顺序；获取各所述文本区域的文本识别结果，基于所述排序结果将各所述文本区域的文本识别结果进行排序，得到所述待处理图像的文本识别结果。2.根据权利要求1所述的方法，其特征在于，所述根据所述初始特征图，确定所述待处理文本图像所包含的至少一个文本区域中各个文本区域的文本内容特征和空间位置特征，包括：基于所述初始特征图中各特征点的位置，确定所述初始特征图中各特征点之间的位置关系；基于所述初始特征图中各特征点的特征值、以及所述初始特征图中各特征点之间的位置关系，对所述初始特征图进行特征提取，得到目标特征图；根据所述目标特征图，确定所述目标特征图中各特征点对应的分类结果，所述分类结果表征了所述目标特征图中各特征点属于文本区域或背景区域；根据所述目标特征图中各特征点对应的分类结果，确定所述目标特征图中的至少一个文本区域；对于每个所述文本区域，根据所述文本区域在所述目标特征图中所对应的各特征点的特征值，确定所述文本区域对应的文本内容特征，根据所述文本区域在所述目标特征图中所对应的各特征点的位置，确定所述文本区域对应的空间位置特征。3.根据权利要求2所述的方法，其特征在于，所述基于所述初始特征图中各特征点的位置，确定所述初始特征图中各特征点之间的位置关系，包括：基于所述初始特征图中各特征点的位置，确定所述初始特征图中各特征点之间的距离；所述基于所述初始特征图中各特征点的特征值、以及所述初始特征图中各特征点之间的位置关系，对所述初始特征图进行特征提取，得到目标特征图，包括：基于所述初始特征图中各特征点的特征值、以及所述初始特征图中各特征点之间的距离，构建图结构，对所述图结构进行特征提取，得到目标特征图，其中，所述初始特征图中每个特征点对应于所述图结构中的一个节点，所述距离小于或等于设定值的特征点所对应的节点之间具有连边。4.根据权利要求2所述的方法，其特征在于，所述目标特征图包括多个通道的特征图，对于每个所述文本区域，所述根据所述文本区域在所述目标特征图中所对应的各特征点的特征值，确定所述文本区域对应的文本内容特征，包括：将所述文本区域在所述目标特征图中所对应的各特征点中同一通道的特征值进行融合，得到对应于各通道的融合特征值；
基于所述文本区域对应的融合特征值，确定所述文本区域对应的文本内容特征。5.根据权利要求1所述的方法，其特征在于，所述基于各所述文本区域对应的区域特征，确定各所述文本区域的排序结果，包括：基于包含各所述文本区域的区域特征的特征序列，预测所述特征序列中各所述区域特征在每个时间步所对应的概率，基于各所述区域特征在每个时间步所对应的概率，确定各所述文本区域的排序结果；其中，一个所述区域特征在一个时间步所对应的概率，表征了所述区域特征对应的文本区域在各所述文本区域中的排序对应于所述时间步的概率。6.根据权利要求5所述的方法，其特征在于，所述基于包含各所述文本区域的区域特征的特征序列，预测所述特征序列中各所述区域特征在每个时间步所对应的概率，包括：对所述特征序列中各所述文本区域的区域特征进行编码处理，得到所述特征序列的编码结果；对于每个时间步，基于所述编码结果和该时间步所对应的历史输出结果，预测各所述区域特征在该时间步所对应的概率；其中，第一个时间步所对应的历史输出结果为预设特征，除第一个时间步之外的每个时间步，该时间步对应的历史输出结果包括该时间步的上一时间步所对应的预测结果，所述预测结果是基于所述上一个时间步所对应的各概率中最大概率对应的文本区域的区域特征确定的。7.根据权利要求6所述的方法，其特征在于，所述对所述特征序列中各所述文本区域的区域特征进行编码处理，得到所述特征序列的编码结果，包括：对所述特征序列中各所述文本区域的区域特征...

【专利技术属性】
技术研发人员：赵志远，王洪振，黄珊，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：