文本检测方法及装置、电子设备、存储介质制造方法及图纸

本申请提供一种文本检测方法及装置、电子设备、存储介质，该方法包括：获取待处理文本图像；将待处理文本图像通过骨干网络转换成不同尺度的多张深度特征图；将不同尺度的多张深度特征图按照特征融合架构进行特征融合，得到融合特征图；将融合特征图分别作为概率分支网络和二值化分支网络的输入，得到概率分支网络输出的概率分布图和二值化分支网络输出的文本区域掩膜图；利用概率分布图修正文本区域掩膜图中框出的文本区域。由此可以简化计算，提高文本检测的准确性。

【技术实现步骤摘要】
文本检测方法及装置、电子设备、存储介质
本申请涉及图像处理
，特别涉及一种文本检测方法及装置、电子设备、计算机可读存储介质。
技术介绍
文本检测是文字识别算法流程的一部分，一般是指对文本图像进行文本行信息的检测与提取，获取文字图像上各文本行的位置的过程，以便后续用于对各文本行进行文本识别从而构成一个基本的OCR文字识别流程。随着深度学习的兴起，文本检测方法由原有的基于传统图像处理的方法，慢慢变为使用深度学习方法，常用方法为图像目标检测、图像目标分割等计算机视觉领域的方法，不同场景的缺陷检测需求不同，因此检测方法也多种多样。目前一种比较流行的文本检测方法是基于滑动窗口的文本检测方法。该方法基于通用目标检测的思想，设置大量不同长宽比、不同大小的锚点框，以这些锚点框为滑动窗口，在图像上或者在从图像上进行过卷积操作得到的特征映射图上进行遍历搜索，对于每个搜索到的位置框，进行框内是否是文本的分类判定。但是，这种方法计算量过大，不仅需要耗费大量计算资源，而且耗时较长。
技术实现思路
本申请实施例提供了一种文本检测方法，可以减少耗费的计算资源。本申请实施例提供了一种文本检测方法，所述方法包括：获取待处理文本图像；将所述待处理文本图像通过骨干网络转换成不同尺度的多张深度特征图；将所述不同尺度的多张深度特征图按照特征融合架构进行特征融合，得到融合特征图；将所述融合特征图分别作为概率分支网络和二值化分支网络的输入，得到所述概率分支网络输出的概率分布图和所述二值化分支网络输出的文本区域掩膜图；利用所述概率分布图修正所述文本区域掩膜图中框出的文本区域。在一实施例中，按照尺度由大到小，所述多张深度特征图包括第一特征图、第二特征图和第三特征图；所述将所述不同尺度的多张深度特征图按照特征融合架构进行特征融合，得到融合特征图，包括：将所述第三特征图通过训练的第一卷积核进行卷积计算，并将计算结果按照第一倍数上采样生成第三放大特征图；将所述第三特征图与所述第二特征图进行特征融合，得到第二放大特征图；将所述第二特征图与所述第一特征图进行特征融合，得到第一放大特征图；将所述第一放大特征图、所述第二放大特征图和所述第一放大特征图拼接得到所述融合特征图。在一实施例中，所述将所述第三特征图与所述第二特征图进行特征融合，得到第二放大特征图，包括:将所述第三特征图通过训练的第二卷积核进行卷积计算，并将计算结果按照第二倍数进行上采样，得到第一中间特征图；将所述第一中间特征图与所述第二特征图进行叠加；将叠加结果通过训练的第三卷积核进行卷积计算，并将计算结果按照第三倍数进行上采样，得到所述第二放大特征图。在一实施例中，所述将所述第二特征图与所述第一特征图进行特征融合，得到第一放大特征图，包括：将所述第二特征图通过训练的第四卷积核进行卷积计算，并将计算结果按照第四倍数进行上采样，得到第二中间特征图；将所述第二中间特征图与所述第一特征图进行叠加；将叠加结果通过训练的第五卷积核进行卷积计算，并将计算结果按照第五倍数进行上采样，得到所述第一放大特征图。在一实施例中，所述利用所述概率分布图修正所述文本区域掩膜图中框出的文本区域，包括：将所述概率分布图中的最小概率值作为阈值，找出概率大于所述阈值的像素点；根据所述像素点的位置，修正所述文本区域掩膜图中框出的文本区域。在一实施例中，在所述将所述待处理文本图像通过骨干网络转换成不同尺度的多张深度特征图之前，所述方法还包括：利用已知概率分布图和文本区域掩膜图的样本图像进行深度学习，训练得到所述骨干网络、所述特征融合架构、所述概率分支网络以及所述二值化分支网络。在一实施例中，所述利用已知概率分布图和文本区域掩膜图的样本图像进行深度学习，包括：通过初始骨干网络、初始特征融合架构、初始概率分支网络以及初始二值化分支网络，提取所述样本图像的预测概率分布图和预测文本区域掩膜图；根据所述样本图像的预测概率分布图和预测文本区域掩膜图，按照预设融合公式，得到二值化图；根据所述样本图像的已知概率分布图和文本区域掩膜图、预测概率分布图和预测文本区域掩膜图以及所述二值化图，计算损失函数值；反向优化所述初始骨干网络、初始特征融合架构、初始概率分支网络以及初始二值化分支网络的网络参数，直到使所述损失函数值满足预设条件。本申请实施例提供了一种文本检测装置，该装置包括：图像获取模块，用于获取待处理文本图像；特征提取模块，用于将所述待处理文本图像通过骨干网络转换成不同尺度的多张深度特征图；特征融合模块，用于将所述不同尺度的多张深度特征图按照特征融合架构进行特征融合，得到融合特征图；分支检测模块，用于将所述融合特征图分别作为概率分支网络和二值化分支网络的输入，得到所述概率分支网络输出的概率分布图和所述二值化分支网络输出的文本区域掩膜图；文本修正模块，用于利用所述概率分布图修正所述文本区域掩膜图中框出的文本区域。本申请实施例提供了一种电子设备，所述电子设备包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述文本检测方法。本申请实施例提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序可由处理器执行以完成上述文本检测方法。本申请上述实施例提供的技术方案，通过骨干网络和特征融合架构可以提起待处理图像的融合特征图，进而通过两个分支网络得到概率分布图和文本区域掩膜图；概率分布图可以用于修正文本区域掩膜图中框出的文图区域，由此可以简化计算，提高文本检测的准确性，附图说明为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例中所需要使用的附图作简单地介绍。图1是本申请实施例提供的电子设备的结构示意图；图2是本申请实施例提供的文本检测方法的流程示意图；图3是图2对应实施例中步骤S230的细节流程图；图4是本申请实施例提供的特征融合架构示意图；图5是本申请实施例提供的两个网络分支的示意图；图6是本申请实施例提供的样本图像的标签示意图；图7是本申请实施例提供的文本检测模型的训练流程示意图；图8是本申请实施例提供的文本检测装置的框图。具体实施方式下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。图1是本申请实施例提供的电子设备的结构示意图。该电子设备100可以用于执行本申请实施例提供的文本检测方法。如图1所示，该电子设备100包括：一个或多个处理器102本文档来自技高网...

【技术保护点】
1.一种文本检测方法，其特征在于，所述方法包括：/n获取待处理文本图像；/n将所述待处理文本图像通过骨干网络转换成不同尺度的多张深度特征图；/n将所述不同尺度的多张深度特征图按照特征融合架构进行特征融合，得到融合特征图；/n将所述融合特征图分别作为概率分支网络和二值化分支网络的输入，得到所述概率分支网络输出的概率分布图和所述二值化分支网络输出的文本区域掩膜图；/n利用所述概率分布图修正所述文本区域掩膜图中框出的文本区域。/n

【技术特征摘要】
1.一种文本检测方法，其特征在于，所述方法包括：
获取待处理文本图像；
将所述待处理文本图像通过骨干网络转换成不同尺度的多张深度特征图；
将所述不同尺度的多张深度特征图按照特征融合架构进行特征融合，得到融合特征图；
将所述融合特征图分别作为概率分支网络和二值化分支网络的输入，得到所述概率分支网络输出的概率分布图和所述二值化分支网络输出的文本区域掩膜图；
利用所述概率分布图修正所述文本区域掩膜图中框出的文本区域。


2.根据权利要求1所述的方法，其特征在于，按照尺度由大到小，所述多张深度特征图包括第一特征图、第二特征图和第三特征图；所述将所述不同尺度的多张深度特征图按照特征融合架构进行特征融合，得到融合特征图，包括：
将所述第三特征图通过训练的第一卷积核进行卷积计算，并将计算结果按照第一倍数上采样生成第三放大特征图；
将所述第三特征图与所述第二特征图进行特征融合，得到第二放大特征图；
将所述第二特征图与所述第一特征图进行特征融合，得到第一放大特征图；
将所述第一放大特征图、所述第二放大特征图和所述第一放大特征图拼接得到所述融合特征图。


3.根据权利要求2述的方法，其特征在于，所述将所述第三特征图与所述第二特征图进行特征融合，得到第二放大特征图，包括:
将所述第三特征图通过训练的第二卷积核进行卷积计算，并将计算结果按照第二倍数进行上采样，得到第一中间特征图；
将所述第一中间特征图与所述第二特征图进行叠加；
将叠加结果通过训练的第三卷积核进行卷积计算，并将计算结果按照第三倍数进行上采样，得到所述第二放大特征图。


4.根据权利要求2述的方法，其特征在于，所述将所述第二特征图与所述第一特征图进行特征融合，得到第一放大特征图，包括：
将所述第二特征图通过训练的第四卷积核进行卷积计算，并将计算结果按照第四倍数进行上采样，得到第二中间特征图；
将所述第二中间特征图与所述第一特征图进行叠加；
将叠加结果通过训练的第五卷积核进行卷积计算，并将计算结果按照第五倍数进行上采样，得到所述第一放大特征图。


5.根据权利要求1的方法，其特征在于，所述利用所述概率分布图修正所述文本区域掩膜图中框出的文本区域，包括：

【专利技术属性】
技术研发人员：张发恩，陆强，
申请(专利权)人：创新奇智西安科技有限公司，
类型：发明
国别省市：陕西;61