一种文本检测方法、装置、电子设备及可读存储介质制造方法及图纸

本申请公开了一种文本检测方法、装置、电子设备及可读存储介质。其中，方法包括判断原始图像是有雾图像还是无雾图像；若原始图像为有雾图像，则对原始图像执行去雾操作，得到待检测图像；将待检测图像输入至预先构建的基于视觉转换器的文本检测模型，得到原始图像中文本的位置信息；其中，该基于视觉转换器的文本检测模型的序列特征采用视觉转换器模块进行提取，其后处理方法采用预设位置精细检测方法确定原始图像中文本的位置信息；该预设位置精细检测方法为基于交并比以及置信度分数将NMS和Soft

【技术实现步骤摘要】
一种文本检测方法、装置、电子设备及可读存储介质


[0001]本申请涉及图像处理
，特别是涉及一种文本检测方法、装置、电子设备及可读存储介质。

技术介绍

[0002]图像中不可避免会有文本，相应的，从图像中检测、识别并提取文本的技术也就应用而生。目前已经提出了许多有效的文本检测方法，并取得了一些令人满意的结果。然而，这些方法主要是针对非雾场景中的文本检测而设计的。
[0003]可以理解的是，有雾场景是很常见的，对雾场景下的文本的检查也是很有必要的。传统的雾检测方法可以有效地利用雾的某种特征来区分雾图像和非雾图像。基于灰度直方图的方法是计算灰度直方图的特征参数，再利用一系列阈值确定原始图像所属的雾级。然而，对于颜色与雾相似的文本，传统方法并不会检测出这些文本，导致最终文本检测精度较低，并无法满足用户需求。
[0004]鉴于此，如何提升文本检测精度，是所属领域技术人员需要解决的技术问题。

技术实现思路

[0005]本申请提供了一种文本检测方法、装置、电子设备及可读存储介质，可以有效提升文本检测精度。
[0006]为解决上述技术问题，本专利技术实施例提供以下技术方案：本专利技术实施例一方面提供了一种文本检测方法，包括：判断原始图像是有雾图像还是无雾图像；若所述原始图像为有雾图像，则对所述原始图像执行去雾操作，得到待检测图像；将所述待检测图像输入至预先构建的基于视觉转换器的文本检测模型，得到所述原始图像中文本的位置信息；其中，所述文本检测模型的序列特征采用视觉转换器模块进行提取，所述文本检测模型的后处理方法采用预设位置精细检测方法确定所述原始图像中文本的位置信息；所述预设位置精细检测方法为基于交并比以及置信度分数将NMS和Soft
‑
NMS融合所得的方法。
[0007]可选的，所述判断原始图像是有雾图像还是无雾图像，包括：预先利用训练样本集训练雾检测模型，所述雾检测模型包括特征提取层、特征输出层和特征识别层；将所述原始图像输入至所述雾检测模型；根据所述雾检测模型的输出结果判断所述原始图像是有雾图像还是无雾图像；其中，所述特征提取层包括多个卷积结构，所述特征输出层包括多个全连接层，所述特征识别层利用第一函数计算所述特征输出层输出特征属于雾天图像特征的概率值，并利用第二函数输出分类结果。
[0008]可选的，所述训练样本集包括多张雾天场景的文本图像，所述根据所述雾检测模型的输出结果判断所述原始图像是有雾图像还是无雾图像，包括：若根据所述雾检测模型的输出结果判定所述原始图像为有雾图像，则获取所述原始图像的灰度直方图，以基于直方图统计方法进行雾检测；统计所述灰度直方图中超过预设个数阈值的目标像素点的总个数；若所述总个数大于等于预设类别阈值，则所述原始图像为有雾图像；若所述总个数小于所述预设类别阈值，则所述原始图像为无雾图像。
[0009]可选的，所述对所述原始图像执行去雾操作，包括：将所述原始图像输入至预先训练的深度模型，得到所述原始图像的深度图；所述深度图是由雾图生成的；调用修正计算关系式对所述深度图进行修正处理，得到校正深度图；调用复原计算关系式对所述校正深度图进行图像复原处理，以得到所述待检测图像。
[0010]可选的，所述将所述待检测图像输入至预先构建的基于视觉转换器的文本检测模型，得到所述原始图像中文本的位置信息，包括：对经过图像预处理的所述待检测图像进行文本间的空间特征的提取，得到空间特征图；所述空间特征图采用视觉转换器模块；根据所述空间特征图提取文本间的序列特征，并将所述序列特征输入至全连接层以执行分类和回归操作，得到各分支输出的每个文本框的位置信息和文本概率值；基于所述预设位置精细检测方法处理各文本框的位置信息，得到所述文本的位置信息。
[0011]可选的，所述基于所述预设位置精细检测方法处理各文本框的位置信息，得到所述文本的位置信息，包括：调用融合关系式计算所述文本的位置信息，所述融合关系式为：；式中，为所述文本的位置信息，b
n
为所述NMS生成的文本框的坐标值，b
s
为所述Soft
‑
NMS生成的文本框的坐标值，N
t
为预设交并阈值，w
n
为所述NMS的权重系数，w
s
为所述Soft
‑
NMS的权重系数。
[0012]可选的，所述调用融合关系式计算所述文本的位置信息之前，还包括：预先分别计算所述NMS和所述Soft
‑
NMS生成文本框的置信度分数，得到所述NMS的第一置信度分数和所述Soft
‑
NMS的第二置信度分数；根据所述第一置信度分数和所述第二置信度分数，调用权重计算关系式计算所述NMS和所述Soft
‑
NMS的权重系数，所述权重计算关系式为：,；式中，s
n
为所述第一置信度分数，s
s
为所述第二置信度分数。
[0013]本专利技术实施例另一方面提供了一种文本检测装置，包括：判断模块，用于判断原始图像是有雾图像还是无雾图像；去雾模块，用于若所述原始图像为有雾图像，则对所述原始图像执行去雾操作，得到待检测图像；文本检测模块，用于将所述待检测图像输入至预先构建的基于视觉转换器的文本检测模型，得到所述原始图像中文本的位置信息；其中，所述文本检测模型的序列特征采用视觉转换器模块进行提取，所述文本检测模型的后处理方法采用预设位置精细检测方法确定所述原始图像中文本的位置信息；所述预设位置精细检测方法为基于交并比以及置信度分数将NMS和Soft
‑
NMS融合所得的方法。
[0014]本专利技术实施例还提供了一种电子设备，包括处理器，所述处理器用于执行存储器中存储的计算机程序时实现如前任一项所述文本检测方法的步骤。
[0015]本专利技术实施例最后还提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前任一项所述文本检测方法的步骤。
[0016]本申请提供的技术方案的优点在于，先对原始图像进行雾检测，并对有雾图像先执行去雾操作，再进行文本检测，基于视觉转换器的文本检测模型所输出的最终文本位置信息是基于交并比和置信度分数所确定的最优位置检测方法所得，不仅有效处理雾天和混合场景，还可以提高文本检测结果预测的准确性，满足用户对雾场景中的文本的检测精准度的现实需求。
[0017]此外，本专利技术实施例还针对文本检测方法提供了相应的实现装置、电子设备及可读存储介质，进一步使得所述方法更具有实用性，所述装置、电子设备及可读存储介质具有相应的优点。
[0018]应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。
附图说明
[0019]为了更清楚的说明本专利技术实施例或相关技术的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本检测方法，其特征在于，包括：判断原始图像是有雾图像还是无雾图像；若所述原始图像为有雾图像，则对所述原始图像执行去雾操作，得到待检测图像；将所述待检测图像输入至预先构建的基于视觉转换器的文本检测模型，得到所述原始图像中文本的位置信息；其中，所述文本检测模型的序列特征采用视觉转换器模块进行提取，所述文本检测模型的后处理方法采用预设位置精细检测方法确定所述原始图像中文本的位置信息；所述预设位置精细检测方法为基于交并比以及置信度分数将非极大值抑制方法NMS和缓和的非极大值抑制方法Soft
‑
NMS融合所得。2.根据权利要求1所述的文本检测方法，其特征在于，所述判断原始图像是有雾图像还是无雾图像，包括：预先利用训练样本集训练雾检测模型，所述雾检测模型包括特征提取层、特征输出层和特征识别层；将所述原始图像输入至所述雾检测模型；根据所述雾检测模型的输出结果判断所述原始图像是有雾图像还是无雾图像；其中，所述特征提取层包括多个卷积结构，所述特征输出层包括多个全连接层，所述特征识别层利用第一函数计算所述特征输出层输出特征属于雾天图像特征的概率值，并利用第二函数输出分类结果。3.根据权利要求2所述的文本检测方法，其特征在于，所述训练样本集包括多张雾天场景的文本图像，所述根据所述雾检测模型的输出结果判断所述原始图像是有雾图像还是无雾图像，包括：若根据所述雾检测模型的输出结果判定所述原始图像为有雾图像，则获取所述原始图像的灰度直方图，以基于直方图统计方法进行雾检测；统计所述灰度直方图中超过预设个数阈值的目标像素点的总个数；若所述总个数大于等于预设类别阈值，则所述原始图像为有雾图像；若所述总个数小于所述预设类别阈值，则所述原始图像为无雾图像。4.根据权利要求1所述的文本检测方法，其特征在于，所述对所述原始图像执行去雾操作，包括：将所述原始图像输入至预先训练的深度模型，得到所述原始图像的深度图；所述深度图是由雾图生成的；调用修正计算关系式对所述深度图进行修正处理，得到校正深度图；调用复原计算关系式对所述校正深度图进行图像复原处理，以得到所述待检测图像。5.根据权利要求1至4任意一项所述的文本检测方法，其特征在于，所述将所述待检测图像输入至预先构建的基于视觉转换器的文本检测模型，得到所述原始图像中文本的位置信息，包括：对经过图像预处理的所述待检测图像进行文本间的空间特征的提取，得到空间特征图；所述空间特征图采用视觉转换器模块；根据所述空间特征图提取文本间的序列特征，并将所述序列特征输入至全连接层以执行分类和回归操作，得到各...

【专利技术属性】
技术研发人员：王润民，刘莹莹，朱桂林，陈华，朱姿諭，刘明昊，张翔宇，代建华，丁亚军，
申请(专利权)人：湖南师范大学，
类型：发明
国别省市：