字符检测模型训练方法及组件，文本识别方法及组件技术

本申请公开了计算机技术领域内的一种字符检测模型训练方法及组件，文本识别方法及组件。本申请能够训练得到字符检测模型，该字符检测模型能够检测任一图像中的每个字符的位置及方向，因此就算图像中的文字弯曲、变形或随意分布，字符检测模型都可以确定字符在图像中的分布位置，从而可实现更细颗粒度的字符级文字检测和提取，文字定位和检测精确率更高。可见本申请提供的字符检测模型针对模板类图像、无规则类图像都能进行文字检测和提取，模型通用性更佳。相应地，本申请提供的一种字符检测模型训练组件、一种文本识别方法及组件，也同样具有上述技术效果。也同样具有上述技术效果。也同样具有上述技术效果。

【技术实现步骤摘要】
字符检测模型训练方法及组件，文本识别方法及组件


[0001]本申请涉及计算机
，特别涉及一种字符检测模型训练方法及组件，文本识别方法及组件。

技术介绍

[0002]目前，现有的文本识别技术主要用于对模板类的图像进行文字识别，例如：提取证件、卡牌、单据类图像中的文字，而难以对随机拍摄的图像、无规则文字的图像进行文字提取。也即，以模板类图像作为输入数据的模型无法对无规则图像进行文字检测和提取，导致无规则图像中的文字定位和检测精确率偏低。
[0003]因此，如何针对无规则文字的图像进行文字检测和提取，是本领域技术人员需要解决的问题。

技术实现思路

[0004]有鉴于此，本申请的目的在于提供一种字符检测模型训练方法及组件，文本识别方法及组件，以针对无规则文字的图像进行文字检测和提取。其具体方案如下：
[0005]第一方面，本申请提供了一种字符检测模型训练方法，包括：
[0006]从训练集中获取目标图像，所述训练集包括多个图像，每个图像中的每一字符标注有位置标签和方向标签；
[0007]将所述目标图像输入待训练模型，以使所述待训练模型输出所述目标图像中每一字符的位置信息和方向信息；
[0008]针对所述目标图像中的每一字符，计算所述位置信息和所述位置标签之间的位置损失，计算所述方向信息和所述方向标签之间的方向损失，并基于所述位置损失和所述方向损失确定单字符损失；
[0009]基于所述目标图像中的所有字符的单字符损失确定综合损失；
[0010]若所述综合损失符合模型收敛条件，则将所述待训练模型作为字符检测模型；否则，基于所述综合损失更新所述待训练模型的模型参数，并在所述训练集中重新选择图像作为所述目标图像，以利用重新选择的目标图像对更新后的待训练模型进行迭代训练。
[0011]可选地，所述将所述目标图像输入待训练模型，以使所述待训练模型输出所述目标图像中每一字符的位置信息和方向信息，包括：
[0012]将所述目标图像输入所述待训练模型，以使所述待训练模型从所述目标图像中提取轮廓特征和深度语义特征，融合所述轮廓特征和所述深度语义特征得到特征图，基于所述特征图确定所述目标图像中每一字符的位置信息和方向信息。
[0013]可选地，融合所述轮廓特征和所述深度语义特征得到特征图，包括：
[0014]拼接所述轮廓特征和所述深度语义特征得到所述特征图；
[0015]和/或
[0016]将所述轮廓特征和所述深度语义特征相加得到所述特征图。
[0017]可选地，所述基于所述特征图确定所述目标图像中每一字符的位置信息和方向信息，包括：
[0018]对所述特征图进行前景和背景分割，得到前景像素特征；
[0019]对所述前景像素特征进行字符分割，得到所述目标图像中每一字符对应的像素特征；
[0020]基于所述目标图像中每一字符对应的像素特征确定所述目标图像中每一字符的位置信息和方向信息。
[0021]可选地，所述基于所述目标图像中的所有字符的单字符损失确定综合损失，包括：
[0022]将所述目标图像中所有字符的单字符损失之和确定为所述综合损失。
[0023]可选地，还包括：
[0024]将无标注图像输入所述字符检测模型，以使所述字符检测模型输出所述无标注图像中每一字符的位置信息和方向信息；
[0025]将所述字符检测模型输出的、所述无标注图像中每一字符的位置信息和方向信息标注于所述无标注图像，得到有标注图像；
[0026]利用所述有标注图像对所述字符检测模型进行迭代训练。
[0027]可选地，还包括：
[0028]若所述综合损失不符合模型收敛条件，则对本次输入所述待训练模型的目标图像进行尺寸缩放调整和/或切割拼接调整，并为调整后的图像添加标注后，将调整后的图像填充至所述训练集。
[0029]第二方面，本申请提供了一种文本识别方法，包括：
[0030]获取包含文本的待识别图像；
[0031]将所述待识别图像输入字符检测模型，以使所述字符检测模型输出所述待识别图像中每一字符的位置信息和方向信息；字符检测模型按照上述任一项所述的字符检测模型训练方法训练得到；
[0032]基于所述待识别图像中每一字符的位置信息和方向信息，确定所述待识别图像中包含的文本。
[0033]第三方面，本申请提供了一种字符检测模型训练装置，包括：
[0034]获取模块，用于从训练集中获取目标图像，所述训练集包括多个图像，每个图像中的每一字符标注有位置标签和方向标签；
[0035]处理模块，用于将所述目标图像输入待训练模型，以使所述待训练模型输出所述目标图像中每一字符的位置信息和方向信息；
[0036]计算模块，用于针对所述目标图像中的每一字符，计算所述位置信息和所述位置标签之间的位置损失，计算所述方向信息和所述方向标签之间的方向损失，并基于所述位置损失和所述方向损失确定单字符损失；
[0037]确定模块，用于基于所述目标图像中的所有字符的单字符损失确定综合损失；
[0038]输出模块，用于若所述综合损失符合模型收敛条件，则将所述待训练模型作为字符检测模型；
[0039]迭代模块，用于若所述综合损失不符合模型收敛条件，则基于所述综合损失更新所述待训练模型的模型参数，并在所述训练集中重新选择图像作为所述目标图像，以利用
重新选择的目标图像对更新后的待训练模型进行迭代训练。
[0040]第四方面，本申请提供了一种文本识别装置，包括：
[0041]获取模块，用于获取包含文本的待识别图像；
[0042]检测模块，用于将所述待识别图像输入字符检测模型，以使所述字符检测模型输出所述待识别图像中每一字符的位置信息和方向信息；字符检测模型按照上述任一项所述的字符检测模型训练方法训练得到；
[0043]识别模块，用于基于所述待识别图像中每一字符的位置信息和方向信息，确定所述待识别图像中包含的文本。
[0044]第五方面，本申请提供了一种电子设备，包括：
[0045]存储器，用于存储计算机程序；
[0046]处理器，用于执行所述计算机程序，以实现前述公开的方法。
[0047]第六方面，本申请提供了一种可读存储介质，用于保存计算机程序，其中，所述计算机程序被处理器执行时实现前述公开的方法。
[0048]通过以上方案可知，本申请提供了一种字符检测模型训练方法，包括：从训练集中获取目标图像，所述训练集包括多个图像，每个图像中的每一字符标注有位置标签和方向标签；将所述目标图像输入待训练模型，以使所述待训练模型输出所述目标图像中每一字符的位置信息和方向信息；针对所述目标图像中的每一字符，计算所述位置信息和所述位置标签之间的位置损失，计算所述方向信息和所述方向标签之间的方向损失，并基于所述位置损失和所述方向损失确定单字符损失；基于所述目标图像中的所有字符的单字符损失确本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种字符检测模型训练方法，其特征在于，包括：从训练集中获取目标图像，所述训练集包括多个图像，每个图像中的每一字符标注有位置标签和方向标签；将所述目标图像输入待训练模型，以使所述待训练模型输出所述目标图像中每一字符的位置信息和方向信息；针对所述目标图像中的每一字符，计算所述位置信息和所述位置标签之间的位置损失，计算所述方向信息和所述方向标签之间的方向损失，并基于所述位置损失和所述方向损失确定单字符损失；基于所述目标图像中的所有字符的单字符损失确定综合损失；若所述综合损失符合模型收敛条件，则将所述待训练模型作为字符检测模型；否则，基于所述综合损失更新所述待训练模型的模型参数，并在所述训练集中重新选择图像作为所述目标图像，以利用重新选择的目标图像对更新后的待训练模型进行迭代训练。2.根据权利要求1所述的方法，其特征在于，所述将所述目标图像输入待训练模型，以使所述待训练模型输出所述目标图像中每一字符的位置信息和方向信息，包括：将所述目标图像输入所述待训练模型，以使所述待训练模型从所述目标图像中提取轮廓特征和深度语义特征，融合所述轮廓特征和所述深度语义特征得到特征图，基于所述特征图确定所述目标图像中每一字符的位置信息和方向信息。3.根据权利要求2所述的方法，其特征在于，融合所述轮廓特征和所述深度语义特征得到特征图，包括：拼接所述轮廓特征和所述深度语义特征得到所述特征图；和/或将所述轮廓特征和所述深度语义特征相加得到所述特征图。4.根据权利要求2所述的方法，其特征在于，所述基于所述特征图确定所述目标图像中每一字符的位置信息和方向信息，包括：对所述特征图进行前景和背景分割，得到前景像素特征；对所述前景像素特征进行字符分割，得到所述目标图像中每一字符对应的像素特征；基于所述目标图像中每一字符对应的像素特征确定所述目标图像中每一字符的位置信息和方向信息。5.根据权利要求1至4任一项所述的方法，其特征在于，还包括：若所述综合损失不符合模型收敛条件，则对本次输入所述待训练模型的目标图像进行尺寸缩放调整和...

【专利技术属性】
技术研发人员：王雄，
申请(专利权)人：深信服科技股份有限公司，
类型：发明
国别省市：