文本序列的识别方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种文本序列的识别方法及装置、电子设备和存储介质，其中，该方法包括：获取包含文本序列的待处理图像；根据识别网络对所述待处理图像中的文本序列进行识别，得到构成所述文本序列的多个单字符，对所述多个单字符进行字符并行处理，得到识别结果。采用本公开，能改善图像中文字序列的识别精度。

Text sequence recognition method and device, electronic equipment and storage medium

【技术实现步骤摘要】
文本序列的识别方法及装置、电子设备和存储介质
本公开涉及数据处理
，尤其涉及一种文本序列的识别方法及装置、电子设备和存储介质。
技术介绍
在文本序列的识别场景中，识别不规则文字在诸如视觉理解、自动驾驶等领域有着重要的作用。不规则文字大量存在于交通标志、店面招牌等自然场景中，由于视角变化、光照变化等因素，导致识别难度相较于对规则文字的识别更高，识别精度低，然而，相关技术中未存在有效的解决方案。
技术实现思路
本公开提出了一种文本序列识别的技术方案。根据本公开的一方面，提供了一种文本序列的识别方法，所述方法包括：获取包含文本序列的待处理图像；根据识别网络对所述待处理图像中的文本序列进行识别，得到构成所述文本序列的多个单字符，对所述多个单字符进行字符并行处理，得到识别结果。采用本公开，获取包含文本序列的待处理图像，由于根据识别网络对文本序列进行识别，可以得到构成该文本序列的多个单字符，不依赖于字符之间的语义关系，则对多个单字符进行字符并行处理，得到识别结果，可以提高识别精度，且并行处理可以提高处理效率。可能的实现方式中，所述根据识别网络对所述待处理图像中的文本序列进行识别，得到构成所述文本序列的多个单字符，包括：根据所述识别网络中设置的二叉树，识别出所述待处理图像中构成所述文本序列的所述多个单字符。采用本公开，基于二叉树的处理可以达到对多个单字符并行编码和解码的作用，使单字符的识别精度大大提高。可能的实现方式中，所述根据所述识别网络中设置的二叉树，识别出所述待处理图像中构成所述文本序列的所述多个单字符，包括：根据所述二叉树对所述待处理图像中的文本序列进行编码处理，得到文本序列中对应文本片段的二叉树节点特征；根据所述二叉树对所述二叉树节点特征进行解码处理，识别出构成所述文本片段的所述多个单字符。采用本公开，基于二叉树编码的过程中，可以对所述待处理图像中的文本序列进行编码处理，以得到文本序列中对应文本片段的二叉树节点特征，即将一段文本序列通过编码转换为二叉树的节点特征，以便于后续基于该二叉树进行解码处理。可能的实现方式中，所述获取包含文本序列的待处理图像之后，所述方法还包括：通过所述识别网络，提取所述待处理图像中的文本序列的图像特征，得到特征图，以根据所述特征图识别所述文本序列，得到构成所述文本序列的多个单字符。采用本公开，可以通过所述识别网络，提取所述待处理图像中的文本序列的图像特征，得到特征图，由于根据图像特征去处理，以便后续进行语义分析，而不是直接提取语义，相比较而言，语义分析的结果更为准确，从而提高了识别精度。可能的实现方式中，所述通过所述识别网络，提取所述待处理图像中的文本序列的图像特征，得到特征图，包括：将所述待处理图像中的文本序列输入特征提取模块；经所述特征提取模块的特征提取，得到所述特征图。采用本公开，可以通过识别网络中的特征提取模块进行特征提取，由于网络是自适应调参的，因此，特征提取所得到的特征图更为精确，从而提高了识别精度。可能的实现方式中，所述根据所述二叉树对所述待处理图像中的文本序列进行编码处理，得到文本序列中对应文本片段的二叉树节点特征，包括：将所述特征图输入基于序列分割注意力规则的序列分割注意力模块；根据所述序列分割注意力模块包含的所述二叉树对所述特征图进行多通道选择，得到多个目标通道组；根据所述多个目标通道组进行文本分割，得到文本序列中对应文本片段的二叉树节点特征。采用本公开，基于二叉树编码的过程中，可以通过识别网络中的序列分割注意力模块进行编码，以得到文本序列中对应文本片段的二叉树节点特征，即将一段文本序列通过序列分割注意力模块中二叉树的编码转换为二叉树的节点特征，以便于后续基于该二叉树进行解码处理。由于网络是自适应调参的，因此，通过序列分割注意力模块所得到的编码结果更为精确，从而提高了识别精度。可能的实现方式中，所述根据所述序列分割注意力模块包含的所述二叉树对所述特征图进行多通道选择，包括：对所述特征图基于所述序列分割注意力规则进行处理，得到注意力特征矩阵后，根据所述二叉树对所述注意力特征矩阵进行多通道选择。采用本公开，通过序列分割注意力模块中二叉树编码的过程中，可以得到注意力特征矩阵后，根据所述二叉树对所述注意力特征矩阵进行多通道选择，以便得到用于文本分割的多个目标通道组。可能的实现方式中，所述根据所述多个目标通道组进行文本分割，得到文本序列中对应文本片段的二叉树节点特征，包括：根据所述多个目标通道组进行文本分割，得到多个注意力特征图；对所述特征图进行卷积处理，得到卷积处理结果；将所述多个注意力特征图与所述卷积处理结果进行加权，根据加权结果得到文本序列中对应文本片段的二叉树节点特征。采用本公开，通过序列分割注意力模块中二叉树编码的过程中，根据所述多个目标通道组进行文本分割，得到多个注意力特征图，将多个注意力特征图与对特征图进行卷积处理得到的卷积处理结果进行加权，则可以根据加权结果得到文本序列中对应文本片段的二叉树节点特征，以便于后续基于该二叉树进行解码处理。可能的实现方式中，所述根据所述二叉树对所述二叉树节点特征进行解码处理，识别出构成所述文本片段的所述多个单字符，包括：将所述二叉树和所述二叉树节点特征输入分类模块进行节点分类，得到分类结果；根据所述分类结果，识别出构成所述文本片段的所述多个单字符。采用本公开，基于二叉树的解码过程可以采用分类模块进行分类处理。分类处理可以将二叉树和之前编码得到的二叉树节点特征输入识别网络中的分类模块进行节点分类，得到分类结果，根据所述分类结果，识别出构成所述文本片段的所述多个单字符。基于二叉树的解码处理也是并行的，且网络是自适应调参的，因此，通过分类模块所得到的解码结果更为精确，从而提高了识别精度。可能的实现方式中，所述根据所述分类结果，识别出构成所述文本片段的所述多个单字符，包括：所述分类结果为单字符对应特征的情况下，判断所述单字符对应特征的文本语义，以识别出所述单字符特征对应的语义分类。采用本公开，基于二叉树的解码过程可以采用分类模块进行分类处理。分类处理得到的分类结果为单字符对应特征的情况下，通过判断出单字符对应特征的文本语义，可以识别出单字符特征对应的语义分类，由于不是直接提取语义，而是通过分析得到语义分类，从而提高了识别精度。根据本公开的一方面，提供了一种文本序列的识别装置，所述装置包括：获取单元，用于获取包含文本序列的待处理图像；识别单元，用于根据识别网络对所述待处理图像中的文本序列进行识别，得到构成所述文本序列的多个单字符，对所述多个单字符进行字符并行处理，得到识别结果。可能的实现方式中，所述识别单元，用于：根据所述识别网络中设置的二叉树，识别出所述待处理图像中构成所述文本序列的所述多个单字符。可能的实现方式中，所述识别本文档来自技高网...

【技术保护点】
1.一种文本序列的识别方法，其特征在于，所述方法包括：/n获取包含文本序列的待处理图像；/n根据识别网络对所述待处理图像中的文本序列进行识别，得到构成所述文本序列的多个单字符，对所述多个单字符进行字符并行处理，得到识别结果。/n

【技术特征摘要】
1.一种文本序列的识别方法，其特征在于，所述方法包括：
获取包含文本序列的待处理图像；
根据识别网络对所述待处理图像中的文本序列进行识别，得到构成所述文本序列的多个单字符，对所述多个单字符进行字符并行处理，得到识别结果。


2.根据权利要求1所述的方法，其特征在于，所述根据识别网络对所述待处理图像中的文本序列进行识别，得到构成所述文本序列的多个单字符，包括：
根据所述识别网络中设置的二叉树，识别出所述待处理图像中构成所述文本序列的所述多个单字符。


3.根据权利要求2所述的方法，其特征在于，所述根据所述识别网络中设置的二叉树，识别出所述待处理图像中构成所述文本序列的所述多个单字符，包括：
根据所述二叉树对所述待处理图像中的文本序列进行编码处理，得到文本序列中对应文本片段的二叉树节点特征；
根据所述二叉树对所述二叉树节点特征进行解码处理，识别出构成所述文本片段的所述多个单字符。


4.根据权利要求1-3任一项所述的方法，其特征在于，所述获取包含文本序列的待处理图像之后，所述方法还包括：
通过所述识别网络，提取所述待处理图像中的文本序列的图像特征，得到特征图，以根据所述特征图识别所述文本序列，得到构成所述文本序列的多个单字符。


5.根据权利要求4所述的方法，其特征在于，所述通过所述识别网络，提取所述待处理图像中的文本序列的图像特征，得到特征图，包括：
将所述待处理图像中的文本序列输入特征提取模块；
经所述特征提取模块的特征提取，得...

【专利技术属性】
技术研发人员：岳晓宇，旷章辉，孙红斌，宋小萌，张伟，
申请(专利权)人：深圳市商汤科技有限公司，
类型：发明
国别省市：广东;44