字符序列识别方法及装置、电子设备和存储介质制造方法及图纸

本公开涉及一种字符序列识别方法及装置、电子设备和存储介质，所述方法包括：对待识别图像进行特征提取，得到所述待识别图像的特征图；根据所述特征图的通道，对所述特征图进行分割，得到多个子特征图；对所述多个子特征图分别进行识别，得到所述待识别图像中的字符序列。本公开实施例可提高不规则字符序列的识别准确度和效率。

【技术实现步骤摘要】
字符序列识别方法及装置、电子设备和存储介质
本公开涉及计算机视觉
，尤其涉及一种字符序列识别方法及装置、电子设备和存储介质。
技术介绍
字符序列识别在视觉理解、自动驾驶等方面有着重要的作用。相关技术中通过递归识别网络识别字符序列，字符序列识别效率低下。
技术实现思路
本公开提出了一种用于进行字符序列识别的字符序列识别方法及装置、电子设备和存储介质。根据本公开的一方面，提供了一种字符序列识别方法，包括：对待识别图像进行特征提取，得到所述待识别图像的特征图；根据所述特征图的通道，对所述特征图进行分割，得到多个子特征图；对所述多个子特征图分别进行识别，得到所述待识别图像中的字符序列。在一种可能的实现方式中，所述根据所述特征图的通道，对所述特征图进行分割，得到多个子特征图，包括：对所述特征图的通道进行选择，得到多个通道组；根据所述多个通道组，对所述特征图进行分割，得到多个子特征图。在一种可能的实现方式中，所述方法还包括：根据所述特征图，得到所述待识别图像的注意力矩阵；根据所述多个通道组，对所述特征图进行分割，得到多个子特征图，包括：根据所述多个通道组与所述注意力矩阵，得到每个所述通道组对应的注意力特征图；根据所述注意力特征图与所述特征图，得到多个子特征图。在一种可能的实现方式中，所述对所述特征图的通道进行选择，得到多个通道组，包括：通过二叉分割树对所述特征图的通道进行选择，得到多个通道组。在一种可能的实现方式中，所述对所述多个子特征图分别进行识别，得到所述待识别图像中的字符序列，包括：针对任一子特征图，确定所述子特征图是否对应一个字符；在所述子特征图对应一个字符的情况下，对所述子特征图进行识别，确定所述子特征图对应的字符。在一种可能的实现方式中，所述多个通道组呈树状结构，所述对所述多个子特征图分别进行识别，得到所述待识别图像中的字符序列，还包括：从左向右遍历多个通道组对应的所述子特征图所对应的字符，得到所述待识别图像中的字符序列。在一种可能的实现方式中，所述方法通过字符序列识别网络实现，所述方法还包括：通过预设的训练集训练所述字符序列识别网络，所述训练集中包括多个样本组，所述样本组包括样本图像及所述样本图像中包含的标注字符序列。在一种可能的实现方式中，所述字符序列识别网络包括特征提取网络、特征分割网络、及分类网络，所述通过预设的训练集训练所述字符序列识别网络，包括：通过所述特征提取网络对所述样本图像进行特征提取，得到所述样本图像对应的样本特征图；所述特征分割网络根据所述样本特征图的通道对所述样本图像进行分割，得到多个子样本特征图；通过所述分类网络对所述子样本特征图进行识别，确定所述样本图像中的字符序列；根据所述样本图像中的字符序列及所述样本图像对应的标注信息，训练所述字符序列识别网络。根据本公开的一方面，提供了一种字符序列识别装置，包括：提取模块，用于对待识别图像进行特征提取，得到所述待识别图像的特征图；分割模块，用于根据所述特征图的通道，对所述特征图进行分割，得到多个子特征图；识别模块，用于对所述多个子特征图分别进行识别，得到所述待识别图像中的字符序列。在一种可能的实现方式中，所述分割模块还用于：对所述特征图的通道进行选择，得到多个通道组；根据所述多个通道组，对所述特征图进行分割，得到多个子特征图。在一种可能的实现方式中，所述装置还包括：处理模块，用于根据所述特征图，得到所述待识别图像的注意力矩阵；所述分割模块，还用于：根据所述多个通道组与所述注意力矩阵，得到每个所述通道组对应的注意力特征图；根据所述注意力特征图与所述特征图，得到多个子特征图。在一种可能的实现方式中，所述分割模块，还用于：通过二叉分割树对所述特征图的通道进行选择，得到多个通道组。在一种可能的实现方式中，所述识别模块，还用于：针对任一子特征图，确定所述子特征图是否对应一个字符；在所述子特征图对应一个字符的情况下，对所述子特征图进行识别，确定所述子特征图对应的字符。在一种可能的实现方式中，所述多个通道组呈树状结构，所述识别模块还用于：从左向右遍历多个通道组对应的所述子特征图所对应的字符，得到所述待识别图像中的字符序列。在一种可能的实现方式中，所述装置通过字符序列识别网络实现，所述装置还包括：训练模块，用于通过预设的训练集训练所述字符序列识别网络，所述训练集中包括多个样本组，所述样本组包括样本图像及所述样本图像中包含的标注字符序列。在一种可能的实现方式中，所述字符序列识别网络包括特征提取网络、特征分割网络、及分类网络，所述训练模块还用于：通过所述特征提取网络对所述样本图像进行特征提取，得到所述样本图像对应的样本特征图；所述特征分割网络根据所述样本特征图的通道对所述样本图像进行分割，得到多个子样本特征图；通过所述分类网络对所述子样本特征图进行识别，确定所述样本图像中的字符序列；根据所述样本图像中的字符序列及所述样本图像对应的标注信息，训练所述字符序列识别网络。根据本公开的一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为调用所述存储器存储的指令，以执行上述方法。根据本公开的一方面，提供了一种计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令被处理器执行时实现上述方法。上述实施例的字符序列识别方法及装置、电子设备和存储介质可以对待识别图像进行特征提取，得到所述待识别图像的特征图，并根据所述特征图的通道，对所述特征图进行分割，得到多个子特征图，进一步的对所述多个子特征图分别进行识别，得到所述待识别图像中的字符序列。根据本公开实施例提供的字符序列识别方法及装置、电子设备和存储介质，可以通过对特征图进行分割的方式，得到待处理图像中各个字符分别对应的子特征图，进而对子特征图进行识别，可以得到待识别图像中的字符序列，由于对各个子特征图的识别过程可以并行进行，因此在能够提高不规则字符序列的识别或者规则字符序列的识别的识别效率。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本公开。根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。附图说明此处的附图被并入说明书中并构成本说明书的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。图1示出根据本公开实施例的字符序列识别方法的流程图；图2示出根据本公开实施例的字符序列识别方法的流程图；图3示出根据本公开实施例的字符序列识别方法的示意图；图4示出根据本公开实施例的字符序列识别方法的流程图；图5(本文档来自技高网...

【技术保护点】
1.一种字符序列识别方法，其特征在于，包括：/n对待识别图像进行特征提取，得到所述待识别图像的特征图；/n根据所述特征图的通道，对所述特征图进行分割，得到多个子特征图；/n对所述多个子特征图分别进行识别，得到所述待识别图像中的字符序列。/n

【技术特征摘要】
1.一种字符序列识别方法，其特征在于，包括：
对待识别图像进行特征提取，得到所述待识别图像的特征图；
根据所述特征图的通道，对所述特征图进行分割，得到多个子特征图；
对所述多个子特征图分别进行识别，得到所述待识别图像中的字符序列。


2.根据权利要求1所述的方法，其特征在于，所述根据所述特征图的通道，对所述特征图进行分割，得到多个子特征图，包括：
对所述特征图的通道进行选择，得到多个通道组；
根据所述多个通道组，对所述特征图进行分割，得到多个子特征图。


3.根据权利要求2所述的方法，其特征在于，所述方法还包括：
根据所述特征图，得到所述待识别图像的注意力矩阵；
根据所述多个通道组，对所述特征图进行分割，得到多个子特征图，包括：
根据所述多个通道组与所述注意力矩阵，得到每个所述通道组对应的注意力特征图；
根据所述注意力特征图与所述特征图，得到多个子特征图。


4.根据权利要求2或3所述的方法，其特征在于，所述对所述特征图的通道进行选择，得到多个通道组，包括：
通过二叉分割树对所述特征图的通道进行选择，得到多个通道组。


5.根据权利要求1至4中任一项所述的方法，其特征在于，所述对所述多个子特征图分别进行识别，得到所述待识别图像中的字符序列，包括：
针对任一子特征图，确定所述子特征图是否对应一个字符；
在所述子特征图对应一个字符的情况下，对所述子特征图进行识别，确定所述子特征图对应的字符。


6.根据权利要求5所述的方法，其特征在于，所述多个通道组呈树状结构，所述对所述多个子特征图分别进行识别，得到所述待识别图像中的字符序列，还包括：
从左向右遍历多个通道组对应...

【专利技术属性】
技术研发人员：孙红斌，岳晓宇，旷章辉，蔺琛皓，张伟，
申请(专利权)人：北京市商汤科技开发有限公司，
类型：发明
国别省市：北京;11