序列识别方法、装置、图像处理设备和存储介质制造方法及图纸

本申请提供了一种序列识别方法、装置、图像处理设备和存储介质，属于图像识别技术领域。所述方法包括：通过图像识别模型对待识别的目标图像进行特征提取，得到第一特征图，所述第一特征图中包括多个第一图像特征；基于所述图像识别模型中的卷积神经网络层和全连接层，对所述第一特征图进行时序关系提取，得到融合所述目标图像包括的上下位信息的第二特征图，所述第二特征图中包括多个第二图像特征；基于所述多个第一图像特征和所述多个第二图像特征，对所述目标图像并行进行字符识别，得到字符序列。由于第二特征图中包含了字符之间的时序关系；这样就能够基于第一特征图和第二特征图并行进行字符识别，提高了字符识别效率。

Sequence recognition method, device, image processing device and storage medium

【技术实现步骤摘要】
序列识别方法、装置、图像处理设备和存储介质
本申请涉及图像识别
，特别涉及一种序列识别方法、装置、图像处理设备和存储介质。
技术介绍
随着图像识别技术的发展，利用图像识别模型进行序列识别应用越来越广泛；例如，通过图像识别模型识别车牌号码、条形码等序列。然而由于车牌号码或者条形码一般包括多个，通过串行识别方式进行识别，从而导致识别的效率低。因此，需要一种序列识别方法，来提供识别的效率。
技术实现思路
本申请实施例提供了一种序列识别方法、装置、图像处理设备和存储介质，能够序列识别效率。所述技术方案如下：一方面，提供了一种序列识别方法，所述方法包括：通过图像识别模型对待识别的目标图像进行特征提取，得到第一特征图，所述第一特征图中包括多个第一图像特征；基于所述图像识别模型中的卷积神经网络层和全连接层，对所述第一特征图进行时序关系提取，得到融合所述目标图像包括的上下位信息的第二特征图，所述第二特征图中包括多个第二图像特征；基于所述多个第一图像特征和所述多个第二图像特征，对所述目标图像并行进行字符识别，得到字符序列。可选地，所述基于所述多个第一图像特征和所述多个第二图像特征，对所述目标图像并行进行字符识别，得到字符序列，包括：基于所述多个第一图像特征和所述多个第二图像特征，确定多组图像特征，每组图像特征中包括相同特征位置的第一图像特征和第二图像特征；对所述多组图像特征并行进行字符识别；基于已识别出的多个字符，生成字符序列。可选地，所述对所述多组图像特征并行进行字符识别，包括：对所述多组图像特征中的第一图像特征和第二图像特征进行矩阵运算，得到第三特征图，所述第三特征图中包括多个第三图像特征，所述第三图像特征为相同特征位置的第一图像特征和第二图像特征通过矩阵运算得到的；对所述多个第三图像特征并行进行解码，识别每个图像特征对应的字符。可选地，所述第一图像特征的尺寸为B×C1×H×W；所述第二图像特征的尺寸为B×T×H×W；所述第三图像特征的尺寸为B×C1×T；其中，所述B为所述图像识别模型的批量参数、C1为所述图像识别模型的特征通道数；H为特征图高度，W为特征图宽度，T为预测序列长度。可选地，所述基于所述图像识别模型中的卷积神经网络层和全连接层，对所述第一特征图进行时序关系提取，得到融合所述目标图像包括的上下位信息的第二特征图，包括：通过所述卷积神经网络层对所述第一特征图的通道数进行变换处理，得到融合所述目标图像包括的上下位信息的第四特征图；通过所述全连接层，将所述第四特征图中的通道映射到预设序列长度上，得到所述第二特征图。可选地，所述方法还包括：获取多个样本图像，每个样本图像标注所述样本图像中的字符序列；基于所述多个样本图像和每个样本图像标注的字符序列，通过卷积神经网络，训练所述图像识别模型。另一方面，提供了一种序列识别装置，所述装置包括：提取模块，用于通过图像识别模型对待识别的目标图像进行特征提取，得到第一特征图，所述第一特征图中包括多个第一图像特征；处理模块，用于基于所述图像识别模型中的卷积神经网络层和全连接层，对所述第一特征图进行时序关系提取，得到融合所述目标图像包括的上下位信息的第二特征图，所述第二特征图中包括多个第二图像特征；识别模块，用于基于所述多个第一图像特征和所述多个第二图像特征，对所述目标图像并行进行字符识别，得到字符序列。可选地，所述识别模块，包括：确定单元，用于基于所述多个第一图像特征和所述多个第二图像特征，确定多组图像特征，每组图像特征中包括相同特征位置的第一图像特征和第二图像特征；识别单元，用于对所述多组图像特征并行进行字符识别；生成单元，用于基于已识别出的多个字符，生成字符序列。可选地，所述识别单元，用于：对所述多组图像特征中的第一图像特征和第二图像特征进行矩阵运算，得到第三特征图，所述第三特征图中包括多个第三图像特征，所述第三图像特征为相同特征位置的第一图像特征和第二图像特征通过矩阵运算得到的；对所述多个第三图像特征并行进行解码，识别每个图像特征对应的字符。可选地，所述第一图像特征的尺寸为B×C7×H×W；所述第二图像特征的尺寸为B×T×H×W；所述第三图像特征的尺寸为B×C7×T；其中，所述B为所述图像识别模型的批量参数、C7为所述图像识别模型的特征通道数；H为特征图高度，W为特征图宽度，T为预测序列长度。可选地，所述处理模块，包括：变换单元，用于通过所述卷积神经网络层对所述第一特征图的通道数进行变换处理，得到融合所述目标图像包括的上下位信息的第四特征图；映射单元，用于通过所述全连接层，将所述第四特征图中的通道映射到预设序列长度上，得到所述第二特征图。可选地，所述装置还包括：获取模块，用于获取多个样本图像，每个样本图像标注所述样本图像中的字符序列；训练模块，用于基于所述多个样本图像和每个样本图像标注的字符序列，通过卷积神经网络，训练所述图像识别模型。另一方面，提供了一种图像处理设备，所述图像处理设备包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以实现上述任一可能实现方式所述的序列识别方法。另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现上述任一可能实现方式所述的序列识别方法。另一方面，提供了一种计算机程序产品，所述计算机程序产品包括至少一个计算机程序，所述计算机程序被处理器执行时，用于实现上述任一可能实现方式所述的序列识别方法。在本申请实施例中，在对目标图像进行序列识别的过程中，由于对目标图像的第一特征图，进行时序关系提取，得到融合目标图像包括的上下位信息的第二特征图；从而第二特征图中包含了字符之间的时序关系；这样就能够基于第一特征图和第二特征图并行进行字符识别，提高了字符识别效率。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本申请实施例提供的一种实施环境的示意图；图2是本申请实施例提供的一种序列识别方法的流程图；图3是本申请实施例提供的另一种序列识别方法的流程图；图4是本申请实施例提供的一种序列识别方法的示意图；图5是本申请实施例提供的另一种序列识别方法的示意图；图6是本申请实施例提供的另一种序列识别方法的示意图；图7是本申请实施例提供的图像识别模型的训练方法的流程图；图8是本申请实施例提供的一种序列识别装置的框图；图9是本申请实施例提供的一种图像处理设备的框图。<本文档来自技高网...

【技术保护点】
1.一种序列识别方法，其特征在于，所述方法包括：/n通过图像识别模型对待识别的目标图像进行特征提取，得到第一特征图，所述第一特征图中包括多个第一图像特征；/n基于所述图像识别模型中的卷积神经网络层和全连接层，对所述第一特征图进行时序关系提取，得到融合所述目标图像包括的上下位信息的第二特征图，所述第二特征图中包括多个第二图像特征；/n基于所述多个第一图像特征和所述多个第二图像特征，对所述目标图像并行进行字符识别，得到字符序列。/n

【技术特征摘要】
1.一种序列识别方法，其特征在于，所述方法包括：
通过图像识别模型对待识别的目标图像进行特征提取，得到第一特征图，所述第一特征图中包括多个第一图像特征；
基于所述图像识别模型中的卷积神经网络层和全连接层，对所述第一特征图进行时序关系提取，得到融合所述目标图像包括的上下位信息的第二特征图，所述第二特征图中包括多个第二图像特征；
基于所述多个第一图像特征和所述多个第二图像特征，对所述目标图像并行进行字符识别，得到字符序列。


2.根据权利要求1所述的方法，其特征在于，所述基于所述多个第一图像特征和所述多个第二图像特征，对所述目标图像并行进行字符识别，得到字符序列，包括：
基于所述多个第一图像特征和所述多个第二图像特征，确定多组图像特征，每组图像特征中包括相同特征位置的第一图像特征和第二图像特征；
对所述多组图像特征并行进行字符识别；
基于已识别出的多个字符，生成字符序列。


3.根据权利要求2所述的方法，其特征在于，所述对所述多组图像特征并行进行字符识别，包括：
对所述多组图像特征中的第一图像特征和第二图像特征进行矩阵运算，得到第三特征图，所述第三特征图中包括多个第三图像特征，所述第三图像特征为相同特征位置的第一图像特征和第二图像特征通过矩阵运算得到的；
对所述多个第三图像特征并行进行解码，识别每个图像特征对应的字符。


4.根据权利要求3所述的方法，其特征在于，所述第一图像特征的尺寸为B×C1×H×W；所述第二图像特征的尺寸为B×T×H×W；所述第三图像特征的尺寸为B×C1×T；
其中，所述B为所述图像识别模型的批量参数、C1为所述图像识别模型的特征通道数；H为特征图高度，W为特征图宽度，T为预测序列长度。


5.根据权利要求1所述的方法，其特征在于，所述基于所述图像识别模型中的卷积神经网络层和全连接层，对所述第一特征图进行时序关系提取，得到融合所述目标图像包括的上下位信息的第二特征图，包括：
通过所述卷积神经网络层对所述第一特征图的通道数进行变换处理，得到融合所述目标图像包括的上下位信息的第四特征图；
通过所述全连接层，将所述第四特征图中的通道映射到预设序列长度上，得到所述第二特征图。


6.根据权利要求1-5任一项所述的方法，其特征在于，所述方法还包括：
获取多个样本图像，每个样本图像标注所述样本图像中的字符序列；
基于所述多个样本图像和每个样本图像标注的字符序列，通过卷积神经网络，训练所述图像识别模型。


7.一种序列识别装置，其特征在于，所述装置包括：
提取模块，用于通过图像识别模型对待识别的目标图像进行特征提取，得到第一特征图，所述第一特征图中包括多个...

【专利技术属性】
技术研发人员：许昀璐，
申请(专利权)人：上海高德威智能交通系统有限公司，
类型：发明
国别省市：上海;31