基于多特征融合卷积网络的复杂场景字符识别方法及系统技术方案

本发明专利技术提供了一种基于多特征融合卷积网络的复杂场景字符识别方法及系统，包括：特征提取步骤：基于多特征融合的方法构造卷积神经网络，对图像字符的特征进行提取，得到包含相对位置信息与时序信息的特征图；置信度估计步骤：构建双向LSTM网络，将所述特征图全部输入至双向LSTM网络，得到图像字符置信度估计序列；映射步骤：构建转录层，对所述图像字符置信度估计序列进行映射，得到输出序列，作为字符识别结果。本发明专利技术解决了现有的方法在图像模糊、车牌倾斜角过大、雨雪雾等天气状况和光线过曝或者过暗等复杂场景下车牌字符识别精度不高的问题，提高了车牌字符识别方法在实际应用上的普适性。

【技术实现步骤摘要】
基于多特征融合卷积网络的复杂场景字符识别方法及系统
本专利技术涉及计算机视觉领域，具体地，涉及一种基于多特征融合卷积网络的复杂场景下字符识别方法及系统。
技术介绍
由于近年来我国经济水平的飞速发展，对于字符识别的需求也在不断增加。实现对复杂场景下字符的自动识别，能够提高管理效率、降低人力成本。因此，字符识别技术成为近几年研究的热点。目前常见的字符识别技术可分为两阶段式字符识别技术和一阶段式的字符识别技术。两阶段式字符识别技术，即第一阶段进行字符分割，第二阶段对分割后的单个字符图像进行识别。字符分割方法包括边缘提取、水平垂直投影、特征投影等方法；字符识别方法包括模版匹配法、隐马尔可夫模型、支持向量机、人工神经网络等方法。由于两个步骤之间的衔接处容易出现差错，且破坏了连续的语义信息，导致整体识别鲁棒性较差。并且该方法很难实现计算的并行化，从而导致平均处理时延高。一阶段式的字符识别技术，即识别系统的输入为完整字符序列图像，根据识别系统的字符识别模型一步得到识别后的字符序列结果。目前比较普遍的方法就是利用卷积神经网络模型。该种方法保留了本文档来自技高网...

【技术保护点】
1.一种基于多特征融合卷积网络的复杂场景字符识别方法，其特征在于，包括：/n特征提取步骤：基于多特征融合的方法构造卷积神经网络，对图像字符的特征进行提取，得到包含相对位置信息与时序信息的特征图；/n置信度估计步骤：构建双向LSTM网络，将所述特征图全部输入至双向LSTM网络，得到图像字符置信度估计序列；/n映射步骤：构建转录层，对所述图像字符置信度估计序列进行映射，得到输出序列，作为字符识别结果。/n

【技术特征摘要】
1.一种基于多特征融合卷积网络的复杂场景字符识别方法，其特征在于，包括：
特征提取步骤：基于多特征融合的方法构造卷积神经网络，对图像字符的特征进行提取，得到包含相对位置信息与时序信息的特征图；
置信度估计步骤：构建双向LSTM网络，将所述特征图全部输入至双向LSTM网络，得到图像字符置信度估计序列；
映射步骤：构建转录层，对所述图像字符置信度估计序列进行映射，得到输出序列，作为字符识别结果。


2.根据权利要求1所述的基于多特征融合卷积网络的复杂场景字符识别方法，其特征在于，还包括：
模型训练步骤：通过样本图片训练所述卷积神经网络；
模型测试步骤：将训练好的所述卷积神经网络的参数固定，测试所述卷积神经网络的准确率。


3.根据权利要求1所述的基于多特征融合卷积网络的复杂场景字符识别方法，其特征在于，所述特征提取步骤包括：
构造卷积神经网络，在所述卷积神经网络的第二层中加入多层特征融合结构，所述多层特征融合结构包括在所述卷积神经网络的卷积层上添加两个分支，一个分支连接一个1×1的卷积层，另一个分支连接一个5×5的卷积层。


4.根据权利要求1所述的基于多特征融合卷积网络的复杂场景字符识别方法，其特征在于，所述双向LSTM网络包括：前向LSTM与后向LSTM；
所述前向LSTM与所述后向LSTM均由多个LSTM单元链式连接而成，LSTM单元内包含输入门和输出门，将所述特征图对应输入至相对应的LSTM单元的输入门中，应用激活函数对输出门的输出值进行转化，得到所述图像字符置信度估计序列。


5.根据权利要求1所述的基于多特征融合卷积网络的复杂场景字符识别方法，其特征在于，所述图像字符置信度估计序列设为y＝(y1，y2,…,yT)，则目标序列π的条件概率为



T为LSTM单元的数量，通过多对一映射得到更短的序列作为最终的预测结果，不同的目标序列π映射得到相同的结果，因此最终输出结果的概率为所有得到的目标序列π的条件概率之和



其中β为序列到序列的映射函数，l为映射序列。

【专利技术属性】
技术研发人员：孙锬锋，蒋兴浩，许可，舒常思，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海;31