一种基于深度学习的模糊车牌图像超分辨率重建方法技术

本发明专利技术公开了一种基于深度学习的模糊车牌图像超分辨率重建方法，涉及视频、图像处理技术领域。包括以下步骤：车牌字符图像预处理，对数据库中清晰的车牌字符图像进行模糊处理；以模糊处理后的车牌字符图像为样本训练分类器；对待识别的车牌字符图像用训练好的分类器进行分类并取预测概率最大的前N个识别结果；针对每一识别结果，以模糊处理后的车牌字符图像与待识别的车牌字符图像的相似度为权重，将相应的清晰的车牌字符图像进行加权求和得到预重建分块；以最大的前N个预测概率为权重，对相应的预重建分块进行加权求和得到最终的重建分块；将重建分块按照位置关系进行拼接。本发明专利技术对模糊的车牌字符进行重建，准确地恢复车牌字符原有的面目。

A super-resolution reconstruction method of fuzzy license plate image based on deep learning

【技术实现步骤摘要】
一种基于深度学习的模糊车牌图像超分辨率重建方法
本专利技术涉及视频、图像处理
，尤其涉及一种基于深度学习的模糊车牌图像超分辨率重建方法。
技术介绍
车辆信息在公共安全系统、刑侦领域有很重要的意义。因为拍摄角度，距离条件、设备因素、环境因素等原因，导致监控视频中的车牌模糊，模糊到肉眼都难以区分判别。时下，车辆字符识别系统虽然可以进行字符的识别，然后推送出最终识别的结果，但是在一些数据采集环境恶劣、场景复杂的情况下，车辆字符识别的结果会存在很大的错误概率，比如，刑侦领域的犯罪取证环节，车牌字符信息在车辆跟踪、判别身份起了重要的作用，但是此场景车牌字符信息一般都很模糊，传统的车牌字符识别结果存在误差，或者说，还不能准确的识别此场景的字符。
技术实现思路
本专利技术的目的在于提供一种基于深度学习的模糊车牌图像超分辨率重建方法，对模糊的车牌字符进行重建，准确地恢复车牌字符原有的面目。为实现上述目的，本专利技术提供如下技术方案：一种基于深度学习的模糊车牌图像超分辨率重建方法，其特征在于，包括以下步骤：S1，车牌字符图像预处理，对数据库中清晰的车牌字符图像进行模糊处理；S2，以模糊处理后的车牌字符图像为样本训练分类器；S3，对待识别的车牌字符图像用训练好的分类器进行分类并取预测概率最大的前N个识别结果；S4，针对每一识别结果，以模糊处理后的车牌字符图像与待识别的车牌字符图像的相似度为权重，将相应的清晰的车牌字符图像进行加权求和得到预重建分块；S5，以最大的前N个预测概率为权重，对相应的预重建分块进行加权求和得到最终的重建分块；S6，将重建分块按照位置关系进行拼接。进一步的，所述模糊处理为运动模糊、随机噪声、马赛克、散焦模糊的一种或几种。进一步的，所述分类器采用GoogleNet深度学习网络进行分类器训练。进一步的，所述S4的步骤如下：S41，针对每一识别结果，取数据库中对应的清晰的车牌字符图像构建清晰图像样本集，对应的模糊处理后的车牌字符图像构建模糊图像样本集；S42，对所述待识别的车牌字符图像进行分块；S43，对清晰的车牌字符图像和模糊处理后的车牌字符图像进行如S42的分块操作；S44，求解针对同一位置的各模糊处理后的车牌字符图像分块的权重；S45，根据所述权重和对应的清晰的车牌字符图像分块进行加权求和得到预重建分块。进一步的，所述S41中还包括尺寸归一化，将清晰的车牌字符图像和模糊处理后的车牌字符图像进行降采样或升采样，使清晰的车牌字符图像、模糊处理后的车牌字符图像的尺寸与待识别的车牌字符图像的尺寸相同。进一步的，所述S44前还包括样本筛选操作；计算同一位置的待识别的车牌字符图像的分块和各模糊处理后的车牌字符图像的分块的相似度，取相似度最高的前K个模糊处理后的车牌字符图像的分块作为S4中求解权重的样本。进一步的，所述K＝900。进一步的，所述S44中，权重的计算方法如下：S441，将待识别的车牌字符图像的分块按列降维成一维矩阵Blur(i,j)′；S442，将模糊处理后的车牌字符图像的分块按列降维成一维矩阵，再将各模糊处理后的车牌字符图像的分块按列拼接成集合矩阵{DBproc(i,j)}；S443，权重计算：S＝Blur(i,j)′*OT-{DBproc(i,j)}Z＝ST*Sw＝(Z-1*O)/(OT*Z-1*O)其中，O为C*1的全1矩阵；w为1*C的向量，w＝{wc}，wc表示数据库中对应该位置的第c个模糊处理后的车牌字符图像的分块对应的权重。进一步的，所述S45中加权求和方法如下：其中，HRVehiCharn(i,j)为针对第n个识别结果位于位置(i,j)的预重建分块，DBhr(i,j)c为数据库中对应该位置(i,j)的第c个清晰的车牌字符图像的分块。与现有技术相比，本专利技术的有益效果是：本专利技术针对低分辨率的视频和图像中存在车牌图像，根据清晰车牌字符图像进行多种模糊预处理，然后使用深度学习方法训练车牌字符分类器，深度学习的方法能更充分的提取字符图像特征，有效的解决了低分辨率视频中车牌模糊不能进行辨识的问题；然后根据分类器预测的结果进行基于图像分块的相似度重建；最后进行分块的融合完成超分辨率重建。该方法重建的车牌字符图像纹理完整、连续，极好地恢复其原有的面貌。附图说明图1为本专利技术的方法流程图。图2为本专利技术一实施例切割好的清晰的车牌字符图像。图3为本专利技术一实施例由同一车牌字符图像经模糊处理后得到的多个车牌字符图像。图4为本专利技术一实施例的待识别的模糊车牌字符图像。图5为本专利技术一实施例的最终重建结果。具体实施方式下面对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。请参阅图1，本专利技术提供一种基于深度学习的模糊车牌图像超分辨率重建方法，包括以下步骤：S1，车牌字符图像预处理，对数据库中清晰的车牌字符图像进行模糊处理。对数据库中如图2所示的清晰的车牌字符图像进行模拟环境的模糊处理，得到如图3所示的相应的模糊处理后的车牌字符图像。模糊处理采用常规算法，优选为运动模糊、随机噪声、马赛克、散焦模糊处理中的一种或几种。值得一提的是，针对同一车牌字符如字母B，数据库中有多张清晰的车牌字符图像，经模糊处理后，每一张清晰的车牌字符图像又会得到对应的多张模糊车牌字符图像。S2，以模糊处理后的车牌字符图像为样本训练分类器。把数据库中所有的车牌字符图像，包括清晰的车牌字符图像和模糊处理后的车牌字符图像进行深度学习训练，优选采用GoogleNet深度学习网络进行分类器训练，得到分类器的网络模型参数model。S3，对待识别的车牌字符图像用训练好的分类器进行分类并取预测概率最大的前N个识别结果。对待识别的车牌图像进行切割，得到如图4所示的待识别的车牌字符图像vehiChar。并对该待识别的车牌字符图像vehiChar，用训练好的分类器进行识别，得到对应的预测概率，对预测概率按从大到小进行排序，取前N的识别结果，优选N＝5，对应结果如下：Result＝{Res1:Rate1,Res2:Rate2,...,Res5:Rate5}其中，Resn:Raten表示第n个识别结果；Resn为对应的字符类别；Raten为对应该字符类别Resn的预测概率，n为自然数且1≤n≤N。S4，针对每一识别结果，以模糊处理后的车牌字符图像与待识别的车牌字符图像的相似度为权重，将相应的清晰的车牌字符图像进行加权求和得到预重建分块。以第1个识别结果为例，S4的具体步骤如下：S41，针对字符类别Res1，取本文档来自技高网...

【技术保护点】
1.一种基于深度学习的模糊车牌图像超分辨率重建方法，其特征在于，包括以下步骤：/nS1，车牌字符图像预处理，对数据库中清晰的车牌字符图像进行模糊处理；/nS2，以模糊处理后的车牌字符图像为样本训练分类器；/nS3，对待识别的车牌字符图像用训练好的分类器进行分类并取预测概率最大的前N个识别结果；/nS4，针对每一识别结果，以模糊处理后的车牌字符图像与待识别的车牌字符图像的相似度为权重，将相应的清晰的车牌字符图像进行加权求和得到预重建分块；/nS5，以最大的前N个预测概率为权重，对相应的预重建分块进行加权求和得到最终的重建分块；/nS6，将重建分块按照位置关系进行拼接。/n

【技术特征摘要】
1.一种基于深度学习的模糊车牌图像超分辨率重建方法，其特征在于，包括以下步骤：
S1，车牌字符图像预处理，对数据库中清晰的车牌字符图像进行模糊处理；
S2，以模糊处理后的车牌字符图像为样本训练分类器；
S3，对待识别的车牌字符图像用训练好的分类器进行分类并取预测概率最大的前N个识别结果；
S4，针对每一识别结果，以模糊处理后的车牌字符图像与待识别的车牌字符图像的相似度为权重，将相应的清晰的车牌字符图像进行加权求和得到预重建分块；
S5，以最大的前N个预测概率为权重，对相应的预重建分块进行加权求和得到最终的重建分块；
S6，将重建分块按照位置关系进行拼接。


2.根据权利要求1所述的基于深度学习的模糊车牌图像超分辨率重建方法，其特征在于，所述模糊处理为运动模糊、随机噪声、马赛克、散焦模糊的一种或几种。


3.根据权利要求1所述的基于深度学习的模糊车牌图像超分辨率重建方法，其特征在于，所述分类器采用GoogleNet深度学习网络进行分类器训练。


4.根据权利要求1所述的基于深度学习的模糊车牌图像超分辨率重建方法，其特征在于，所述S4的步骤如下：
S41，针对每一识别结果，取数据库中对应的清晰的车牌字符图像构建清晰图像样本集，对应的模糊处理后的车牌字符图像构建模糊图像样本集；
S42，对所述待识别的车牌字符图像进行分块；
S43，对清晰的车牌字符图像和模糊处理后的车牌字符图像进行如S42的分块操作；
S44，求解针对同一位置的各模糊处理后的车牌字符图像分块的权重；
S45，根据所述权重和对应的清晰的车牌字符图像分块进行加权求和得到预重建分块。


5.根据权利要求4所述的基于深度学习的模糊车牌图像超分辨率重建方法，其特征在于，所述S41中还包括...

【专利技术属性】
技术研发人员：满庆奎，徐晓刚，
申请(专利权)人：智慧视通杭州科技发展有限公司，
类型：发明
国别省市：浙江;33