一种基于深度学习的车牌超分辨率处理方法及系统技术方案

本发明专利技术公开了一种基于深度学习的车牌超分辨率处理方法及系统，包括从原始压缩监控视频获取一系列包含车牌信息的图像；然后对其中的兴趣目标进行跟踪；选取若干个兴趣点并以截取图像，对这些图像进行配准；利用深度学习训练库，获取相应的深度网络权重，使用深度网络权重对配准后的多帧图像进行超分辨率处理，得到清晰的高分辨率车牌I。本发明专利技术使用超分辨率深度网络模型和梯度引导网络模型进行共同优化的策略学习出高压缩监控视频中降质字符和清晰字符间的内在关系，通过一个共同深度网络实现超分辨率和去块效应的效果，提升了降质字符的分辨率并去除块效应，解决了高压缩监控视频中车牌字符无法看清的问题。

A method and system of license plate super-resolution processing based on depth learning

The invention discloses a license plate deep learning based super-resolution processing method and system, including obtaining a series of license plate information that contains the image from the original compressed video; then the interested target tracking; select the number of points of interest and to capture image, registration of these images; the use of deep learning training base to get the depth of the weight of the network, using the depth of network weights for multi frame image registration after super-resolution processing, high resolution clear license plate I. The invention uses super resolution depth gradient network model and guide network model to jointly optimize the learning strategies of high quality and reducing the intrinsic relationship between the character and clear character in video surveillance, super resolution and deblocking effect through a common depth network, enhance the degradation character of the resolution and remove block effect, to solve the license plate character can not see the surveillance video of the problem of high compression.

【技术实现步骤摘要】
一种基于深度学习的车牌超分辨率处理方法及系统
本专利技术涉及一种数字视频图像处理方法，尤其涉及一种基于深度学习的车牌超分辨率处理方法及系统。
技术介绍
近年来，我国己经进入了社会高速发展期，国内安全形势严峻。为了维护社会稳定，保障人民生命财产安全，国家投入3000个亿的资金在全国多个城市实施平安城市视频监控工程，建立了较为完善的视频监控体系。监控摄像头拍摄并记录下了所在监控区域过去、现在所发生的各种情景。一方面为日后的各种刑事侦查留下线索、民事纠纷留下证据，另一方面震慑了各种犯罪分子，防止进行各项犯罪活动。车牌是监控视频当中，最有价值的观察目标，是很多视频监控应用中较为注重的部分。但是实际情况中，很多压缩监控视频中的车牌往往模糊不清，而造成车牌信息无法通过肉眼看清的主要原因有：一、摄像头和目标车辆的距离太远，导致车牌的有效分辨率不足；二、往往对监控视频进行一定的压缩以减少存储空间并方便存储，导致监控视频质量下降。因成像条件和压缩所引起的车牌画质低，无法通过肉眼直接观察得到信息的问题亟待解决，从监控视频当中提取清晰、高质量的车牌图像，不但能够为人们提供有价值的线索也能为日后的司法审判提本文档来自技高网...

【技术保护点】
一种基于深度学习的车牌超分辨率处理方法，其特征在于，包括：(1)从原始压缩监控视频中获取n帧包含车牌信息的图像{Ji}；(2)对各帧图像Ji进行目标检测，分别获得各帧图像的目标区域；(3)在各个目标区域中选取兴趣点，获得兴趣点轨迹；(4)选取n个位于兴趣点轨迹上的兴趣点，并以该兴趣点为中心截取图像，以其中任一图像为待超分辨率帧，将该待超分辨率帧与其他图像进行配准；(5)使用深度网络权重对配准后的多帧图像进行超分辨率处理，得到清晰的高分辨率车牌I。所述深度网络权重通过以下方法训练得到：(5.1)提取低质车牌和高分辨率车牌中的字符，针对每个字符，建立n个低质样本和1个高分辨率样本的深度学习训练库；...

【技术特征摘要】
1.一种基于深度学习的车牌超分辨率处理方法，其特征在于，包括：(1)从原始压缩监控视频中获取n帧包含车牌信息的图像{Ji}；(2)对各帧图像Ji进行目标检测，分别获得各帧图像的目标区域；(3)在各个目标区域中选取兴趣点，获得兴趣点轨迹；(4)选取n个位于兴趣点轨迹上的兴趣点，并以该兴趣点为中心截取图像，以其中任一图像为待超分辨率帧，将该待超分辨率帧与其他图像进行配准；(5)使用深度网络权重对配准后的多帧图像进行超分辨率处理，得到清晰的高分辨率车牌I。所述深度网络权重通过以下方法训练得到：(5.1)提取低质车牌和高分辨率车牌中的字符，针对每个字符，建立n个低质样本和1个高分辨率样本的深度学习训练库；其中，高分辨率车牌从原始监控视频中获取，所述的低质车牌是从原始监控视频进行压缩和不同分辨率下采样后获得的低质视频中获得。(5.2)使用超分辨率网络模型和梯度引导网络模型对步骤5.1的训练库进行优化训练，获取相应的深度网络权重；其中，超分辨率网络模型的损失函数为:其中Ws表示超分辨率网络模型的权重，N为训练样本的批数量，每一批样本中包含n个低质样本和1个高分辨率样本。{Il}i为第i批样本中的低质样本集合，表示第i批样本中的的高分辨率样本，F({Il}i,Ws)为重建出的高分辨率字符。梯度引导网络模型的损失函数为：

【专利技术属性】
技术研发人员：王维东，黄露，
申请(专利权)人：浙江大学，
类型：发明
国别省市：浙江,33