基于无人机实时监控视频的车牌识别方法及装置制造方法及图纸

基于无人机实时监控视频的车牌识别方法及装置,利用深度学习的卷积神经网络训练得到车牌检测网络模型和车牌识别网络模型，在实时识别时，实时监控视频由车牌检测网络模型检测得到车牌矩形区域，车牌识别网络模型对矩形区域识别得到车牌具体信息，两者级联得到车牌识别结果。本发明专利技术针对无人机场景因飞行高度的变化，尺度不一的问题，改进目标检测卷积神经网络中特征金字塔网络并优化损失函数，本发明专利技术方法不仅可以解决车牌目标尺度变换的问题，同时提高车牌检测中边界框定位性能得到更准确的车牌位置信息，从而提高车牌识别的准确率。从而提高车牌识别的准确率。从而提高车牌识别的准确率。

【技术实现步骤摘要】
基于无人机实时监控视频的车牌识别方法及装置


[0001]本专利技术属于视频图像处理
，涉及无人机实时监控视频，为一种基于无人机实时监控视频的车牌识别方法及装置。

技术介绍

[0002]无人机航拍以简单灵活的操控和价格低廉等优点逐渐成为拍摄智能交通监控视频的重要方式。车牌作为车辆管理的唯一标识符号，车牌识别在智能交通系统中起着极其重要的作用。
[0003]在实际的无人机监控环境下，高度复杂的背景、天气、光照等外在因素的影响，基于车牌的特征，包括颜色、边缘、纹理等对车牌进行定位，会出现准确率低的问题；基于字符分割的车牌识别方法是对车牌区域切割的到分离的车牌字符，容易受到图片的噪声、模糊、低分辨率等影响，车牌字符识别的准确率较低。尤其是在无人机这一特定环境下，车牌识别仍然是一个有待优化的问题。无人机拍摄场景会存在飞行高度的变化，出现尺度不一的问题：因为无人机高度的变化，造成车牌大小的变化，语义信息、特征提取容易存在信息丢失的问题。
[0004]随着深度学习算法的迅速发展，Alexey等提出了基于卷积神经网络的车牌识别网络，X D本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于无人机实时监控视频的车牌识别方法，其特征是利用深度学习的卷积神经网络训练得到车牌检测网络模型和车牌识别网络模型，级联两个网络模型，实现无人机实时监控视频的车牌识别，首先利用无人机监控视频构建车牌检测训练集，训练车牌检测网络模型，保存训练所得车牌区域的位置和标签信息，以车牌检测网络模型同样的数据集作为车牌识别训练集训练车牌识别网络模型；在实时识别时，实时监控视频由车牌检测网络模型检测得到车牌矩形区域，车牌识别网络模型对车牌区域识别得到车牌具体信息，两者级联得到车牌识别结果，最终车牌区域以及车牌具体信息显示在道路交通视频数据中。2.根据权利要求1所述的基于无人机实时监控视频的车牌识别方法，其特征是车牌检测网络模型基于卷积神经网络实现，具体如下：1)获取无人机采集的道路交通视频数据，将其划分为训练网络模型所需的训练集和测试集；2)对道路交通视频数据中的车牌进行标注，并使用标注后的数据对车牌目标进行预训练，对于无人机采集的道路交通视频数据中车牌的多尺度特征，对检测网络进行以下优化：2.1)改进特征金字塔网络，对特征金字塔网络FPN增加自适应注意力模块和特征增强模块，自适应注意力模块通过融合不同尺度大小的特征图，生成包含多尺度上下文信息的特征图；特征增强模块针对FPN的高层语义信息，对FPN的高层语义特征使用不同的膨胀系数，学习不同感受野，再通过多分支池化层融合不同感受野的语义信息，得到相同内核大小不同感受野的特征图；2.2)优化损失函数，提高边界框回归精度，使用α
‑
IOU Loss作为边界框损失函数，在CIOU中引入超参数α，损失函数为：超参数α用于调节不同水平边界框的回归精度，IOU
α
表示IOU的α次幂，B表示预测边界框，B
gt
表示真实边界框，C表示包围B和B
gt
的最小凸形状，b表示B的中心点，b
gt
表示B
gt
的中心点，ρ(
·
)表示欧几里德距离，c表示对角线长度，υ、β如下所示，)表示欧几里德距离，c表示对角线长度，υ、β如下所示，其中，w
gt
、h
gt
表示真实边界框的宽和高，w、h表示预测边界框的宽和高；2.3)调整IOU阈值为0.5、置信度阈值为0.8，进行网络训练；3)车牌检测网络模型输出车牌的定位，得到车牌的ROI图片，并在视频图像上进行标识。3.根据权利要求2所述的基于无...

【专利技术属性】
技术研发人员：阮雅端，朱一鸣，汪维，汪良文，陈启美，
申请(专利权)人：南京大学，
类型：发明
国别省市：