【技术实现步骤摘要】
本专利技术涉及一种面向大倾角照片的车牌检测和字符识别方法，属于车牌检测。
技术介绍
1、基于光学图像的车牌识别是物联网和智慧城市的核心支撑技术之一。主要以可见光波段相机对车辆场景进行拍照，在照片中自动定位车牌所在的兴趣区域，进而在兴趣区中进行车牌的字符识别。因此车牌识别方法可分为两大步骤，1）兴趣区定位；2）字符识别。
2、车牌兴趣区定位的技术路线主要包括两类：1）以手工特征建立搜索空间，在搜索空间进行车牌兴趣区定位。手工特征主要包括：一维投影直方图、傅里叶变换频域特征、方向梯度直方图、gabor特征、harr-like特征等。这些方法对于拍照角度倾斜角度不大、光照条件良好、车牌没有明显的扭曲和污损等情况下，具有较好的效果。也是传统车牌识别方案中的主流方法。但是在拍照倾斜角度过大、夜间、微光、雨/雾天气、车牌扭曲、部分污损的情况下。此类方法很难得到良好的效果。2）以深度神经网络为主要方法，直接检测车牌的2d矩形框。主要方法包括faster-rcnn为代表的两阶段法和ssd、yolo为代表的单阶段方法。这些方法能够比较稳定的定位车牌兴趣区。但是在大倾角拍照的情况下，无法获取车牌的姿态信息，为后续的字符识别带来很大困难。因此比较适合相机距离车牌具有一定距离，并且拍照角度不大（小于60度）的情况。
3、车牌的字符识别主要有两种技术路线：1）基于手工特征和浅层分类器的方法，最为典型的是terrssact早期版本为代表的，以穿越线灰度变化次数为特征向量，以支持向量机为分类器的方法。此类方法构建简单，在光照和车牌状态
技术实现思路
1、本专利技术的目的在于提供一种面向大倾角照片的车牌检测和字符识别方法，以解决现有技术中提出的问题。
2、为实现上述目的，本专利技术提供如下技术方案：
3、一种面向大倾角照片的车牌检测和字符识别方法，基于关键点回归神经网络的车牌自由四边形包围框定位，并利用自由四边形角点完成车牌兴趣区的正射投影校正，之后利用车牌图像亮度通道重排的策略对数据进行预处理，并基于预处理数据训练基于cnn的字符识别网络，基于通道亮度重排序的预处理方法可实现蓝色、绿色、黑色、黄色、白色底色的规整化，从而在训练中可以将这些车牌用同一个网络架构进行训练和推理，极大的降低了模型训练工作量和边缘端推理的计算量。
4、作为优选实例，具体包括如下步骤：
5、1）车牌角点检测，利用mobilenetv2作为骨干网，利用角点真实值与检测结果的欧式距离作为损失函数，采用全连接直接回归的方法检测车牌的四个角点，神经网络的输入为224*224；
6、2）对检测得到的四个角点，与虚拟平面的四个标准角点构建四对同名点，利用透视变换模型，生成正射校正后的图像；
7、3）对每个校正后的图像，计算r、g、b三个通道的灰度亮度均值，将亮度均值最大的通道放在r通道位置，次大的通道放在g位置，最小的通道放在b位置；
8、4）基于mobilenetv2构建分类网，在正射校正和通道重新排序后的图像中，从左到右依次滑动扫描每个高宽比为2:1的窗口，并保留局部极大值作为字符识别结果。
9、本专利技术的有益效果是：
10、1、通过引入针对四个角点的关键点归回神经网络，可快速定位车牌的四个角点，确定车牌的姿态，相比传统的16点和多点检测，基于mobilenet训练的4点直接回归方法大幅大幅降低了算法计算量和资源占用；
11、2、基于透视变换和通道亮度重排，将蓝、绿、黄、黑、白五种底色的车牌字符识别方法统一整合到一个字符识别神经网络中，计算量小，易于部署，同时也大幅降低了数据收集与标注的规模和难度；
12、3、该车牌检测和字符识别方法的整体计算量很低，所需的计算设备成本较低。
本文档来自技高网...【技术保护点】
1.一种面向大倾角照片的车牌检测和字符识别方法，其特征在于：基于关键点回归神经网络的车牌自由四边形包围框定位，并利用自由四边形角点完成车牌兴趣区的正射投影校正，之后利用车牌图像亮度通道重排的策略对数据进行预处理，并基于预处理数据训练基于CNN的字符识别网络，基于通道亮度重排序的预处理方法可实现蓝色、绿色、黑色、黄色、白色底色的规整化，从而在训练中可以将这些车牌用同一个网络架构进行训练和推理，极大的降低了模型训练工作量和边缘端推理的计算量。
2.根据权利要求1所述的一种面向大倾角照片的车牌检测和字符识别方法，其特征在于：具体包括如下步骤：
【技术特征摘要】
1.一种面向大倾角照片的车牌检测和字符识别方法，其特征在于：基于关键点回归神经网络的车牌自由四边形包围框定位，并利用自由四边形角点完成车牌兴趣区的正射投影校正，之后利用车牌图像亮度通道重排的策略对数据进行预处理，并基于预处理数据训练基于cnn的字符识别网络，基于通道亮度重排序的...
【专利技术属性】
技术研发人员：高巍，
申请(专利权)人：汇晔科技上海有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。