基于LSTM-CNN组合模型的车牌定位方法及装置制造方法及图纸

本发明专利技术公开了一种基于LSTM‑CNN组合模型的车牌定位方法及装置，该方法包括：利用卷积神经网络模型，对待处理图像进行特征提取，获取最后一层卷积层的卷积层特征；利用锚点机制将卷积层特征映射到待处理图像，获取每个候选提议框各自对应的预设数量的垂直锚点的区域分数和预测垂直坐标；利用双向长短期记忆网络更新卷积层特征的内部状态；根据区域分数、预测垂直坐标和更新后的卷积层特征的内部状态，利用多任务损失函数确定车辆图像的车牌定位结果；本发明专利技术实现了卷积神经网络与双向长短期记忆网络的无缝连接，从而形成了端对端的车牌定位模型，利用双向长短期记忆网络探索丰富的图像上下文信息的优势，更好的定位出复杂环境下车牌的位置。

【技术实现步骤摘要】
基于LSTM-CNN组合模型的车牌定位方法及装置
本专利技术涉及图像识别
，特别涉及一种基于LSTM-CNN组合模型的车牌定位方法及装置。
技术介绍
随着现代社会科技的发展，车牌识别系统作为城市智能交通管理的重要一环，已经广泛应用于高速公路、停车场、旅游景区、公司、机关单位等场合。车牌识别指的是从复杂背景中提取车牌位置并识别出车辆牌照信息，一般分成以下几个阶段：图像采集、车牌定位、车牌分割、字符识别。车牌定位作为车牌识别中的重要环节，它的准确率极大影响了整个系统的准确率。根据车牌区域的不同特征可将车牌定位方法分为5大类：基于边界特征的方法、基于纹理特征的方法、基于颜色特征的方法、基于字符特征的方法和基于全局特征的方法；这些方法大多是基于灰度图像来处理的，也有基于彩色图像处理的。随着深度学习发展，已经在众多领域得到广泛应用。卷积神经网络作为深度学习的一种，具备深度学习自动学习并提取特征的特点，利用局部感受野和权值共享提高计算速度，泛化能力强，识别效率高，广泛用于图像识别等方面。现有技术中，基于角点回归的全卷积神经网络的车牌定位方法，虽然能够在标准交通卡口数据上进行有效定位，且在光照条件低下、车辆倾斜严重等一些复杂环境下，具有较高的鲁棒性。但是，上述方法仅在车牌清晰、车牌大小合适的情况下较适用，由于在交通路口天网摄像拍摄到的画面中，车辆数量较多、目标车牌较小且受光线和雨雾天气影响等，很难在监控中利用车牌自身的边缘和颜色特征定位到车牌。因此，如何能够有效地检测出较为模糊的车辆位置，更好的定位出复杂环境下车牌的位置是现今急需解决的问题。
技术实现思路
本专利技术的目的是提供一种基于LSTM(LongShort-TermMemory，长短期记忆网络)-CNN(ConvolutionalNeuralNetworks，卷积神经网络)组合模型的车牌定位方法及装置，以有效地检测出较为模糊的车辆位置，更好的定位出复杂环境下车牌的位置。为解决上述技术问题，本专利技术提供一种基于LSTM-CNN组合模型的车牌定位方法，包括：将获取的车辆图像转化为预设大小的待处理图像；利用卷积神经网络模型，对所述待处理图像进行特征提取，获取最后一层卷积层的卷积层特征；利用锚点机制将所述卷积层特征映射到所述待处理图像，获取每个候选提议框各自对应的预设数量的垂直锚点的区域分数和预测垂直坐标；其中，所述区域分数为车牌区域分数或非车牌区域分数，所述候选提议框的宽度为预设像素值；利用双向长短期记忆网络更新所述卷积层特征的内部状态；根据所述区域分数、所述预测垂直坐标和更新后的卷积层特征的内部状态，利用多任务损失函数确定所述车辆图像的车牌定位结果。可选的，所述利用卷积神经网络模型，对所述待处理图像进行特征提取，获取最后一层卷积层的卷积层特征，包括：利用包含13层卷积层和4个池化层的所述卷积神经网络模型，对所述待处理图像进行特征提取，获取所述卷积层特征；其中，所述卷积神经网络模型采用3*3卷积核，步长为1，填充为1；所述卷积层特征的总步长和感受野分别为16个像素和228个像素。可选的，所述利用锚点机制将所述卷积层特征映射到所述待处理图像，获取每个候选提议框各自对应的预设数量的垂直锚点的区域分数和预测垂直坐标，包括：利用滑动窗口密集通过所述卷积层特征的每个空间位置，获取所述候选提议框；其中，所述滑动窗口为3*3窗口，每个所述候选提议框均由各自对应的预设数量的区域分数大于预设数值的垂直锚点组成，每个所述候选提议框各自对应的预设数量的垂直锚点具有相同的水平位置且固定宽度均为16的像素；将所述卷积层特征映射到所述待处理图像，并根据每个所述候选提议框的高度和纵轴中心，利用vh＝log(h/ha)、和获取每个候选提议框各自对应的预设数量的垂直锚点的预测垂直坐标；其中，V＝{vc,vh}为所述垂直锚点的预测垂直坐标，为所述垂直锚点的实际垂直坐标，cy和h为所述垂直锚点的初始预测垂直坐标，和h*为所述垂直锚点的初始实际垂直坐标，和ha为所述垂直锚点对应的候选提议框的纵轴中心和高度。可选的，所述利用双向长短期记忆网络更新所述卷积层特征的内部状态，包括：将所述滑动窗口在所述卷积层特征上从左到右密集滑动，获取每个所述滑动窗口的卷积特征；利用Ht＝φ(Ht-1,Xt)t＝1,2,...,w，在所述双向长短期记忆网络的隐含层中循环更新所述卷积层特征的内部状态；其中，Ht为所述内部状态，Xt为第t个所述滑动窗口的卷积特征，w为所述卷积层特征的宽度，φ为预设非线性函数。可选的，所述根据所述区域分数、所述预测垂直坐标和更新后的卷积层特征的内部状态，利用多任务损失函数确定所述车辆图像的车牌定位结果，包括：根据所述区域分数、所述预测垂直坐标和更新后的卷积层特征的内部状态，利用确定所述车辆图像的车牌定位结果；其中，L为最小化目标函数，si为垂直锚点i作为实际车牌区域的预测概率，为垂直锚点i作为实际车牌区域的真实概率，j为车牌区域分数大于预设数值的垂直锚点的索引，vj为垂直锚点j的预测垂直坐标，为垂直锚点j的实际垂直坐标，为预设的计算车牌区域分数损失和非车牌区域分数损失的损失函数，为回归损失，λ1和λ2均为预设的损失权重，Ns和Nv分别为和计算的垂直锚点总数。此外，本专利技术还提供了一种基于LSTM-CNN组合模型的车牌定位装置，包括：转化模块，用于将获取的车辆图像转化为预设大小的待处理图像；提取模块，用于利用卷积神经网络模型，对所述待处理图像进行特征提取，获取最后一层卷积层的卷积层特征；获取模块，用于利用锚点机制将所述卷积层特征映射到所述待处理图像，获取每个候选提议框各自对应的预设数量的垂直锚点的区域分数和预测垂直坐标；其中，所述区域分数为车牌区域分数或非车牌区域分数，所述候选提议框的宽度为预设像素值；更新模块，用于利用双向长短期记忆网络更新所述卷积层特征的内部状态；定位模块，用于根据所述区域分数、所述预测垂直坐标和更新后的卷积层特征的内部状态，利用多任务损失函数确定所述车辆图像的车牌定位结果。可选的，所述提取模块，包括：提取子模块，用于利用包含13层卷积层和4个池化层的所述卷积神经网络模型，对所述待处理图像进行特征提取，获取所述卷积层特征；其中，所述卷积神经网络模型采用3*3卷积核，步长为1，填充为1；所述卷积层特征的总步长和感受野分别为16个像素和228个像素。可选的，所述获取模块，包括：第一获取子模块，用于利用滑动窗口密集通过所述卷积层特征的每个空间位置，获取所述候选提议框；其中，所述滑动窗口为3*3窗口，每个所述候选提议框均由各自对应的预设数量的区域分数大于预设数值的垂直锚点组成，每个所述候选提议框各自对应的预设数量的垂直锚点具有相同的水平位置且固定宽度均为16的像素；第二获取子模块，用于将所述卷积层特征映射到所述待处理图像，并根据每个所述候选提议框的高度和纵轴中心，利用vh＝log(h/ha)、和获取每个候选提议框各自对应的预设数量的垂直锚点的预测垂直坐标；其中，V＝{vc,vh}为所述垂直锚点的预测垂直坐标，为所述垂直锚点的实际垂直坐标，cy和h为所述垂直锚点的初始预测垂直坐标，和h*为所述垂直锚点的初始实际垂直坐标，和ha为所述垂直锚点对应的候选提议框的纵轴中心和高度。可选的，所述本文档来自技高网...

【技术保护点】
1.一种基于LSTM‑CNN组合模型的车牌定位方法，其特征在于，包括：将获取的车辆图像转化为预设大小的待处理图像；利用卷积神经网络模型，对所述待处理图像进行特征提取，获取最后一层卷积层的卷积层特征；利用锚点机制将所述卷积层特征映射到所述待处理图像，获取每个候选提议框各自对应的预设数量的垂直锚点的区域分数和预测垂直坐标；其中，所述区域分数为车牌区域分数或非车牌区域分数，所述候选提议框的宽度为预设像素值；利用双向长短期记忆网络更新所述卷积层特征的内部状态；根据所述区域分数、所述预测垂直坐标和更新后的卷积层特征的内部状态，利用多任务损失函数确定所述车辆图像的车牌定位结果。

【技术特征摘要】
1.一种基于LSTM-CNN组合模型的车牌定位方法，其特征在于，包括：将获取的车辆图像转化为预设大小的待处理图像；利用卷积神经网络模型，对所述待处理图像进行特征提取，获取最后一层卷积层的卷积层特征；利用锚点机制将所述卷积层特征映射到所述待处理图像，获取每个候选提议框各自对应的预设数量的垂直锚点的区域分数和预测垂直坐标；其中，所述区域分数为车牌区域分数或非车牌区域分数，所述候选提议框的宽度为预设像素值；利用双向长短期记忆网络更新所述卷积层特征的内部状态；根据所述区域分数、所述预测垂直坐标和更新后的卷积层特征的内部状态，利用多任务损失函数确定所述车辆图像的车牌定位结果。2.根据权利要求1所述的基于LSTM-CNN组合模型的车牌定位方法，其特征在于，所述利用卷积神经网络模型，对所述待处理图像进行特征提取，获取最后一层卷积层的卷积层特征，包括：利用包含13层卷积层和4个池化层的所述卷积神经网络模型，对所述待处理图像进行特征提取，获取所述卷积层特征；其中，所述卷积神经网络模型采用3*3卷积核，步长为1，填充为1；所述卷积层特征的总步长和感受野分别为16个像素和228个像素。3.根据权利要求2所述的基于LSTM-CNN组合模型的车牌定位方法，其特征在于，所述利用锚点机制将所述卷积层特征映射到所述待处理图像，获取每个候选提议框各自对应的预设数量的垂直锚点的区域分数和预测垂直坐标，包括：利用滑动窗口密集通过所述卷积层特征的每个空间位置，获取所述候选提议框；其中，所述滑动窗口为3*3窗口，每个所述候选提议框均由各自对应的预设数量的区域分数大于预设数值的垂直锚点组成，每个所述候选提议框各自对应的预设数量的垂直锚点具有相同的水平位置且固定宽度均为16的像素；将所述卷积层特征映射到所述待处理图像，并根据每个所述候选提议框的高度和纵轴中心，利用vh＝log(h/ha)、和获取每个候选提议框各自对应的预设数量的垂直锚点的预测垂直坐标；其中，V＝{vc,vh}为所述垂直锚点的预测垂直坐标，为所述垂直锚点的实际垂直坐标，cy和h为所述垂直锚点的初始预测垂直坐标，和h*为所述垂直锚点的初始实际垂直坐标，和ha为所述垂直锚点对应的候选提议框的纵轴中心和高度。4.根据权利要求3所述的基于LSTM-CNN组合模型的车牌定位方法，其特征在于，所述利用双向长短期记忆网络更新所述卷积层特征的内部状态，包括：将所述滑动窗口在所述卷积层特征上从左到右密集滑动，获取每个所述滑动窗口的卷积特征；利用Ht＝φ(Ht-1,Xt)t＝1,2,...,w，在所述双向长短期记忆网络的隐含层中循环更新所述卷积层特征的内部状态；其中，Ht为所述内部状态，Xt为第t个所述滑动窗口的卷积特征，w为所述卷积层特征的宽度，φ为预设非线性函数。5.根据权利要求1至4任一项所述的基于LSTM-CNN组合模型的车牌定位方法，其特征在于，所述根据所述区域分数、所述预测垂直坐标和更新后的卷积层特征的内部状态，利用多任务损失函数确定所述车辆图像的车牌定位结果，包括：根据所述区域分数、所述预测垂直坐标和更新后的卷积层特征的内部状态，利用确定所述车辆图像的车牌定位结果；其中，L为最小化目标函数，si为垂直锚点i作为实际车牌区域的预测概率，为垂直锚点i作为实际车牌区域的真实概率，j为车牌区域分数大于预设数值的垂直锚点的索引，vj为垂直锚点j的预测垂直坐标，为垂直锚点j的实际垂直坐标，为预设的计算车牌区域分数损失和非车牌区域分数损失的损失函数，为回...

【专利技术属性】
技术研发人员：程良伦，陈仿雄，
申请(专利权)人：广东工业大学，
类型：发明
国别省市：广东,44