一种车牌识别的方法及相关装置制造方法及图纸

本申请实施例公开了一种车牌识别的方法及相关装置，用于减少颜色对于车牌识别的干扰，加快车牌识别的速度。本申请实施例包括：实时获取停车场出入口的视频流；将视频流内的图像转换为灰度图像；获取跟踪列表；检测跟踪列表是否为空；若不为空，则跟踪跟踪列表内的第一车牌信息；若跟踪成功，则检测第一车牌信息的置信度；若置信度达标，则更新跟踪列表内的第一车牌信息；若为空，则使用车牌检测模型检测视频流内是否存在第二车牌信息；若检测第二车牌信息成功，则检测第二车牌信息的置信度；若置信度达标，则将第二车牌信息添加至跟踪列表。本申请通过将视频流拍摄到的图像转换为灰度图像，减少颜色对于车牌识别的干扰，增加了车牌识别速度。

【技术实现步骤摘要】
一种车牌识别的方法及相关装置
本申请涉及图像处理领域，具体涉及一种车牌识别的方法及相关装置。
技术介绍
近年来，车牌识别技术在国内发展迅速，纯车牌识别作为停车场进出的模式已经在中国普及。然而，海外国家或地区的车牌识别技术相对落后，目前车牌识别应用较少。随着国内车牌识别技术的日益成熟以及推广，越来越多的国家和地区了解到车牌识别技术的便利，希望引进车牌识别技术。国内不少厂家开始从事海外车牌识别研发。然而，海外车牌识别技术，尤其在车牌定位上，存在一定的难度。海外很多国家或地区的车牌包含单层和双层。单层海外车牌的宽高比比起国内单层车牌要更大，即单层海外车牌会更宽更“矮”。另外双层海外车牌的宽高比比起国内双层车牌要更小，即海外车牌会更窄更高。这就意味着海外车牌比起国内来说，宽高比的范围会更大。海外一些地区，车牌大小不固定，即大的车辆使用较大的车牌，小的车辆使用较小车牌，并且两种型号的车牌宽高比还存在差异。这样会造成同一类型车牌存在多尺寸，多宽高比的情况。海外不少国家和地区的车牌都是自己申请车牌号码，然后再由车行制作，这样就会存在多种材质的车牌，不同的材质会导致反光不一致的情况。并且，海外车牌还存在多种颜色，例如澳门有黑色，红色，绿色车牌。另外，车牌上的字体也有多种颜色，例如澳门有白色，红色，黑色和黄色字体等。甚至部分国家和地区的车牌上还有背景图案，这些都会给车牌定位带来非常大的困难。目前市面上大部分的摄像机都是YUV格式输出，在执行车牌检测算法的时候，为了获取R、G和B三个通道的分量信息，在接收到摄像机传过来的图像后，系统必须要执行一个YUV到RGB的转换。如果图像尺寸大，这个转换会非常耗时，导致识别时间的增加，有可能影响车牌识别系统的实时性。申请内容本申请实施例提供了一种车牌识别的方法，用于实现减少颜色对于车牌识别的干扰，加快车牌识别的速度。为达到上述目的，本申请第一方面提供一种车牌识别的方法，该方法可以包括：实时获取停车场出入口的视频流，所述视频流内含有车牌信息，所述车牌信息用于生成跟踪列表；将视频流内的图像转换为灰度图像；获取跟踪列表；检测所述跟踪列表是否为空；若所述跟踪列表不为空，则跟踪所述跟踪列表内的第一车牌信息；若跟踪成功，则检测所述第一车牌信息的置信度；若所述第一车牌信息的置信度达标，则更新所述跟踪列表内的所述第一车牌信息；若所述跟踪列表为空，则使用车牌检测模型检测视频流内是否存在第二车牌信息；若检测所述第二车牌信息成功，则检测所述第二车牌信息的置信度；若所述第二车牌信息的置信度达标，则将所述第二车牌信息添加至所述跟踪列表。可选地，结合上述第一方面，在第一种可能的实现方式中，在所述检测视频流内是否存在第二车牌信息之前，所述方法还包括：训练车牌检测模型，所述车牌检测模型用于车牌检测。可选地，拍摄停车场出入口的视频或者图像，所述视频或者图像包含车牌区域与背景区域，生成一个训练图片集，所述训练图片集包括从视频中截取的图片与现场设备获取的图片；标注所述训练图片集中包含的车牌区域；使用程序从所述训练图片集生成n1个正样本，n2个部分车牌样本，n3个负样本，所述正样本为与标注区域的重叠区域在第一预设比例区间内，所述部分车牌样本为与标注区域的重叠区域在第二预设比例区间内，所述负样本为与标注区域的重叠区域在第三预设比例区间内；使用所述正样本，所述部分车牌样本与所述负样本训练MTCNN多任务卷积神经网络的Pnet检测模型；使用所述Pnet检测模型检测训练图片集，以得到Pnet虚检图片，所述Pnet虚检为Pnet检测模型检测结果为车牌，但是与所述标注区域的重叠部分小于预设阈值的检测结果；使用所述正样本，所述部分车牌样本与所述Pnet虚检图片训练多任务卷积神经网络(MTCNN)的Rnet检测模型。可选地，生成输入图像金字塔，所述输入图像是实时获取的视频流，所述金字塔由视频流内每一帧的图像按比例缩小得到的一系列图片；使用所述Pnet进行全图检测，输出得分图与回归值图；选取X个得分大于预设分数的所述得分图，对存在重叠区域的得分图进行非极大值抑制；若无候选框，则检测结束，输出无车牌的结果；若存在所述候选框，则使用所述回归值图对所述候选框进行调整，并进行尺度调整；使用所述Rnet对所述候选框进行检测，输出所述得分图与所述回归值图；选取Y个得分大于预设分数的所述得分图，对存在重叠区域的得分图进行非极大值抑制；若无所述候选框，则检测结束，输出无车牌的结果；若存在所述候选框，则使用所述回归值图对所述候选框进行调整，并将检测到的区域映射回原图。可选地，结合上述第一方面，在第四种可能的实现方式中，更新所述跟踪列表内的所述第一车牌信息包括：将上一帧的第一车牌信息修改为下一帧的所述第一车牌信息。本申请第二方面提供一种车牌识别的系统，包括：拍摄单元，用于拍摄视频流；转换单元，用于将视频流内的图像转换为灰度图像；获取单元，用于获取跟踪列表；检测单元，用于检测所述跟踪列表是否为空；跟踪单元，用于当所述跟踪列表不为空，跟踪所述跟踪列表内的第一车牌信息；第一检测模块，用于当跟踪成功，检测所述第一车牌信息的置信度；更新模块，用于当第一车牌信息的置信度达标，更新所述跟踪列表内的所述第一车牌信息；第二检测模块，用于当所述跟踪列表为空，使用车牌检测模型检测视频流内是否存在第二车牌信息；第三检测模块，用于当检测所述第二车牌信息成功，检测所述第二车牌信息的置信度；添加单元，用于当所述第二车牌信息的置信度达标，将所述第二车牌信息添加至所述跟踪列表。可选地，所述系统还包括：训练单元，用于训练车牌检测模型。可选地，所述训练单元包括：拍摄模块，用于拍摄停车场出入口的视频或者图像，生成训练图片集；标注模块，用于标注所述训练图片集中包含的车牌区域；样本生成模块，用于生成所述训练图片集n1个正样本，n2个部分车牌，n3个负样本；第一训练模块，使用所述正样本，所述部分车牌样本与所述负样本训练多任务卷积神经网络(MTCNN)的Pnet检测模型。第四检测模块，使用所述Pnet检测模型检测训练图片集，以得到Pnet虚检图片；第二训练模块，使用所述正样本，所述部分车牌样本与所述Pnet虚检图片训练多任务卷积神经网络(MTCNN)的Rnet检测模型。本申请实施例第三方面提供了一种计算机装置，包括：处理器、存储器、输入输出设备以及总线；所述处理器、存储器、输入输出设备分别与所述总线相连；所述处理器用于执行如前述实施例任一项所述的方法。本申请实施例第四方面提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时实现如前述实施例所述方法的步骤。从以上技术方案可以看出，本申请实施例具有以下优点：本实施例中，实时获取停车场出入口的视频流，所述视频流内含有车牌信息，所述车牌信息用于生成跟踪列表；将视频流内的图像转换为灰度图像；获取跟踪列表；检测所述跟踪列表是否为空；若所述跟踪列表不为空，则跟踪所述跟踪列表内的第一车牌信息；若跟踪成功，则检测所述第一车牌信息的置信度；若所述第一车牌信息的置信度达标，则更新所述跟踪列表内的所述第一车牌信息；若所述跟踪列表为空，则使用车牌检测模型检测视频流内是否存在第二车牌信息；若检测所述第二车牌信息成功，则检测所述第本文档来自技高网...

【技术保护点】
1.一种车牌识别的方法，其特征在于，包括：实时获取停车场出入口的视频流，所述视频流内含有车牌信息，所述车牌信息用于生成跟踪列表；将视频流内的图像转换为灰度图像；获取所述跟踪列表；检测所述跟踪列表是否为空；若所述跟踪列表不为空，则跟踪所述跟踪列表内的第一车牌信息；若跟踪成功，则检测所述第一车牌信息的置信度；若所述第一车牌信息的置信度达标，则更新所述跟踪列表内的所述第一车牌信息；若所述跟踪列表为空，则使用车牌检测模型检测视频流内是否存在第二车牌信息；若检测所述第二车牌信息成功，则检测所述第二车牌信息的置信度；若所述第二车牌信息的置信度达标，则将所述第二车牌信息添加至所述跟踪列表。

【技术特征摘要】
1.一种车牌识别的方法，其特征在于，包括：实时获取停车场出入口的视频流，所述视频流内含有车牌信息，所述车牌信息用于生成跟踪列表；将视频流内的图像转换为灰度图像；获取所述跟踪列表；检测所述跟踪列表是否为空；若所述跟踪列表不为空，则跟踪所述跟踪列表内的第一车牌信息；若跟踪成功，则检测所述第一车牌信息的置信度；若所述第一车牌信息的置信度达标，则更新所述跟踪列表内的所述第一车牌信息；若所述跟踪列表为空，则使用车牌检测模型检测视频流内是否存在第二车牌信息；若检测所述第二车牌信息成功，则检测所述第二车牌信息的置信度；若所述第二车牌信息的置信度达标，则将所述第二车牌信息添加至所述跟踪列表。2.根据权利要求1所述的方法，其特征在于，在所述检测视频流内是否存在第二车牌信息之前，所述方法还包括：训练车牌检测模型，所述车牌检测模型用于车牌检测。3.根据权利要求2所述的方法，其特征在于，所述训练车牌检测模型包括：拍摄停车场出入口的视频或者图像，所述视频或者图像包含车牌区域与背景区域，生成一个训练图片集，所述训练图片集包括从视频中截取的图片与现场设备获取的图片；标注所述训练图片集中包含的车牌区域；使用程序从所述训练图片集生成n1个正样本，n2个部分车牌样本，n3个负样本，所述正样本为与标注区域的重叠区域在第一预设比例区间内，所述部分车牌样本为与标注区域的重叠区域在第二预设比例区间内，所述负样本为与标注区域的重叠区域在第三预设比例区间内；使用所述正样本，所述部分车牌样本与所述负样本训练MTCNN多任务卷积神经网络的Pnet检测模型；使用所述Pnet检测模型检测训练图片集，以得到Pnet虚检图片，所述Pnet虚检为Pnet检测模型检测结果为车牌，但是与所述标注区域的重叠部分小于预设阈值的检测结果；使用所述正样本，所述部分车牌样本与所述Pnet虚检图片训练MTCNN多任务卷积神经网络的Rnet检测模型。4.根据权利要求3所述的方法，其特征在于，所述用车牌检测模型检测视频流内是否存在第二车牌信息包括：生成输入图像金字塔，所述输入图像是实时获取的视频流，所述金字塔由视频流内每一帧的图像按比例缩小得到的一系列图片；使用所述Pnet进行全图检测，输出得分图与回归值图；选取X个得分大于预设分数的所述得分图，对存在重叠区域的得分图进行非极大值抑制；若无候选框，则检测结束，输出无车牌的结果；若存在所述候选框，则使用所述回归值图对所述候选框进行调整，并进行尺度调...

【专利技术属性】
技术研发人员：李锐，
申请(专利权)人：深圳市捷顺科技实业股份有限公司，
类型：发明
国别省市：广东,44