车牌检测方法、装置、存储介质和电子设备制造方法及图纸

本申请公开了一种车牌检测方法、装置、存储介质和电子设备。其中，该方法包括：获取待识别车牌图像；采用预训练的目标车牌检测网络对待识别车牌图像进行检测分析，得到待识别车牌图像对应的目标车牌类型和目标车牌边界框，其中，目标车牌检测网络由场景文本检测模型和基于语言图像的预训练GLIP模型组合得到，且场景文本检测模型是利用基于对比语言图像的预训练CLIP模型对输入图像和输入文本分别进行编码，得到视觉特征和文本特征，并基于视觉特征和文本特征得到文本检测结果的模型。本申请解决了由于相关多模态检测方法在车牌检测中存在缺乏局部区域信息的学习且没有零样本检测能力的技术问题。

【技术实现步骤摘要】

本申请涉及数据处理，具体而言，涉及一种车牌检测方法、装置、存储介质和电子设备。

技术介绍

1、随着智能化的发展和车辆普及率的提升，目前很多场景均需要通过图像获取车牌信息以对车辆行为、车辆身份等进行识别，如路侧停车系统、智能卡口系统。

2、目前，大部分车牌检测与自然场景文本检测相似，其均是基于文字框的检测，主要不同点在于车牌具有不同的底色，故在检测过程中需要将车牌和自然场景文字区分开，因此，车牌检测时更注重局部区域检测，而目前针对自然场景文本检测大都采用clip(contrastive language-image pre-training，对比文本-图像对的预训练)模型，而clip模型是一种在大量的原始图像-文本对上有效地学习图像级视觉表示，即其仅是更关注的是整幅图的全局特征，在图像分类任务上表现较好，但是因为缺乏局部信息的学习，所以比较难区分局部实例特征。此外，相关技术还提出了一种将上述clip模型转换为场景文本检测器，其可以直接将clip模型中的先验知识用于场景文本检测器中，而无需预训练过程，可改进现有的场景文本检测器，并提高few-sho本文档来自技高网...

【技术保护点】

1.一种车牌检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述目标车牌检测网络的训练过程包括：

3.根据权利要求2所述的方法，其特征在于，所述初始车牌检测网络中包括：所述GLIP模型内的视觉编码器、文本编码器、文本嵌入模块、区域视觉嵌入模块；基于所述GLIP模型新增的文本区域对齐模块；所述场景文本检测模型内的视觉提示生成器、细粒度嵌入模块、局部嵌入模块、粗粒度文本区域模块、文本检测器；

4.根据权利要求2所述的方法，其特征在于，依据多组所述样本数据依次迭代训练所述初始车牌检测网络，得到所述目标车牌检测网络，包括：

...

【技术特征摘要】

1.一种车牌检测方法，其特征在于，包括：

2.根据权利要求1所述的方法，其特征在于，所述目标车牌检测网络的训练过程包括：

3.根据权利要求2所述的方法，其特征在于，所述初始车牌检测网络中包括：所述glip模型内的视觉编码器、文本编码器、文本嵌入模块、区域视觉嵌入模块；基于所述glip模型新增的文本区域对齐模块；所述场景文本检测模型内的视觉提示生成器、细粒度嵌入模块、局部嵌入模块、粗粒度文本区域模块、文本检测器；

4.根据权利要求2所述的方法，其特征在于，依据多组所述样本数据依次迭代训练所述初始车牌检测网络，得到所述目标车牌检测网络，包括：

5.根据权利要求3所述的方法，其特征在于，通过所述初始车牌检测网络对每组所述样本数据进行分析，得到对应的预测车牌边界框和预测车牌类型，包括...

【专利技术属性】
技术研发人员：张玉亭，刘江，左鑫孟，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：