车辆与车牌的关联方法、装置和电子系统制造方法及图纸

本发明专利技术提供了一种车辆与车牌的关联方法、装置和电子系统。其中，该方法包括：对待检测图像进行车辆特征检测和车牌特征检测，得到待检测图像的车辆检测框集合和车牌关联框组集合；车辆检测框集合包括至少一个车辆检测框；车牌关联框组集合包括至少一组车牌检测框和该车牌检测框对应的候选车框；计算车牌关联框组集合中的候选车框与车辆检测框集合中的车辆检测框的匹配度；根据计算得到的候选车框与车辆检测框的匹配度，确定车牌关联框组集合中的车牌检测框关联的车辆检测框。该方式中计算候选车框与车辆检测框的匹配度，不存在检测框不包括车牌以及同一个车牌存在于多个检测框中的问题，可以提高车辆和车牌关联的稳定性和准确率。

【技术实现步骤摘要】
车辆与车牌的关联方法、装置和电子系统
本专利技术涉及目标检测
，尤其是涉及一种车辆与车牌的关联方法、装置和电子系统。
技术介绍
目标检测是基于计算机视觉的人工智能应用的基础组件。近年来，随着深度学习和计算机硬件技术的飞速发展，目标检测技术在准确度和运算速度两个维度都取得了突破性进展，车辆检测和车牌检测技术也因此得到了广泛使用。在进行车辆检测和车牌检测时，不仅要准确检测出车辆和车牌，还要确定车辆和车牌的对应关系，从而为跨摄像头跟踪打下坚实的基础。例如安防场景，在连续的视频镜头中，可能只有某几帧能够看清楚车牌，为了持续跟踪一辆车，通常的思路是：在能检测并识别出车牌的一帧图像上，检测出包含该车牌的车辆，然后利用该车辆的外观特征，在其它镜头中去检索与之相似的车辆，完成跨摄像头追踪。因此，要完成这一连串的功能，车辆和车牌关联技术必不可少。现有的车辆和车牌关联技术中，首先进行车辆和车牌各自的检测，然后使用后处理逻辑(例如IoU(Intersection-over-Union，交并比))进行关联，存在以下问题：1、车辆检测框可能会偏小，偏小的检测框有可能不会包括车牌，无法关联车牌与车辆；2、车辆与车辆相互重叠，会造成不同的车辆检测框的相互重叠，这样一个车牌可能会存在于多个车辆检测框中，一个车辆检测框也可能包括多个车牌；这种情况下车牌与车辆检测框的对应关系无法确定，导致车辆和车牌关联的稳定性较差，准确率不高。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种车辆与车牌的关联方法、装置和电子系统，以提高车辆和车牌关联的稳定性和准确率。第一方面，本专利技术实施例提供了一种车辆与车牌的关联方法，方法应用于电子设备，包括：对待检测图像进行车辆特征检测和车牌特征检测，得到待检测图像的车辆检测框集合和车牌关联框组集合；该车辆检测框集合包括至少一个车辆检测框；该车牌关联框组集合包括至少一组车牌检测框和该车牌检测框对应的候选车框；计算车牌关联框组集合中的候选车框与车辆检测框集合中的车辆检测框的匹配度；根据计算得到的候选车框与车辆检测框的匹配度，确定车牌关联框组集合中的车牌检测框关联的车辆检测框。在本专利技术较佳的实施例中，上述电子设备预存有训练完成的神经网络模型；神经网络模型的第一分支网络为车辆检测模型，第二分支网络为车牌检测模型；对待检测图像进行车辆特征检测和车牌特征检测，得到待检测图像的车辆检测框集合和车牌关联框组集合的步骤，包括：将待检测图像输入神经网络模型；通过神经网络模型的第一分支网络对待检测图像进行车辆检测，得到待检测图像的车辆检测框集合；通过神经网络模型的第二分支网络对待检测图像进行车牌检测，得到待检测图像的车牌关联框组集合。在本专利技术较佳的实施例中，上述通过神经网络模型的第一分支网络对待检测图像进行车辆检测，得到待检测图像的车辆检测框集合的步骤，包括：通过神经网络模型的第一分支网络确定待检测图像对应的特征图中的车辆锚定框；基于车辆锚定框确定待检测图像中的车辆检测框集合。在本专利技术较佳的实施例中，上述通过神经网络模型的第二分支网络对待检测图像进行车牌检测，得到待检测图像的车牌关联框组集合的步骤，包括：通过神经网络模型的第二分支网络确定待检测图像对应的特征图中的车牌锚定框；基于车牌锚定框确定待检测图像中的车牌检测框和车牌检测框对应的候选车框；基于车牌检测框和车牌检测框对应的候选车框确定车牌关联框组集合。在本专利技术较佳的实施例中，上述计算车牌关联框组集合中的候选车框与车辆检测框集合中的车辆检测框的匹配度的步骤，包括：计算车牌关联框组集合中的候选车框与车辆检测框集合中的车辆检测框的交并比；其中，交并比为候选车框和车辆检测框的交集区域与并集区域之比；将计算得到的交并比作为候选车框与车辆检测框的匹配度。在本专利技术较佳的实施例中，上述根据计算得到的候选车框与车辆检测框的匹配度，确定车牌关联框组集合中的车牌检测框关联的车辆检测框的步骤，包括：基于候选车框与车辆检测框的匹配度构建匹配度集合；其中，匹配度集合包括至少一个匹配度，以及匹配度对应的候选车框和车辆检测框；将匹配度集合中大于预设的第一阈值的匹配度对应的候选车框和车辆检测框相互关联。在本专利技术较佳的实施例中，上述将匹配度集合中大于预设的第一阈值的匹配度对应的候选车框和车辆检测框相互关联的步骤，包括：按照匹配度由大到小的顺序对匹配度集合中各个匹配度对应的候选车框和车辆检测框排序；从排序后的匹配度集合中选择大于预设的第一阈值的匹配度作为目标匹配度；将目标匹配度对应的候选车框和车辆检测框标记为关联关系。在本专利技术较佳的实施例中，上述车辆检测框集合还包括车辆检测框对应的车辆置信度；在基于候选车框与车辆检测框的匹配度构建匹配度集合的步骤之后，方法包括：从匹配度集合中选择车辆置信度小于预设的第二阈值的目标车辆检测框；从匹配度集合中删除目标车辆检测框、目标车辆检测框对应的匹配度和候选车框。在本专利技术较佳的实施例中，上述车牌关联框组集合还包括车牌检测框对应的车牌置信度；将匹配度集合中大于预设的第一阈值的匹配度对应的候选车框和车辆检测框相互关联的步骤之后，方法包括：检查是否存在未被关联的目标候选车框；如果存在目标候选车框，且目标候选车框对应的目标车牌检测框的车牌置信度大于预设的车牌置信度阈值，将目标候选车框作为目标车牌检测框关联的车辆检测框。在本专利技术较佳的实施例中，上述方法还包括：如果存在目标候选车框，且目标候选车框对应的目标车牌检测框的车牌置信度小于或等于预设的车牌置信度阈值，基于目标候选车框对车牌关联框组集合进行删除操作。第二方面，本专利技术实施例还提供一种车辆与车牌的关联装置，装置应用于电子设备，包括：车辆和车牌特征检测模块，用于对待检测图像进行车辆特征检测和车牌特征检测，得到待检测图像的车辆检测框集合和车牌关联框组集合；车辆检测框集合包括至少一个车辆检测框；车牌关联框组集合包括至少一组车牌检测框和该车牌检测框对应的候选车框；匹配度计算模块，用于计算车牌关联框组集合中的候选车框与车辆检测框集合中的车辆检测框的匹配度；车辆和车牌关联模块，用于根据计算得到的候选车框与车辆检测框的匹配度，确定车牌关联框组集合中的车牌检测框关联的车辆检测框。第三方面，本专利技术实施例还提供一种电子系统，电子系统包括：图像采集设备、处理设备和存储装置；图像采集设备，用于获取待检测图像；存储装置上存储有计算机程序，计算机程序在被处理设备运行时执行如上述车辆与车牌的关联方法。第四方面，本专利技术实施例还提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理设备运行时执行如上述车辆与车牌的关联方法的步骤。本专利技术实施例带来了以下有益效果：本专利技术实施例提供的车辆与车牌的关联方法、装置和电子系统，对待检测图像进行车辆特征检测和车牌特征检测，得到车牌关联框组集合和车牌关联框组集合；其中，车牌关联框组集合包括至少一组车牌检测框和该车牌检测框对应的候选车框，即进行车牌检测的同时，得到车牌和该车牌对应的候选车框，再计算车牌关联框组集合中的候选本文档来自技高网...

【技术保护点】
1.一种车辆与车牌的关联方法，其特征在于，所述方法应用于电子设备，包括：/n对待检测图像进行车辆特征检测和车牌特征检测，得到所述待检测图像的车辆检测框集合和车牌关联框组集合；所述车辆检测框集合包括至少一个车辆检测框；所述车牌关联框组集合包括至少一组车牌检测框和该车牌检测框对应的候选车框；/n计算所述车牌关联框组集合中的候选车框与所述车辆检测框集合中的车辆检测框的匹配度；/n根据计算得到的所述候选车框与所述车辆检测框的匹配度，确定所述车牌关联框组集合中的车牌检测框关联的车辆检测框。/n

【技术特征摘要】
1.一种车辆与车牌的关联方法，其特征在于，所述方法应用于电子设备，包括：
对待检测图像进行车辆特征检测和车牌特征检测，得到所述待检测图像的车辆检测框集合和车牌关联框组集合；所述车辆检测框集合包括至少一个车辆检测框；所述车牌关联框组集合包括至少一组车牌检测框和该车牌检测框对应的候选车框；
计算所述车牌关联框组集合中的候选车框与所述车辆检测框集合中的车辆检测框的匹配度；
根据计算得到的所述候选车框与所述车辆检测框的匹配度，确定所述车牌关联框组集合中的车牌检测框关联的车辆检测框。


2.根据权利要求1所述的方法，其特征在于，所述电子设备预存有训练完成的神经网络模型；所述神经网络模型的第一分支网络为车辆检测模型，第二分支网络为车牌检测模型；
对待检测图像进行车辆特征检测和车牌特征检测，得到所述待检测图像的车辆检测框集合和车牌关联框组集合的步骤，包括：
将待检测图像输入所述神经网络模型；
通过所述神经网络模型的第一分支网络对所述待检测图像进行车辆检测，得到所述待检测图像的车辆检测框集合；
通过所述神经网络模型的第二分支网络对所述待检测图像进行车牌检测，得到所述待检测图像的车牌关联框组集合。


3.根据权利要求2所述的方法，其特征在于，通过所述神经网络模型的第一分支网络对所述待检测图像进行车辆检测，得到所述待检测图像的车辆检测框集合的步骤，包括：
通过所述神经网络模型的第一分支网络确定所述待检测图像对应的特征图中的车辆锚定框；
基于所述车辆锚定框确定所述待检测图像中的车辆检测框集合。


4.根据权利要求2所述的方法，其特征在于，通过所述神经网络模型的第二分支网络对所述待检测图像进行车牌检测，得到所述待检测图像的车牌关联框组集合的步骤，包括：
通过所述神经网络模型的第二分支网络确定所述待检测图像对应的特征图中的车牌锚定框；
基于所述车牌锚定框确定所述待检测图像中的车牌检测框和所述车牌检测框对应的候选车框；
基于所述车牌检测框和所述车牌检测框对应的候选车框确定车牌关联框组集合。


5.根据权利要求1所述的方法，其特征在于，计算所述车牌关联框组集合中的候选车框与所述车辆检测框集合中的车辆检测框的匹配度的步骤，包括：
计算所述车牌关联框组集合中的候选车框与所述车辆检测框集合中的车辆检测框的交并比；其中，所述交并比为所述候选车框和所述车辆检测框的交集区域与并集区域之比；
将计算得到的交并比作为所述候选车框与所述车辆检测框的匹配度。


6.根据权利要求1所述的方法，其特征在于，根据计算得到的所述候选车框与所述车辆检测框的匹配度，确定所述车牌关联框组集合中的车牌检测框关联的车辆检测框的步骤，包括：
基于所述候选车框与所述车辆检测框的匹配度构建匹配度集合；其中，所述匹配度集合包括至少一个所述匹配度，以及所述匹配度对应的所述候选车框和所述车辆检测框；
将所述匹配度集合中大于预设的第一阈值的匹配度对应的所述...

【专利技术属性】
技术研发人员：邹城，李伯勋，张弛，
申请(专利权)人：北京迈格威科技有限公司，
类型：发明
国别省市：北京;11