【技术实现步骤摘要】
本申请涉及图像处理，尤其涉及一种模型训练、交通标志识别方法及装置、设备、介质。
技术介绍
1、相对于传统算法，基于深度学习的交通标志识别模型已经提高了识别的准确度。然而，随着研究的推进，目前已经进入到“长尾问题”中，即在不同场景、不同图像退化条件下，交通标志识别模型不能很好地识别。例如，交通标志识别模型对样本的学习程度均一，对于复杂样本或者复杂场景下的样本学习得到的特征表达不够准确。而且对于单个场景下的图像进行重新训练的需求也越来越多，这样导致采样和重新训练模型的成本较高。
2、相关技术中，采用focal loss以及在线hard样本挖掘的方法能够在一定程度上缓解上述问题。但是，由于hard样本和规则样本通过同一个模型来表达，因此无法同时充分表达规则样本和hard样本，而且在训练过程中有可能出现震荡，学习过于激进时容易出现过拟合问题，导致对交通标志识别的准确性较低。
技术实现思路
1、为了解决上述技术问题，本申请提供了一种交通标志识别模型训练方法及装置、交通标志识别方法及装置、电子设备、存储介质、计算机程序产品。
2、根据本申请的第一方面，提供了一种交通标志识别模型训练方法，包括：
3、获取多个第一交通标志样本图像、每个第一交通标志样本图像对应的交通标志类型和每个第一交通标志样本图像对应的交通标志文本信息；
4、将所述第一交通标志样本图像作为输入、所述第一交通标志样本图像对应的交通标志类型作为标签，训练生成第一识别模型；
6、如果第一交通标志样本图像对应多种交通标志类型的概率中的最大概率小于等于预设概率阈值，将所述第一交通标志样本图像确定为第二交通标志样本图像；
7、将所述第一交通标志样本图像作为输入、所述第一交通标志样本图像对应的交通标志文本信息作为标签，对初始对比文本-图像对预训练clip模型进行训练，生成目标clip模型；
8、将所述第二交通标志样本图像作为输入、所述第二交通标志样本图像对应的交通标志文本信息作为标签，对所述目标clip模型中的网络参数进行调整，得到第二识别模型；
9、将所述第一识别模型和所述第二识别模型进行级联，生成交通标志识别模型。
10、可选地，将所述第一交通标志样本图像作为输入、所述第一交通标志样本图像对应的交通标志文本信息作为标签，对初始clip模型进行训练，包括：
11、在所述第一交通标志样本图像所在的原始样本图像中对所述第一交通标志样本图像进行外扩处理，得到外扩样本图像；
12、将所述第一交通标志样本图像对应的交通标志文本信息作为所述外扩样本图像对应的交通标志信息；
13、将所述第一交通标志样本图像和所述外扩样本图像作为输入、所述第一交通标志样本图像和所述外扩样本图像对应的交通标志文本信息作为标签，对初始clip模型进行训练。
14、可选地，所述将所述第一交通标志样本图像和所述外扩样本图像作为输入、所述第一交通标志样本图像和所述外扩样本图像对应的交通标志文本信息作为标签，对初始clip模型进行训练，包括：
15、针对每个第一交通标志样本图像和所述第一交通标志样本图像的外扩样本图像，通过初始clip模型中的文本编码模块对所述第一交通标志样本图像对应的交通标志文本信息进行编码处理，得到样本文本特征向量；
16、通过初始clip模型中的图像编码模块对所述第一交通标志样本图像进行编码处理，得到第一样本图像特征向量；
17、根据所述样本文本特征向量和所述第一样本图像特征向量，确定所述第一交通标志样本图像对应的第一损失值；
18、通过初始clip模型中的图像编码模块对每个外扩样本图像进行编码处理，得到每个外扩样本图像对应的第二样本图像特征向量；
19、根据所述样本文本特征向量和每个外扩样本图像对应的第二样本图像特征向量，得到每个外扩样本图像对应的第二损失值；
20、根据所述第一损失值和每个外扩样本图像对应的第二损失值，确定总损失值；
21、根据所述总损失值，对初始clip模型进行训练。
22、可选地，所述外扩样本图像的数量为n个；
23、所述根据所述第一损失值和每个外扩样本图像对应的第二损失值，确定总损失值，包括：
24、根据以下损失值计算公式(1)：
25、
26、确定总损失值l；
27、l1表示第一损失值，l2i表示第i个外扩样本图像对应的第二损失值，α表示预先设置的常数。
28、可选地，所述对初始对比文本-图像对预训练clip模型进行训练，生成目标clip模型，包括：
29、利用adam优化算法，对初始对比文本-图像对预训练clip模型进行训练，生成目标clip模型；
30、所述对所述目标clip模型中的网络参数进行调整，包括：
31、利用随机梯度下降法，对所述目标clip模型中的网络参数进行调整。
32、根据本申请的第二方面，提供了一种交通标志识别方法，包括：
33、获取待识别的交通标志图像；
34、将所述交通标志图像输入预先训练的交通标志识别模型，通过所述交通标志识别模型中的第一识别模型对所述交通标志图像进行处理，得到所述交通标志图像对应多种交通标志类型的概率；其中，所述交通标志识别模型基于第一方面所述的方法训练得到；
35、如果所述交通标志图像对应多种交通标志类型的概率中的最大概率大于预设概率阈值，将最大概率对应的交通标志类型作为所述交通标志图像对应的交通标志类型；
36、如果所述交通标志图像对应多种交通标志类型的概率中的最大概率小于等于所述预设概率阈值，从所述交通标志图像对应多种交通标志类型的概率中，按照从大到小的顺序选取前n个概率；n为大于1的整数；
37、通过所述交通标志识别模型中的第二识别模型中的文本编码模块分别对所述前n个概率对应的交通标志类型进行编码处理，得到n个文本特征向量；
38、通过所述第二识别模型中的图像编码模块对所述交通标志图像进行编码处理，得到所述交通标志图像对应的图像特征向量；
39、根据所述文本特征向量和所述交通标志图像对应的图像特征向量，确定所述交通标志图像对应的交通标志类型。
40、根据本申请的第三方面，提供了一种交通标志识别模型训练装置，包括：
41、原始训练数据集获取模块，用于获取多个第一交通标志样本图像、每个第一交通标志样本图像对应的交通标志类型和每个第一交通标志样本图像对应的交通标志文本信息；
42、第一识别模型生成模块，用于将所述第一交通标志样本图像作为输入、所述第一交通标志样本图像对应的交通标志类型作为标签，训练生成第一本文档来自技高网...
【技术保护点】
1.一种交通标志识别模型训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，将所述第一交通标志样本图像作为输入、所述第一交通标志样本图像对应的交通标志文本信息作为标签，对初始CLIP模型进行训练，包括：
3.根据权利要求2所述的方法，其特征在于，所述将所述第一交通标志样本图像和所述外扩样本图像作为输入、所述第一交通标志样本图像和所述外扩样本图像对应的交通标志文本信息作为标签，对初始CLIP模型进行训练，包括：
4.根据权利要求3所述的方法，其特征在于，所述外扩样本图像的数量为n个；
5.根据权利要求1所述的方法，其特征在于，所述对初始对比文本-图像对预训练CLIP模型进行训练，生成目标CLIP模型，包括：
6.一种交通标志识别方法，其特征在于，包括：
7.一种交通标志识别模型训练装置，其特征在于，包括：
8.一种交通标志识别装置，其特征在于，包括：
9.一种电子设备，其特征在于，包括：处理器，所述处理器用于执行存储于存储器的计算机程序，所述计算机程序被处理器执行时实
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1～5任一项所述的方法，或权利要求6所述的方法。
...【技术特征摘要】
1.一种交通标志识别模型训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，将所述第一交通标志样本图像作为输入、所述第一交通标志样本图像对应的交通标志文本信息作为标签，对初始clip模型进行训练，包括：
3.根据权利要求2所述的方法，其特征在于，所述将所述第一交通标志样本图像和所述外扩样本图像作为输入、所述第一交通标志样本图像和所述外扩样本图像对应的交通标志文本信息作为标签，对初始clip模型进行训练，包括：
4.根据权利要求3所述的方法，其特征在于，所述外扩样本图像的数量为n个；
5.根据权利要求1所述的方法，其特征在于，所述对初始对...
【专利技术属性】
技术研发人员：李军民，王飞，吕掌权，姬利娜，唐丽萍，
申请(专利权)人：安阳工学院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。