【技术实现步骤摘要】
本公开属于机器学习，尤其涉及一种模型训练方法、装置、电子设备及存储介质。
技术介绍
1、视觉场景识别(vpr，visual place recognition)在自动驾驶领域有着广泛的应用。在自动驾驶中，技术可以帮助车辆识别和定位当前道路场景，这将有助于车辆做出更精确的驾驶决策。
2、在vpr技术中，图像检索是一个重要的组成部分，当试图从数据集中识别和定位某个场景时，通常需要通过图像检索来找到与输入的待处理图像最相似的场景图像，进而针对车辆做出更精确的驾驶决策。而相关技术中，图像的特征提取模型的泛化能力不足，可能导致在现实环境中应对范围较大、环境较复杂的情况时，图像检索的准确性和鲁棒性较差。
技术实现思路
1、本公开实施例提供一种与相关技术不同的实现方案，以解决相关技术中图像的特征提取模型的泛化能力不足导致的图像检索的准确性和鲁棒性较差的技术问题。
2、第一方面，本公开提供一种模型训练方法，包括：
3、获取训练图像集和预设的初始双分支网络中的第一特征提取模型和第二特征提取模型，其中，所述训练图像集中包括至少一个训练图像对，所述至少一个训练图像对中的各训练图像对包括第一图像、第二图像以及预先设置的所述第一图像与所述第二图像的目标相似度；
4、针对所述各训练图像对，利用所述第一特征提取模型对所述训练图像对中的第一图像和第二图像分别进行特征提取，以得到所述第一图像对应的第一局部特征信息和第一全局特征信息，以及所述第二图像对应的第二局部特征信
5、通过所述初始双分支网络中的多头交叉注意力网络单元对所述第一全局特征信息和所述第二局部特征信息进行融合，得到所述第一图像对应的第一目标特征信息，以及通过所述多头交叉注意力网络单元对所述第二全局特征信息与所述第一局部特征信息进行融合，得到所述第二图像对应的第二目标特征信息，所述第一目标特征信息用于表征所述第一图像对应的增强全局特征，所述第二目标特征信息用于表征所述第二图像对应的增强全局特征；
6、通过所述初始双分支网络中的第一相似度计算单元确定所述第一目标特征信息和所述第二目标特征信息之间的第一相似度，以及，通过所述初始双分支网络中的第二相似度计算单元确定所述第三全局特征信息和所述第四全局特征信息之间的第二相似度；
7、以所述第一相似度作为预测值，所述第二相似度作为真实值，确定第一损失信息，以及，以所述第二相似度作为预测值，所述目标相似度作为真实值，确定第二损失信息；
8、基于所述第一损失信息和所述第二损失信息对所述初始双分支网络进行训练，以得到训练后的目标双分支网络，进而得到所述第二特征提取模型对应的训练后的目标特征提取模型，所述目标特征提取模型用于对待处理图像进行特征提取。
9、第二方面，本公开提供一种模型训练装置，包括：
10、获取单元，用于获取训练图像集和预设的初始双分支网络中的第一特征提取模型和第二特征提取模型，其中，所述训练图像集中包括至少一个训练图像对，所述至少一个训练图像对中的各训练图像对包括第一图像、第二图像以及预先设置的所述第一图像与所述第二图像的目标相似度；
11、特征提取单元，用于针对所述各训练图像对，利用所述第一特征提取模型对所述训练图像对中的第一图像和第二图像分别进行特征提取，以得到所述第一图像对应的第一局部特征信息和第一全局特征信息，以及所述第二图像对应的第二局部特征信息和第二全局特征信息，以及，利用所述第二特征提取模型对所述第一图像和所述第二图像分别进行特征提取，以得到所述第一图像对应的第三全局特征信息，以及所述第二图像对应的第四全局特征信息；
12、特征融合单元，用于通过所述初始双分支网络中的多头交叉注意力网络单元对所述第一全局特征信息和所述第二局部特征信息进行融合，得到所述第一图像对应的第一目标特征信息，以及通过所述多头交叉注意力网络单元对所述第二全局特征信息与所述第一局部特征信息进行融合，得到所述第二图像对应的第二目标特征信息，所述第一目标特征信息用于表征所述第一图像对应的增强全局特征，所述第二目标特征信息用于表征所述第二图像对应的增强全局特征；
13、第一确定单元，用于通过所述初始双分支网络中的第一相似度计算单元确定所述第一目标特征信息和所述第二目标特征信息之间的第一相似度，以及，通过所述初始双分支网络中的第二相似度计算单元确定所述第三全局特征信息和所述第四全局特征信息之间的第二相似度；
14、第二确定单元，用于以所述第一相似度作为预测值，所述第二相似度作为真实值，确定第一损失信息，以及，以所述第二相似度作为预测值，所述目标相似度作为真实值，确定第二损失信息；
15、训练单元，用于基于所述第一损失信息和所述第二损失信息对所述初始双分支网络进行训练，以得到训练后的目标双分支网络，进而得到所述第二特征提取模型对应的训练后的目标特征提取模型，所述目标特征提取模型用于对待处理图像进行特征提取。
16、第三方面，本公开提供一种电子设备，包括：
17、处理器；以及
18、存储器，用于存储所述处理器的可执行指令；
19、其中，所述处理器配置为经由执行所述可执行指令来执行第一方面、第一方面各可能的实施方式中的任一方法。
20、第四方面，本公开实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面、第一方面各可能的实施方式中的任一方法。
21、本公开提供的获取训练图像集和预设的初始双分支网络中的第一特征提取模型和第二特征提取模型，其中，训练图像集中包括至少一个训练图像对，至少一个训练图像对中的各训练图像对包括第一图像、第二图像以及预先设置的第一图像与第二图像的目标相似度；针对各训练图像对，利用第一特征提取模型对训练图像对中的第一图像和第二图像分别进行特征提取，以得到第一图像对应的第一局部特征信息和第一全局特征信息，以及第二图像对应的第二局部特征信息和第二全局特征信息，以及，利用第二特征提取模型对第一图像和第二图像分别进行特征提取，以得到第一图像对应的第三全局特征信息，以及第二图像对应的第四全局特征信息；通过初始双分支网络中的多头交叉注意力网络单元对第一全局特征信息和第二局部特征信息进行融合，得到第一图像对应的第一目标特征信息，以及通过多头交叉注意力网络单元对第二全局特征信息与第一局部特征信息进行融合，得到第二图像对应的第二目标特征信息，第一目标特征信息用于表征第一图像对应的增强全局特征，第二目标特征信息用于表征第二图像对应的增强全局特征；通过初始双分支网络中的第一相似度计算单元确定第一目标特征信息和第二目标特征信息之间的第一相似度，以及，通过初始双分支网络中的第二相似度计算单元确定第三全局特本文档来自技高网...
【技术保护点】
1.一种模型训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述初始双分支网络中包括第一分支网络和第二分支网络，其中，所述第一分支网络中包括所述第一特征提取模型、所述多头交叉注意力网络单元和所述第一相似度计算单元，所述第二分支网络中包括所述第二特征提取模型和所述第二相似度计算单元。
3.根据权利要求1所述的方法，其特征在于，所述第一特征提取模型包括第一网络单元和第二网络单元，所述利用所述第一特征提取模型对所述训练图像对中的第一图像和第二图像分别进行特征提取，包括：
4.根据权利要求1所述的方法，其特征在于，所述第二特征提取模型包括第三网络单元和第四网络单元，所述利用所述第二特征提取模型对所述第一图像和所述第二图像分别进行特征提取，包括：
5.根据权利要求1所述的方法，其特征在于，所述基于所述第一损失信息和所述第二损失信息对所述初始双分支网络进行训练，包括：
6.根据权利要求5所述的方法，其特征在于，根据所述第一损失信息、所述第二损失信息、所述第一预设权重和所述第二预设权重，确定总损失结果，包括：<...
【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述初始双分支网络中包括第一分支网络和第二分支网络，其中，所述第一分支网络中包括所述第一特征提取模型、所述多头交叉注意力网络单元和所述第一相似度计算单元，所述第二分支网络中包括所述第二特征提取模型和所述第二相似度计算单元。
3.根据权利要求1所述的方法，其特征在于，所述第一特征提取模型包括第一网络单元和第二网络单元，所述利用所述第一特征提取模型对所述训练图像对中的第一图像和第二图像分别进行特征提取，包括：
4.根据权利要求1所述的方法，其特征在于，所述第二特征提取模型包括第三网络单元和第四网络单元，所述利用所述第二特征提取模型对所...
【专利技术属性】
技术研发人员：刘威，胡骏，程帅，王卢阳，聂冀玮，
申请(专利权)人：东软睿驰汽车技术沈阳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。