【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种基于深度学习的交通场景图像匹配方法及系统。
技术介绍
1、在图像处理领域中，图像匹配是指一种搜索出与查询图像相同或者相似的图像的方法，该方法广泛应用于目标跟踪、人脸识别或自动驾驶或质量检测等领域，给用户的生活及工作带来极大便利。但是，专利技术人发现，目前的图像匹配方法未考虑图像前景占比不同对图像匹配的精确度的影响。
2、申请号为202111058412.7，名称为一种基于深度学习的开集图像场景匹配方法的专利，虽然利用相似度避免了使用深度学习方法无法识别未经训练场景的缺陷；但在训练匹配模型时，直接将覆盖不同图像场景的训练数据集导入深度学习模型，而未考虑同一场景下的图像由于前景占比大小不同，导致对最终匹配结果的影响。
3、申请号为201711129595.0，名称为一种基于surf的图像匹配方法的专利，通过引入角点检测，提升了特征点检测范围；但图像匹配阶段，利用传统方法对交通场景下参考图像与待匹配图像整图进行角点检测，而只计算整图相似度将导致无法捕捉细节信息，提取的角点等关键点的特征较为相似，从而无法保证匹配精度。
4、交通场景的图像匹配主要用于识别人、非机动车和机动车，对匹配精度要求较高。因此，如何提高交通场景图像匹配准确度是当前亟待解决的问题。
技术实现思路
1、为了解决上述问题，本专利技术提出了一种基于深度学习的交通场景图像匹配方法及系统。所述方法在模型训练阶段，充分考虑前景占比大的图像的前景特征，从而将前景
2、为了实现上述目的，本专利技术采用如下技术方案：
3、第一方面，本专利技术提供一种基于深度学习的交通场景图像匹配方法，包括：
4、获取交通场景原始参考图像和原始待匹配图像，进行预处理，得到预处理后的参考图像和待匹配图像；
5、将预处理后的参考图像和待匹配图像分别输入训练好的深度学习模型，输出第一参考特征和第一待匹配特征；计算所述第一参考特征和第一待匹配特征的相似度，若相似度大于设定阈值则图像匹配成功；
6、否则将参考图像和待匹配图像进行分割，获得参考图像子集和待匹配图像子集；所述图像子集均包含四张子图；
7、分别将各图像子集中的子图输入训练好的深度学习模型，输出第二参考特征子集和第二待匹配特征子集；所述特征子集均包含四个子特征；计算所述第二参考特征子集和第二待匹配特征子集中子特征的相似度，若三组子特征相似度大于设定阈值，则图像匹配成功，否则不成功。
8、优选地，所述预处理包括：使用随机水平翻转图像、随机垂直翻转图像以及随机旋转的数据增强方式，统一原始参考图像和原始待匹配图像的尺寸。
9、优选地，所述训练好的深度学习模型的训练过程为：
10、获取交通场景样本图像集，所述样本图像集包括示例图、正样本图像、负样本图像；
11、对正样本图像和负样本图像进行预处理，得到每张图像前景面积占比信息；
12、将样本图像集以及每张图像的前景面积占比信息输入深度学习模型，计算三元组损失，当三元组损失最小时，得到训练好的深度学习模型。
13、优选地，所述对正样本图像和负样本图像进行预处理，得到每张图像前景面积占比信息的具体过程为：
14、使用目标检测网络，获取正样本图像和负样本图像每张图像中前景的坐标；所述前景包括人、非机动车和机动车；
15、基于获取的坐标，计算每张图像中前景的面积并求和，前景面积与整幅图像面积的比值为前景面积占比信息。
16、优选地，所述三元组损失为：
17、l＝max(d(a,p)*e-x-d(a,n)+margin,0)
18、其中，d代表两张图像之间的距离，a代表示例图，p代表正样本图像即和a同场景图像，n代表负样本图像即和a非同场景图像，margin代表大于0的常数，x为前景面积占比信息。
19、优选地，所述训练好的深度学习模型为孪生神经网络。
20、优选地，所述相似度阈值为0.9。
21、第二方面，本专利技术提供一种基于深度学习的交通场景图像匹配系统，包括：
22、预处理模块：获取交通场景原始参考图像和原始待匹配图像，进行预处理，得到预处理后的参考图像和待匹配图像；
23、一次计算模块：将预处理后的参考图像和待匹配图像分别输入训练好的深度学习模型，输出第一参考特征和第一待匹配特征；计算所述第一参考特征和第一待匹配特征的相似度，若相似度大于设定阈值则图像匹配成功；
24、分割模块：否则将参考图像和待匹配图像进行分割，获得参考图像子集和待匹配图像子集；所述图像子集均包含四张子图；
25、二次计算模块：分别将各图像子集中的子图输入训练好的深度学习模型，输出第二参考特征子集和第二待匹配特征子集；所述特征子集均包含四个子特征；计算所述第二参考特征子集和第二待匹配特征子集中子特征的相似度，若三组子特征相似度大于设定阈值，则图像匹配成功，否则不成功。
26、第三方面，本专利技术提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述所述的基于深度学习的交通场景图像匹配方法中的步骤。
27、第四方面，本专利技术提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述所述的基于深度学习的交通场景图像匹配方法中的步骤。
28、与现有技术相比，本公开的有益效果为：
29、(1)本专利技术在训练匹配模型时，为了使模型充分捕捉前景信息，提高模型性能，通过在三元组损失(triplet loss)中增加前景占比信息，从而考虑前景占比大的图片对损失函数的贡献；图片前景占比信息作为先验知识输送给网络，通过动态调整前景占比不同的图片对loss的贡献，使训练出来的深度学习模型能够输出更可信的结果，能有效解决由于图像前景占比不同导致的最后提取特征计算cosine相似度时结果不准确的问题，提高模型的鲁棒性。
30、(2)本专利技术在图像匹配阶段，在两张图片相似度计算结果确信度不是很高的情况下，进行二次匹配，通过对原图进行拆分，有利于捕获细节信息。其中，参考图像子集的各子图，与待匹配图像子集的各子图的位置关系一一对应，分别提取子图特征并基于位置关系计算相似度，提高相似度计算的准确率，尽量消除前景占比不同对匹配的影响，提高图像匹配的准确性。
本文档来自技高网...【技术保护点】
1.一种基于深度学习的交通场景图像匹配方法，其特征在于，包括：
2.如权利要求1所述的基于深度学习的交通场景图像匹配方法，其特征在于，所述预处理包括：
3.如权利要求1所述的基于深度学习的交通场景图像匹配方法，其特征在于，所述训练好的深度学习模型的训练过程为：
4.如权利要求3所述的一种基于深度学习的交通场景图像匹配方法，其特征在于，所述对正样本图像和负样本图像进行预处理，得到每张图像前景面积占比信息的具体过程为：
5.如权利要求3所述的一种基于深度学习的交通场景图像匹配方法，其特征在于，所述三元组损失为：
6.如权利要求1所述的基于深度学习的交通场景图像匹配方法，其特征在于，所述训练好的深度学习模型为孪生神经网络。
7.如权利要求1所述的基于深度学习的交通场景图像匹配方法，其特征在于，所述相似度阈值为0.9。
8.一种基于深度学习的交通场景图像匹配系统，其特征在于，包括：
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-7所述的基于
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-7所述的基于深度学习的交通场景图像匹配方法中的步骤。
...【技术特征摘要】
1.一种基于深度学习的交通场景图像匹配方法，其特征在于，包括：
2.如权利要求1所述的基于深度学习的交通场景图像匹配方法，其特征在于，所述预处理包括：
3.如权利要求1所述的基于深度学习的交通场景图像匹配方法，其特征在于，所述训练好的深度学习模型的训练过程为：
4.如权利要求3所述的一种基于深度学习的交通场景图像匹配方法，其特征在于，所述对正样本图像和负样本图像进行预处理，得到每张图像前景面积占比信息的具体过程为：
5.如权利要求3所述的一种基于深度学习的交通场景图像匹配方法，其特征在于，所述三元组损失为：
6.如权利要求1所述的基于深度学习的交通场景图像...
【专利技术属性】
技术研发人员：张永，李凡平，石柱国，
申请(专利权)人：以萨技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。