【技术实现步骤摘要】
本专利技术涉及多模态图像配准，具体地涉及一种基于多模态光谱图像配准的无监督学习方法。
技术介绍
1、近年来，随着我国经济高速增长与科技制造的飞速进步，光电传感技术蓬勃发展，图像获取方式由单一传感器向多源传感器快速演进。采集自多源传感器的图像与普通可见光(rgb)图像相比，含有更为丰富的场景信息。但这些多模态(光谱)图像通常是由不同的传感器在不同时间、不同照明环境下捕获而得到的，极易因成像设备移动、切换等问题，产生图像是非配准的情况。多模态(光谱)图像配准技术作为计算机视觉中的关键步骤，在行人检测、遥感分析、医学图像分析与视频拼接等诸多领域均具有广阔的应用前景。由于成像机制的不同，多模态(光谱)图像在内容上存在较大的辐射差异和几何畸变，为多模态(光谱)图像配准提出了很大的挑战。
2、传统的配准方法如sift(scale invariant feature transform)，surf(speededup robust features)，orb(orb:an efficient alternative to sift or surf)等通常采用基于特征或者基于区域的方法从两幅图像之间寻找对应关系，其主要依赖于图像内容中丰富的纹理信息和相似的特征，因此传统配准方法的匹配性能对于特征差异非常敏感。由于多模态(光谱)图像之间往往存在较为严重的几何畸变和模态差异，传统方法对于多模态(光谱)图像配准通常会失效。
3、深度学习采用基于数据驱动的方法，通过卷积神经网络学习两幅图像之间的高层语义信息，可以在一定程度上解决
4、本申请专利技术人在实现本专利技术的过程中发现，现有技术的上述方案具有无监督对跨模态图像配准效果差的缺陷。
技术实现思路
1、本专利技术实施例的目的是提供一种基于多模态光谱图像配准的无监督学习方法，该基于多模态光谱图像配准的无监督学习方法具有对跨模态图像配准效果好的功能。
2、为了实现上述目的，本专利技术实施例提供一种基于多模态光谱图像配准的无监督学习方法，包括：
3、获取多模态数据集，其中，所述多模态数据集包括训练集和测试集；
4、对所述多模态数据集进行预处理；
5、根据所述多模态数据集中的源图像和目标图像获取对应的同模态待配准图像对，并获取所述同模态待配准图像对的偏移真值；
6、根据所述多模态数据集中的跨模态图像对以及同模态待配准图像对获取三组一致特征图；
7、根据三组一致特征图获取所述跨模态图像对以及同模态待配准图像对的预测偏移；
8、根据所述同模态待配准图像对的偏移真值以及预测偏移获取各模态辅助训练的损失函数；
9、根据所述跨模态图像对的预测偏移获取无监督损失函数；
10、根据各模态辅助训练的损失函数和所述无监督损失函数获取总损失函数；
11、根据所述总损失函数优化网络。
12、可选地，获取多模态数据集包括：
13、获取多源传感器采集的多个不同模态的图像；
14、选择其中一个模态的图像为源图像，选取与所述源图像对应的另外一个模态的图像为目标图像；
15、对所述源图像和所述目标图像的尺寸进行修正；
16、获取所述源图像和所述目标图像中同一位置且同一尺寸的两个图像；
17、将两个图像作为一组，以形成多组图像；
18、将多组图像随机划分为训练集和测试集。
19、可选地，所述对所述多模态数据集进行预处理包括：
20、对所述训练集和所述测试集中的图像进行灰度化处理，以获取对应的灰度图；
21、对所述灰度图进行均值归一化处理。
22、可选地，根据所述多模态数据集中的源图像和目标图像获取对应的同模态待配准图像对，并获取所述待配准图像对的偏移真值包括：
23、对所述源图像施加随机形变；
24、获取所述源图像对应的模态的第一待配准图像对；
25、根据所述第一待配准图像对获取第一偏移真值；
26、对所述目标图像施加随机形变；
27、获取所述目标图像对应的模态的第二待配准图像对；
28、根据所述第二待配准图像对获取第二偏移真值。
29、可选地，根据所述多模态数据集中的跨模态图像对以及同模态待配准图像对获取三组一致特征图包括：
30、将所述源图像和所述目标图像作为一组跨模态图像对；
31、将所述跨模态图像对、所述第一待配准图像对以及所述第二待配准图像对输入至一致特征图生成器；
32、输出所述跨模态图像对、所述第一待配准图像对以及所述第二待配准图像对应的单通道特征图。
33、可选地，根据三组一致特征图获取所述跨模态图像对以及同模态待配准图像对的预测偏移包括：
34、构建配准网络；
35、将三组一致特征图输入至所述配准网络中，并输出对应的预测偏移。
36、可选地，根据所述同模态待配准图像对的偏移真值以及预测偏移获取各模态辅助训练的损失函数包括：
37、根据公式(1)获取各模态辅助训练的损失函数，
38、lassisted＝|daa′-da,gt|+|dbb′-db,gt|， (1)
39、其中，lassisted为各模态辅助训练的损失函数，daa′为所述第二待配准图像对的预测偏移，dbb′为所述第一待配准图像对的预测偏移，la,gt为第二偏移真值，db,gt为第一偏移真值。
40、可选地，根据所述跨模态图像对的预测偏移获取无监督损失函数包括：
4本文档来自技高网...
【技术保护点】
1.一种基于多模态光谱图像配准的无监督学习方法，其特征在于，包括：
2.根据权利要求1所述的无监督学习方法，其特征在于，获取多模态数据集包括：
3.根据权利要求1所述的无监督学习方法，其特征在于，所述对所述多模态数据集进行预处理包括：
4.根据权利要求1所述的无监督学习方法，其特征在于，根据所述多模态数据集中的源图像和目标图像获取对应的同模态待配准图像对，并获取所述待配准图像对的偏移真值包括：
5.根据权利要求4所述的无监督学习方法，其特征在于，根据所述多模态数据集中的跨模态图像对以及同模态待配准图像对获取三组一致特征图包括：
6.根据权利要求5所述的无监督学习方法，其特征在于，根据三组一致特征图获取所述跨模态图像对以及同模态待配准图像对的预测偏移包括：
7.根据权利要求6所述的无监督学习方法，其特征在于，根据所述同模态待配准图像对的偏移真值以及预测偏移获取各模态辅助训练的损失函数包括：
8.根据权利要求7所述的无监督学习方法，其特征在于，根据所述跨模态图像对的预测偏移获取无监督损失函数包括：p>
9.根据权利要求8所述的无监督学习方法，其特征在于，根据各模态辅助训练的损失函数和所述无监督损失函数获取总损失函数包括：
10.根据权利要求6所述的无监督学习方法，其特征在于，根据所述总损失函数优化网络包括：
...【技术特征摘要】
1.一种基于多模态光谱图像配准的无监督学习方法，其特征在于，包括：
2.根据权利要求1所述的无监督学习方法，其特征在于，获取多模态数据集包括：
3.根据权利要求1所述的无监督学习方法，其特征在于，所述对所述多模态数据集进行预处理包括：
4.根据权利要求1所述的无监督学习方法，其特征在于，根据所述多模态数据集中的源图像和目标图像获取对应的同模态待配准图像对，并获取所述待配准图像对的偏移真值包括：
5.根据权利要求4所述的无监督学习方法，其特征在于，根据所述多模态数据集中的跨模态图像对以及同模态待配准图像对获取三组一致特征图包括：
6.根据权利要求5...
【专利技术属性】
技术研发人员：郭龙刚，黄道均，马欢，张晨晨，施雯，朱涛，王志鹍，马骏，曹思源，沈会良，刘文涛，李腾，袁文栋，李宝文，孟庆义，李国超，
申请(专利权)人：国网安徽省电力有限公司超高压分公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。