一种基于孪生神经网络的遥感影像拼接方法技术

本发明专利技术实施例公开了一种基于孪生神经网络的遥感影像拼接方法，该方法包括：先预先训练好用于遥感影像拼接一个预设孪生神经网络，然后获取第一遥感影像和第二遥感影像，并将第一遥感影像和第二遥感影像输入至预设孪生神经网络中，得到目标单应性矩阵，再然后利用目标单应性矩阵对第一遥感影像进行几何变换得到目标变换影像，最后将目标变换影像与第二遥感影像进行拼接得到目标拼接影像，使得所得到的目标拼接影像不会存在畸形的情况，即该遥感影像拼接方式可以有效的解决现有技术中对于复杂的遥感影像场景，配准精度和鲁棒性存在一定的限制问题，以及对于具有大角度或者弯曲形状的图像进行拼接时，无法完全匹配不同影像之间的空间关系的问题等。间的空间关系的问题等。间的空间关系的问题等。

【技术实现步骤摘要】
一种基于孪生神经网络的遥感影像拼接方法


[0001]本专利技术涉及遥感影像
，尤其涉及一种基于孪生神经网络的遥感影像拼接方法。

技术介绍

[0002]遥感影像拼接是将两景或多景影像拼接到一起，形成一幅大影像的技术过程，通过对遥感影像进行拼接，可以获得更大范围、更高分辨率的遥感数据，从而更好地支持城市规划、环境保护、农业生产等各方面的应用。受遥感影像获取条件的影响，待拼接影像往往处于不同时间、不同天气的条件下，因而存在较大的差异性，给遥感影像拼接工作带来很大困难，又由于传统的遥感影像拼接算法大多依赖于图像的光谱亮度，云、阴影等因素会严重影响拼接过程及拼接结果，甚至有时导致拼接工作无法完成，随着应用领域的扩大，对遥感影像处理技术的要求也越来越高，因此，研究如何通过遥感影像有效且快速拼接去解决更多的应用问题变得越来越重要。
[0003]目前，传统的遥感影像拼接方法对于复杂的遥感影像场景，配准精度和鲁棒性存在一定的限制，尤其是对具有大角度或者弯曲形状的图像进行拼接时，可能无法完全匹配不同影像之间的空间关系，从而导致拼接结果出现畸变。

技术实现思路

[0004]基于此，有必要针对上述问题，提出了一种基于孪生神经网络的遥感影像拼接方法，以使得所得到的目标拼接影像不会存在畸形的情况，即可以有效的解决现有技术中对于复杂的遥感影像场景，配准精度和鲁棒性存在一定的限制问题，以及对于具有大角度或者弯曲形状的图像进行拼接时，无法完全匹配不同影像之间的空间关系的问题等。
[0005]为实现上述目的，本专利技术在第一方面提供一种基于孪生神经网络的遥感影像拼接方法，所述方法包括：
[0006]获取第一遥感影像和第二遥感影像；
[0007]将所述第一遥感影像和所述第二遥感影像输入至预设孪生神经网络中，得到目标单应性矩阵；
[0008]利用所述目标单应性矩阵对所述第一遥感影像进行几何变换得到目标变换影像，将所述目标变换影像与所述第二遥感影像进行拼接得到目标拼接影像。
[0009]可选地，在所述将所述第一遥感影像和所述第二遥感影像输入至预设孪生神经网络中之前，所述方法还包括：
[0010]获取n个遥感影像；
[0011]在第i个遥感影像对应的预设范围内随机生成第i个单应性矩阵，利用第i个单应性矩阵对第i个遥感影像进行几何变换得到第i个变换影像，将第i个遥感影像、第i个变换影像和第i个单应性矩阵作为第i个训练数据，重复上述步骤，i依次取大于0的整数，得到n个训练数据；
[0012]构建初始孪生神经网络，将n个训练数据依次输入至所述初始孪生神经网络中进行训练，得到所述预设孪生神经网络。
[0013]可选地，所述获取n个遥感影像，包括：
[0014]获取n个光学卫星遥感数据；
[0015]选取第i个光学卫星遥感数据的R、G、B三个波段，组成第i个遥感影像，重复上述步骤，i依次取大于0的整数，得到n个遥感影像；
[0016]所述获取第一遥感影像和第二遥感影像，包括：
[0017]获取第一光学卫星遥感数据和第二光学卫星遥感数据；
[0018]选取所述第一光学卫星遥感数据的R、G、B三个波段，组成所述第一遥感影像；
[0019]选取所述第二光学卫星遥感数据的R、G、B三个波段，组成所述第二遥感影像。
[0020]可选地，所述初始孪生神经网络包括第一神经网络、第二神经网络、特征融合模块和损失函数模块，所述第一神经网络和所述第二神经网络均包括特征提取模块和特征注意力模块；
[0021]其中，所述第一神经网络的特征提取模块与所述第一神经网络的特征注意力模块连接，所述第二神经网络的特征提取模块与所述第二神经网络的特征注意力模块连接，所述第一神经网络的特征注意力模块、所述第二神经网络的特征注意力模块均与所述特征融合模块连接，所述特征融合模块与所述损失函数连接。
[0022]可选地，每个所述特征提取模块均包括三个合层、两个3
×
3的平均池化层、第一并层、第二并层、第三并层、第四并层和第五并层；
[0023]其中，第一个合层、第二个合层、第一个3
×
3的平均池化层和第二个3
×
3的平均池化层依次连接，第二个3
×
3的平均池化层分别与第一并层、第二并层、第三并层、第四并层、第五并层连接，第一并层、第二并层、第三并层、第四并层、第五并层均与第三个合层连接；
[0024]其中，三个合层均依次包括3
×
3的卷积层、归一化层和Relu激活函数层，第一并层依次包括1
×
1的卷积层和3
×
3的卷积层，第二并层依次包括1
×
1的卷积层和两个3
×
3的卷积层，第三并层依次包括1
×
1的卷积层、3
×
1的卷积层和1
×
3的卷积层，第四并层依次包括3
×
3的最大池化层和1
×
1的卷积层，第五并层依次包括3
×
3的平均池化层和1
×
1的卷积层。
[0025]可选地，每个所述特征注意力模块均包括第四个合层、1
×
1的卷积层、全局池化层、全连接层和sigmoid激活函数层；
[0026]其中，第四个合层、1
×
1的卷积层、全局池化层、全连接层、sigmoid激活函数层依次连接，第四个合层与sigmoid激活函数层连接；
[0027]其中，第四个合层依次包括3
×
3的卷积层、归一化层和Relu激活函数层。
[0028]可选地，所述特征融合模块包括第五个合层、第六个合层、三个全连接层和sigmoid激活函数层；
[0029]其中，第五个合层、第六个合层均与第一个全连接层连接，第二个全连接层、第三个全连接层、sigmoid激活函数层依次连接；
[0030]其中，第五个合层和第六个合层均依次包括3
×
3的卷积层、归一化层和Relu激活函数层。
[0031]可选地，所述利用第i个单应性矩阵对第i个遥感影像进行几何变换得到第i个变
换影像，包括：
[0032]利用公式得到第i个变换影像；
[0033]其中，
[0034]在上述式子中，(x
i,j
,y
i,j
)为第i个遥感影像的第j个像素点的坐标，(x
′
i,j
,y
′
i,j
)为第i个变换影像的第j个像素点的坐标，H
i
为第i个单应性矩阵，h
11
至h
33
分别为第i个单应性矩阵的第1个元素至第9个元素；
[0035]所述利用所述目标单应性矩阵对所述第一遥感影像进行几何变换得到目标变换影像，包括：
[0036]利用公式得到本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于孪生神经网络的遥感影像拼接方法，其特征在于，所述方法包括：获取第一遥感影像和第二遥感影像；将所述第一遥感影像和所述第二遥感影像输入至预设孪生神经网络中，得到目标单应性矩阵；利用所述目标单应性矩阵对所述第一遥感影像进行几何变换得到目标变换影像，将所述目标变换影像与所述第二遥感影像进行拼接得到目标拼接影像。2.根据权利要求1所述的方法，其特征在于，在所述将所述第一遥感影像和所述第二遥感影像输入至预设孪生神经网络中之前，所述方法还包括：获取n个遥感影像；在第i个遥感影像对应的预设范围内随机生成第i个单应性矩阵，利用第i个单应性矩阵对第i个遥感影像进行几何变换得到第i个变换影像，将第i个遥感影像、第i个变换影像和第i个单应性矩阵作为第i个训练数据，重复上述步骤，i依次取大于0的整数，得到n个训练数据；构建初始孪生神经网络，将n个训练数据依次输入至所述初始孪生神经网络中进行训练，得到所述预设孪生神经网络。3.根据权利要求2所述的方法，其特征在于，所述获取n个遥感影像，包括：获取n个光学卫星遥感数据；选取第i个光学卫星遥感数据的R、G、B三个波段，组成第i个遥感影像，重复上述步骤，i依次取大于0的整数，得到n个遥感影像；所述获取第一遥感影像和第二遥感影像，包括：获取第一光学卫星遥感数据和第二光学卫星遥感数据；选取所述第一光学卫星遥感数据的R、G、B三个波段，组成所述第一遥感影像；选取所述第二光学卫星遥感数据的R、G、B三个波段，组成所述第二遥感影像。4.根据权利要求2所述的方法，其特征在于，所述初始孪生神经网络包括第一神经网络、第二神经网络、特征融合模块和损失函数模块，所述第一神经网络和所述第二神经网络均包括特征提取模块和特征注意力模块；其中，所述第一神经网络的特征提取模块与所述第一神经网络的特征注意力模块连接，所述第二神经网络的特征提取模块与所述第二神经网络的特征注意力模块连接，所述第一神经网络的特征注意力模块、所述第二神经网络的特征注意力模块均与所述特征融合模块连接，所述特征融合模块与所述损失函数连接。5.根据权利要求4所述的方法，其特征在于，每个所述特征提取模块均包括三个合层、两个3
×
3的平均池化层、第一并层、第二并层、第三并层、第四并层和第五并层；其中，第一个合层、第二个合层、第一个3
×
3的平均池化层和第二个3
×
3的平均池化层依次连接，第二个3
×
3的平均池化层分别与第一并层、第二并层、第三并层、第四并层、第五并层连接，第一并层、第二并层、第三并层、第四并层、第五并层均与第三个合层连接；其中，三个合层均依次包括3
×
3的卷积层、归一化层和Relu激活函数层，第一并层依次包括1
×
1的卷积层和3
×
3的卷积层，第二并层依次包括1
×
1的卷积层和两个3
×
3的卷积层，第三并层依次包括1
×
1的卷积层、3
×
1的卷积层和1
×
3的卷积层，第四并层依次包括3
×
3的最大池化层和1
×
1的卷积层，第五并层依次包括3
×
3的平均池化层和1
×
1的卷积层。
6.根据权利要求4所述的方法，其特征在于，每个所述特征注意力模块均包括第四个合层、1
×
1的卷积层、全局池化层、全连接层和sigmoid激活函数层；其中，第四个合层、1
×
1的卷积层、全局池化层、全连接层、sigmoid激活函数层依次连接，第四个合层与sigmoid激活函数层连接；其中，第四个合层依次包括3
...

【专利技术属性】
技术研发人员：周仿荣，马仪，沈龙，文刚，张辉，马御棠，徐真，王国芳，王一帆，潘浩，耿浩，曹俊，杨杰琼，朱龙昌，
申请(专利权)人：云南电网有限责任公司电力科学研究院，
类型：发明
国别省市：