本发明专利技术提供一种跨域遥感影像的语义分割方法、设备及存储介质，其特征在于，将遥感影像数据输入到语义分割模型中的学生网络中，输出语义分割结果；其中，该语义分割模型的构建包括：通过获取遥感影像训练数据，所述训练数据包括源域数据和目标域数据；基于遥感影像训练数据和教师‑学生网络得到四个损失函数；并基于得到的四个损失函数对所述学生网络的参数进行反向传播求导，不断优化所述学生网络的参数；并基于所述学生网络的参数不断更新所述教师网络的参数，反复迭代，直到训练结束，得到所述语义分割模型。本发明专利技术从源域数据和目标域数据中学习模型，通过最小化源域和目标域的特征分布之间的差异来使模型泛化到目标域，以提高目标与影像的分割精度。
【技术实现步骤摘要】
本专利技术涉及图像处理，尤其涉及一种跨域遥感影像的语义分割方法、设备及存储介质。
技术介绍
1、随着计算机科学技术的迅速发展，遥感影像所涉及到的技术也在不断进步。传统遥感影像的语义分割方法是在给定的训练样本下学习一个模型，从而获得一个测试数据风险最小的目标函数，输出遥感影像的分割结果。为了训练这样一个广义模型，监督学习是适用于各种任务的最普遍和最成功的方法。广义模型的成功是因为大量标记的训练数据集以及假设训练的测试数据集都来自于相同的分布且共享相似的联合概率分布。
2、然而，在现实应用中，测试数据集可能来自不同的特征空间或分布，导致达不到这一要求。更具体的，当训练数据集不能准确反映测试数据的分布时，也即是，当源域分布与目标域分布不同时，则经过训练的模型在应用于测试数据时可能会出现严重性能下降。相比于自然影像，在遥感领域中常常由于影像之间存在成像传感器差异、影像分辨率差异、影像获取时的地理位置差异、成像时间和角度等带来的辐射差异等各种差异，使得训练好的模型在迁移到一些与训练数据不同的其他遥感影像上时，分割精度往往较差，达不到满意的结果，从而给深度学习模型在遥感领域的广泛应用造成了极大地阻碍。
技术实现思路
1、本专利技术提供一种跨域遥感影像的语义分割方法、设备及存储介质，用以解决现有语义分割方法分割精度低以及适用性差的问题。
2、第一方面，本专利技术提供一种跨域遥感影像的语义分割方法，将遥感影像数据输入到语义分割模型中的学生网络中，输出语义分割结果；
<
p>3、其中，该语义分割模型的构建包括：4、获取遥感影像训练数据，所述训练数据包括源域数据和目标域数据；
5、将所述源域数据输入所述学生网络中训练，获得第一损失函数；
6、将所述目标域数据输入所述教师网络中生成伪标签，通过所述伪标签训练所述学生网络，获得第二损失函数；
7、将所述源域数据和所述目标域数据进行混合，得到混合图像和对应的混合标签，将所述混合图像输入所述学生网络中训练，并利用所述混合标签和所述学生网络输出的混合预测结果，获得第三损失函数；
8、将所述学生网络预测的所述源域数据的源域预测结果和所述学生网络预测的目标域数据的目标域预测结果输入判别器网络，获得第四损失函数；
9、基于得到的四个损失函数对所述学生网络的参数进行反向传播求导，不断优化所述学生网络的参数；并基于所述学生网络的参数不断更新所述教师网络的参数，反复迭代，直到训练结束，得到所述语义分割模型。
10、进一步的，所述源域数据包括一一对应的源域图像和源域标签；所述目标域数据仅包括目标域图像。
11、进一步的，
12、将所述源域图像输入所述学生网络中训练，得到源域预测结果；基于所述源域预测结果和所述源域标签得到像素级交叉熵函数，将所述像素级交叉熵函数作为第一损失函数；
13、将所述目标域图像分别输入所述学生网络中和所述教师网络中，对应得到目标域预测结果和与所述目标域图像对应的伪标签；基于所述目标域预测结果和所述伪标签，计算获得第二损失函数；
14、将所述混合图像输入学生网络中，得到混合预测结果；将所述源域标签和所述伪标签进行混合，得到混合标签；基于所述混合预测结果和所述混合标签，计算获得第三损失函数；
15、基于所述源域预测结果和所述目标域预测结果，计算获得第四损失函数。
16、进一步的，所述第一损失函数的计算方式包括：
17、
18、其中，xs表示源域图像；ys表示源域标签；θs表示学生网络；h表示图像的长；w表示图像的宽；c表示源域标签的类别；表示源域标签的one-hot向量；表示源域预测结果的softmax概率。
19、进一步的，利用目标域预测结果的信任度高于一定阈值的像素来计算所述第二损失函数，且所述第二损失函数的计算方式包括：
20、
21、其中，xt表示目标域图像；θs表示学生网络；h表示图像的长；w表示图像的宽；c表示源域标签的类别；表示目标域预测结果的信任度高于一定阈值的像素的one-hot向量；表示目标域预测结果的softmax概率；t表示阈值；表示伪标签的one-hot向量。
22、进一步的，所述混合图像和对应的混合标签的得到过程包括：
23、将与所述源域图像对应的源域标签的一半类别生成掩膜，并将属于该一半类别的像素标记为1，其他类别的像素标记为0；
24、将标记为1的像素的对应的源域图像的像素粘贴到目标域图像上，得到所述混合图像；将标记为1的像素的对应的源域标签的像素粘贴到伪标签上，得到所述混合标签。
25、进一步的，利用目标域预测结果的信任度高于一定阈值的像素比例生成权重掩模图，基于所述权重掩模图计算所述第三损失函数；
26、所述第三损失函数的计算方式包括：
27、
28、其中，xm表示混合图像；θs表示学生网络；h表示图像的长；w表示图像的宽；c表示源域标签的类别；wm表示权重掩模图，m表示掩模，表示one-hot向量，w表示像素比例；表示混合标签ym的one-hot向量；表示混合域预测结果的softmax概率。
29、进一步的，所述第四损失函数的计算方式包括：
30、
31、其中，xs表示源域图像；xt表示目标域图像；θd表示判别器网络的参数；h表示图像的长；w表示图像的宽；表示第一损失函数；表示将源域预测结果的熵图输入到判别器网络d中；表示将目标域预测结果的熵图输入到判别器网络d中。
32、第二方面，本专利技术提供了一种跨域遥感影像的语义分割设备，该设备包括至少一个处理单元、以及至少一个存储单元；其中，所述存储单元存储有计算机程序，当所述计算机程序被所述处理单元执行时，使得所述处理单元执行上述任一项方法的步骤。
33、第三方面，本专利技术提供一种存储介质，其存储有可由访问认证设备执行的计算机程序，当所述计算机程序在访问认证设备上运行时，使得所述访问认证设备执行上述任一项方法的步骤。
34、总体而言，通过本专利技术所构思的技术方案，与现有技术相比能够取得下列有益效果：
35、(1)本专利技术提供一种跨域遥感影像的语义分割方法、设备及存储介质，从源域数据和目标域数据中学习模型，通过最小化源域和目标域的特征分布之间的差异来使模型泛化到目标域，以提高目标与影像的分割精度。
36、(2)本专利技术提供一种跨域遥感影像的语义分割方法、设备及存储介质，通过基于自我训练一致性的伪标签的监督策略和混合样本的一致性正则化，不仅可以挖掘目标域的潜在数据分布，约束网络提取域不变特征。
37、(3)本专利技术提供一种跨域遥感影像的语义分割方法、设备及存储介质，结合自我训练和对抗训练进一步提高网络模型的迁移性，可以较好的应对遥感影像数据中存在的成像位置差异和波段组合方式差异带来的域偏移问题。...
【技术保护点】
1.一种跨域遥感影像的语义分割方法，其特征在于，将遥感影像数据输入到语义分割模型中的学生网络中，输出语义分割结果；
2.如权利要求1所述的一种跨域遥感影像的语义分割方法，其特征在于，所述源域数据包括一一对应的源域图像和源域标签；所述目标域数据仅包括目标域图像。
3.如权利要求2所述的一种跨域遥感影像的语义分割方法，其特征在于，
4.如权利要求2所述的一种跨域遥感影像的语义分割方法，其特征在于，所述第一损失函数的计算方式包括：
5.如权利要求2所述的一种跨域遥感影像的语义分割方法，其特征在于，利用目标域预测结果的信任度高于一定阈值的像素来计算所述第二损失函数，且所述第二损失函数的计算方式包括：
6.如权利要求2所述的一种跨域遥感影像的语义分割方法，其特征在于，所述混合图像和对应的混合标签的得到过程包括：
7.如权利要求6所述的一种跨域遥感影像的语义分割方法，其特征在于，利用目标域预测结果的信任度高于一定阈值的像素比例生成权重掩模图，基于所述权重掩模图计算所述第三损失函数；
8.如权利要求2所述的一种跨域遥感影像的语义分割方法，其特征在于，所述第四损失函数的计算方式包括：
9.一种跨域遥感影像的语义分割设备，其特征在于，该设备包括至少一个处理单元、以及至少一个存储单元；其中，所述存储单元存储有计算机程序，当所述计算机程序被所述处理单元执行时，使得所述处理单元执行权利要求1～8任一项所述方法的步骤。
10.一种存储介质，其特征在于，其存储有可由访问认证设备执行的计算机程序，当所述计算机程序在访问认证设备上运行时，使得所述访问认证设备执行权利要求1～8任一项所述方法的步骤。
...
【技术特征摘要】
1.一种跨域遥感影像的语义分割方法，其特征在于，将遥感影像数据输入到语义分割模型中的学生网络中，输出语义分割结果；
2.如权利要求1所述的一种跨域遥感影像的语义分割方法，其特征在于，所述源域数据包括一一对应的源域图像和源域标签；所述目标域数据仅包括目标域图像。
3.如权利要求2所述的一种跨域遥感影像的语义分割方法，其特征在于，
4.如权利要求2所述的一种跨域遥感影像的语义分割方法，其特征在于，所述第一损失函数的计算方式包括：
5.如权利要求2所述的一种跨域遥感影像的语义分割方法，其特征在于，利用目标域预测结果的信任度高于一定阈值的像素来计算所述第二损失函数，且所述第二损失函数的计算方式包括：
6.如权利要求2所述的一种跨域遥感影像的语义分割方法，其特征在于，所述混合图像和对应的混...
【专利技术属性】
技术研发人员：张斌，曹成度，费亮，夏旺，马龙，李昭熹，童思奇，许诗旋，王波，
申请(专利权)人：中铁第四勘察设计院集团有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。