【技术实现步骤摘要】
本专利技术涉及计算机视觉与图像处理，特别涉及一种基于改进代价体网络的高分辨率卫星影像立体匹配方法。
技术介绍
1、高分辨率卫星影像易获取、成本低，已被用作大规模地球表面重建，而卫星影像立体匹配则是其中最为核心的步骤之一。卫星立体匹配是估计核线影像对中所有像素的视差值或深度信息，从而实现三维空间立体重建。
2、卫星立体匹配的难点在于如何在分辨率存在差异、纹理缺失、光照时间变化、区域遮挡等不利因素下，获取准确的视差信息。随着深度学习的发展，端到端的立体匹配网络逐渐涌现，其中以代价体网络为主流。目前常用的代价体网络框架为acvnet，其网络结构包括特征提取模块、注意力代价计算模块、代价聚合模块和视差回归模块。其中，特征提取模块用于从核线影像对中获取高维语义特征，注意力代价计算模块则通过计算代价体注意力权重过滤初始代价体，以剔除冗余代价信息，代价聚合模块是对注意力代价体进行正则化，视差回归模块用于生成视差图。
3、直接将acvnet用于卫星影像立体匹配精度不高且泛化性差，无法满足大范围地形级重建任务，主要原因有两方面：1、遥感影像相对自然图像分辨率低，且存在拍摄平台、拍摄时间、光照条件等差异，使得匹配效果不佳，尤其是在地物细节，如建筑物边缘等匹配失效；2、深度学习是数据驱动的算法，现有卫星立体匹配数据集较少，且存在视差分布不均、范围较小、视差不准确等问题，限制了立体匹配网络的精度和泛化性能的提升。
技术实现思路
1、为了解决现有卫星立体匹配方法存在的精度不高、泛化性
2、本专利技术通过以下技术方案实现这种用于高分辨率卫星影像的立体匹配方法，包括以下步骤：
3、一种基于改进代价体网络的高分辨率卫星影像立体匹配方法，包括以下步骤：
4、步骤1：制作卫星立体匹配数据集：获取较大覆盖范围且多种卫星数据源下的核线影像对及其对应的视差值，并对所述核线影像对进行视差偏移、数据切片、数据筛选和数据增强处理，得到卫星立体匹配数据集，并将所述卫星立体匹配数据集划分为训练集和测试集；
5、步骤2：建立改进的代价体网络模型，所述改进的代价体网络模型包括特征提取模块、注意力代价体计算模块、代价聚合模块、视差回归模块和基于超像素分割原理的视差细化模块，所述视差细化模块使用一个具有跳跃连接的编解码网络预测超像素关联矩阵q，所述编解码网络的编码器包括一个步长为1的3×3卷积层以及四个由一个步长为1和一个步长为2的3×3卷积层组成的卷积组合，解码器包括四个由一个步长为2的4×4卷积层和一个步长为1的3×3卷积层组成的卷积组合，在解码器中与编码器相同尺寸的特征图先经过连接操作再输入至卷积层，且在每个卷积层后都使用bn层和leaky relu层，最后解码器输出的特征经由一个softmax层输出超像素关联矩阵q，超像素关联矩阵q用于指导视差回归模块中产生的低分辨率视差图上采样至原始分辨率；
6、步骤3：在改进的代价体网络模型加载初始化模型参数后，将所述训练集输入到模型中进行训练，并微调模型的超参数，当损失函数逐渐收敛且所述测试集精度曲线不存在欠拟合或过拟合时训练完成，得到训练好的模型；
7、步骤4：将待处理的核线影像对按照预设重叠率裁剪为预设像素大小的影像块，并将影像块输入至训练好的模型中进行视差分块预测，对所有影像块的视差子图进行拼接，并将重叠区域的影像块的视差值取平均值后，得到完整的视差图。
8、本专利技术提出一种基于改进代价体网络的高分辨率卫星影像立体匹配方法，与现有方法相比，本专利技术的有益效果在于：
9、(1)通过制作大范围多源卫星立体匹配数据集，并通过视差偏移增加视差范围、通过数据筛选剔除数据错误、通过数据增强增加样本差异性，训练得到的模型其泛化性和鲁棒性增强；
10、(2)在原有代价体网络acvnet的基础上新增一个基于超像素分割原理的编解码网络用作视差细化模块，显著提升了视差图中空间细节的准确性。
11、综上，本专利技术提出的一种基于改进代价体网络的高分辨率卫星影像立体匹配方法具有视差估计准确、空间细节清晰的优点，并且对多种高分辨率卫星数据具有泛化性和鲁棒性，能够显著提高后续实景三维数据生产的精度和效率。
本文档来自技高网...【技术保护点】
1.一种基于改进代价体网络的高分辨率卫星影像立体匹配方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于改进代价体网络的高分辨率卫星影像立体匹配方法，其特征在于，在步骤1中，数据增强方式包括水平翻转、随机遮挡、亮度和对比度变化。
3.根据权利要求1所述的基于改进代价体网络的高分辨率卫星影像立体匹配方法，其特征在于，在步骤1中，对所述核线影像对进行视差偏移时，将视差及其对应的核线影像向左或向右随机偏移0～100个像素大小。
4.根据权利要求1所述的基于改进代价体网络的高分辨率卫星影像立体匹配方法，其特征在于，在步骤1中，对所述核线影像对进行数据切片时，将影像裁剪成像素大小为256×1024的影像块。
5.根据权利要求1所述的基于改进代价体网络的高分辨率卫星影像立体匹配方法，其特征在于，在步骤4中，所述预设重叠率为25％，所述预设像素大小为1024×1024。
【技术特征摘要】
1.一种基于改进代价体网络的高分辨率卫星影像立体匹配方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于改进代价体网络的高分辨率卫星影像立体匹配方法，其特征在于，在步骤1中，数据增强方式包括水平翻转、随机遮挡、亮度和对比度变化。
3.根据权利要求1所述的基于改进代价体网络的高分辨率卫星影像立体匹配方法，其特征在于，在步骤1中，对所述核线影像对进行视差偏移时，将视差及其对应的核...
【专利技术属性】
技术研发人员：李冬瑞，童鑫，李文涛，钟兴，王栋，
申请(专利权)人：长光卫星技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。