卫星图像的超分辨率制造技术

用于从低分辨率图像生成经预测的高分辨率图像的系统和方法。为了生成经预测的高分辨率图像，本技术可以在一系列过程中利用机器学习模型和超分辨率模型。例如，低分辨率图像可以经过基于机器学习模型处理的传感器转换。低分辨率图像还可以与陆地结构特征和/或先前的高分辨率图像组合，以形成由超分辨率模型处理的增强输入，以生成初始经预测的高分辨率图像。经预测的初始高分辨率图像可以与其它经预测的高分辨率图像组合或堆叠，以形成经堆叠的图像。然后，该经堆叠的图像然后可以由另外的超分辨率模型处理，以生成最终预测高分辨率图像。像。像。

【技术实现步骤摘要】
【国外来华专利技术】卫星图像的超分辨率

技术介绍

[0001]具有不同分辨率的图像可以由捕获不同电磁辐射的光谱的设备生成。例如，卫星图像可以以不同的分辨率和不同的光谱生成。图像和光谱的分辨率可以基于卫星的类型而变化。此外，每颗卫星可以以不同的时间间隔捕获特定位置的图像。

技术实现思路

[0002]当前技术的方面涉及可以从低分辨率图像生成经预测的高分辨率图像的系统和方法。低分辨率图像可以比高分辨率图像更频繁地被捕获。例如，对于卫星图像，地理位置的高分辨率图像可能大约每100天捕获一次，而该地理位置的低分辨率图像可以每隔几天捕获一次。因此，当在特定日期捕获新的低分辨率图像时，本技术生成针对该特定日期的经预测的高分辨率图像。因此，实际的高分辨率图像不需要由成像设备在该特定日期捕获。
[0003]为了生成经预测的高分辨率图像，目前的技术可以在一系列处理中利用机器学习模型和超分辨率模型。例如，低分辨率图像可以经过基于由机器学习模型处理的传感器变换。低分辨率图像还可以与陆地结构特征和/或先前的高分辨率图像组合，形成由超分辨率模型处理的增强输入，以生成初始经预测的高分辨率图像。经预测的初始高分辨率图像可以与其它经预测的高分辨率图像组合或堆叠，以形成经堆叠的图像。然后，经堆叠的图像可以由另外的超分辨率模型处理，以生成最终经预测的高分辨率图像。
[0004]提供本摘要是为了以简化的形式介绍一些概念，这些概念将在下面的详细描述中进一步描述。本摘要不旨在确定所要求保护的主题的关键特征或基本特征，也不旨在用于限制所要求保护的主题的范围。示例的附加方面、特征和/或优点将部分地在随后的描述中阐述，并且部分地从描述中是明显的，或者可以通过本公开的实践学习。
附图说明
[0005]参考下列附图描述非限制性和非穷尽性的示例。
[0006]图1图示了对卫星图像执行超分辨率(SR)处理的示例系统的概述。
[0007]图2描绘了示例传感器变换(ST)过程的框图。
[0008]图3描绘了示例共同
‑
注册超分辨率(CoRSR,co
‑
registered super resolution)过程的框图。
[0009]图4A描绘了示例陆地结构提取(LSE)过程的框图。
[0010]图4B描绘了示例陆地结构特征。
[0011]图5描绘了示例位置感知SR(LASR)过程的框图。
[0012]图6A描绘了两个不同位置的示例经预测的高分辨率图像。
[0013]图6B描绘了灾难发生前后的示例图像。
[0014]图7描绘了不同训练和测试地点的示例经预测的高分辨率图像。
[0015]图8A
‑
8C描绘了用于为位置生成经预测的高分辨率图像的示例方法。
[0016]图9是图示了可用于实践本公开的方面的计算设备的示例物理组件的框图。
[0017]图10A和10B是可用于实践本公开的方面的移动计算设备的简化框图。
具体实施方式
[0018]如上所述，卫星可以以不同的时间间隔捕获各种类型的图像。目前，地球观测卫星围绕地球运行，并且经由各种成像技术，包括光学和雷达，不断收集地球的图像。卫星图像有很多应用，诸如在农业、环境监测、制图等方面。诸如美国国家航空航天局(NASA)和欧洲航天局(ESA)等组织向公众提供卫星数据的访问。使用光学或多光谱卫星数据对地球进行卫星测绘的一个挑战是，地球表面的大部分视图经常被云层遮挡从而导致图像遮挡。此外，即使没有完全遮挡，薄云、雾霾和云阴影也可能产生像素噪声并破坏图像。因此，对于给定的地理区域，在一段时间内可以获得的地理区域的无云光学或多光谱卫星图像相对较少，这限制了此类卫星图像的潜在用途。
[0019]卫星图像的使用还取决于卫星获取的图像的分辨率。例如，高分辨率图像通常比低分辨率图像更有用。然而，高分辨率图像的捕获频率低于低分辨率图像。因此，当特定位置的高分辨率图像被遮挡时，诸如被云遮挡，在捕获该位置的另一个高分辨率图像之前，可能要经过相当长的时间。由于从卫星捕获高分辨率图像的技术要求增加，获得高分辨率图像的成本也更高。另一方面，低分辨率图像成本更低，被捕获的频率更高，这增加了捕获未遮挡的低分辨率图像的可能性。但是，低分辨率图像通常用处不大。此外，雷达数据或雷达图像也可能被卫星捕获。与光学图像数据和多光谱图像数据不同，雷达数据可以穿透云层，并且可以在夜间获得。然而，雷达数据可能比光学图像数据或多光谱数据更难以可视化和解释。
[0020]为了帮助缓解上述问题，除其它外，本技术提供了在捕获低分辨率图像的日期，使用特定位置的低分辨率图像为该特定位置生成经预测的高分辨率图像。在其它示例中，可以在没有低分辨率图像的日期生成高分辨率图像，诸如通过使用合成孔径雷达数据或从其它可用数据进行插值。因此，可以利用更频繁捕获的低分辨率图像来生成更有用的高分辨率图像，而不需要来自卫星的当前或实时高分辨率图像。目前的技术能够融合和处理低分辨率图像以产生高分辨率图像，即使涉及不同的图像光谱并且在不同的日期捕获图像。例如，本文讨论的示例可以利用卫星图像(光学和/或多光谱)以及雷达数据(例如，合成孔径雷达(SAR)数据)来生成高分辨率图像。最终，该技术能够产生高分辨率图像的高度准确预测，由于图像分辨率的提高，该高分辨率图像可用于比低分辨率图像更多的应用中。
[0021]图1图示了对卫星图像执行超分辨率(SR)处理的示例系统100的概述。系统100包括多个图像采集设备102。图像采集设备102可以包括多个卫星，诸如卫星A 104、卫星B 106和卫星C 108。图像采集设备102还可以包括其它类型的成像设备，诸如一个或多个空中设备110。空中设备110可以包括飞机、无人机、无人驾驶飞行器(UAV)或能够捕获图像的类似空中设备。每个图像采集设备102都可以在不同的光谱和/或不同的时间间隔或频率下捕获图像。例如，图像采集设备102可以具有捕获不同光谱或电磁辐射波段的不同传感器。
[0022]作为示例，卫星A 104可以是哨兵1号卫星系统，卫星B 106可以是哨兵2号卫星系统，卫星C 106可以是空中客车Pl
é
iades卫星系统。下面的表1示出了这类示例卫星系统的各种特征：
[0023]表1
[0024]系统传感器空间分辨率频率/间隔哨兵1号雷达(SAR)5m
×
20m1
‑
12天哨兵2号多
‑
光谱10m
×
10m2
‑
5天空中客车多
‑
光谱2m
×
2m>100天
[0025]表1表明，哨兵1号系统生成分辨率相对较低、但频率可能很高的雷达数据或图像。哨兵2号系统也以相对较低的分辨率、但相对较高的频率生成多光谱数据或图像。多光谱数据可以包括许多不同的光谱，包括更传统的红
‑
绿
‑
蓝(RGB)以及其它光学波段，诸如红外本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于生成图像的计算机实现方法，所述方法包括：访问在第一日期捕获的特定位置的低分辨率图像，其中所述低分辨率图像具有基于被用于捕获所述低分辨率图像的第一传感器的第一传感器特性；将所述低分辨率图像提供给经训练的机器学习模型，其中所述经训练的机器学习模型基于经下采样的先前的高分辨率图像被训练，其中所述先前的高分辨率图像在所述第一日期之前被捕获，并且所述先前的高分辨率图像具有基于被用于捕获所述先前的高分辨率图像的第二传感器的第二传感器特性；以及由所述经训练的机器学习模型处理所述低分辨率图像，以生成经变换的低分辨率图像，其中所述经变换的低分辨率图像具有所述第二传感器特性。2.根据权利要求1所述的方法，其中所述低分辨率图像是来自第一卫星系统的图像，所述高分辨率图像是来自第二卫星系统的图像，并且所述特定位置是地理位置。3.根据权利要求1所述的方法，还包括：通过将所述经变换的低分辨率图像与以下至少一项组合生成用于第一超分辨率模型的增强输入：在第二日期被捕获的针对特定位置的目标高分辨率图像，所述第二日期在所述第一日期之前；针对所述特定位置的陆地结构特征；或外部陆地数据；将所述增强输入提供给所述第一超分辨率模型；以及由所述第一超分辨率模型处理所述增强输入，以生成在所述第一日期的针对所述特定位置的第一预测高分辨率图像。4.根据权利要求3所述的方法，其中所述超分辨率模型是以下中的一项：超分辨率卷积神经网络(SRCNN)模型、残差密集块(RRDB)模型、超分辨率生成对抗网络(SRGAN)模型和增强型SRGAN(ESRGAN)模型。5.根据权利要求3所述的方法，其中所述经变换的低分辨率图像与所述陆地结构特征组合，并且所述方法还包括：通过对针对所述特定位置的至少一个先前的高分辨率图像执行低秩分解来生成所述陆地结构特征。6.根据权利要求5所述的方法，其中执行所述低秩分解产生所述特定位置的多个奇异向量图像，所述多个奇异向量图像对应于所述低秩分解的不同特征向量，其中所述奇异向量图像中的至少一个奇异向量图像奇异向量图像被用作所述陆地结构特征。7.根据权利要求3所述的方法，其中所述低分辨率图像是低分辨率差值图像，其中所述低分辨率差值图像表示在所述第一日期捕获的第一低分辨率图像与在所述第二日期上捕获的第二低分辨率图像之间的差异。8.根据权利要求3所述的方法，还包括：通过将所述第一预测高分辨率图像与在所述第一日期的针对所述特定位置的第二预测高分辨率图像组合生成经堆叠的图像；以及由第二超分辨率模型处理所述经堆叠的图像，以生成在所述第一日期的针对所述特定位置的第三预测高分辨率图像。9.根据权利要求8所述的方法，其...

【专利技术属性】
技术研发人员：P，
申请(专利权)人：微软技术许可有限责任公司，
类型：发明
国别省市：