一种哨兵影像数据的批量快速获取方法技术

本发明专利技术公开了一种哨兵影像数据的批量快速获取方法，包括步骤S100：将所需影像的时间、所需影像的范围、所需影像的数据类型、所需影像的云量作为输入条件通过哨兵网站提供的官方接口sentinel API，通过编程获取影像数据的元数据；步骤S200：将元数据生成geojson文件G1同时创建文本文件T1，开始对相关影像数据进行下载；步骤S300：使用Aria2开源下载工具帮助简化下载过程；使用用户池、进程池对下载过程进行管理；步骤S400：读取geojson文件G1的文件名信息，并将geojson文件G1的文件名信息与本地文件的文件名信息进行比对；并将比对的结果记录在文本文件T1中；步骤S500：对文本文件T1进行顺序读取判断文件下载情况；步骤S600：基于上述得到的判断结果对影像数据下载进行管理。上述得到的判断结果对影像数据下载进行管理。上述得到的判断结果对影像数据下载进行管理。

【技术实现步骤摘要】
一种哨兵影像数据的批量快速获取方法


[0001]本专利技术涉及通信
，具体为一种哨兵影像数据的批量快速获取方法。

技术介绍

[0002]在哨兵影像的官方网站上进行文件下载时可以通过注册账户再通过在该网站上直接查询下载数据进行下载也可以通过在官方的API接口SentinelAPI上进行编程调用实现文件的批量下载；但是以上方法通常有以下方面的不足之处：第一，哨兵影像的官方网站只允许单个用户同时最多下载两个链接，即文件，有并发数量上的限制；第二，官方的API最多可以实现2000个链接的下载，但是单个用户也只能同时下载两个文件；第三，官方网站及API没有提供下载加速的功能；第四，官方网站没有提供按照行政区划下载数据的功能；第五，官方的离线数据无法直接下载，而且每个用户每天最多只可以下载激活20个离线数据。

技术实现思路

[0003]本专利技术的目的在于提供一种哨兵影像数据的批量快速获取方法，以解决上述
技术介绍
中提出的问题。
[0004]为了解决上述技术问题，本专利技术提供如下技术方案：一种哨兵影像数据的批量快速获取方法，方法包括：
[0005]步骤S100：将所需影像的时间、所需影像的范围、所需影像的数据类型、所需影像的云量作为输入条件通过哨兵网站提供的官方接口sentinel API，通过编程获取影像数据的元数据；
[0006]步骤S200：将元数据生成geojson文件G1同时创建文本文件T1，开始对相关影像数据进行下载；
[0007]步骤S300：使用Aria2开源下载工具帮助简化下载过程；使用用户池、进程池对下载过程进行管理；
[0008]步骤S400：读取geojson文件G1的文件名信息，并将geojson文件G1的文件名信息与本地文件的文件名信息进行比对；并将比对的结果记录在文本文件T1中；
[0009]步骤S500：对文本文件T1进行顺序读取判断文件下载情况；
[0010]步骤S600：基于步骤S500中得到的判断结果对影像数据下载进行管理；
[0011]本方法通过自建文本文件T1记录表，自己管理该记录表，调用第三方开源加速下载工具的办法，解决了官方网站的数据批量下载的问题，实现了在下载数量上可以不受限制；官方网站只允许单个用户登录，同时对单个用户的并发下载数量进行了限制，本方法通过建立用户池及进程池的方法，解决了官方网站的并发下载数量的限制问题。
[0012]进一步的，步骤S100中的编程包括：
[0013]步骤S101：对所需影像的时间进行定义，即将其进行格式转换为设置的时间格式；
[0014]步骤S102：将所需影像的范围进行定义，即将其转换为对应的坐标串，坐标串形成一个封闭的多边形；
[0015]步骤S103：根据官方网站内部定义的各卫星产品类型对应的字母编码，定义所需影像的数据类型；
[0016]步骤S104：输入所需影像的云量，并将其进行格式转换为设置的云量格式；
[0017]官方网站没有按照行政区划范围下载的功能，本方法通过将行政区划的矢量文件，转为坐标串文件，输入官方的API中，解决了按照行政区划范围下载的问题。
[0018]进一步的，步骤S102包括：
[0019]步骤S111：利用ArcGIS或其他GIS软件的转换工具Features To JSON，将行政区划的面文件转化为json文件，然后用文本编辑器打开json文件；
[0020]步骤S112：将json文件里面对应的坐标串部分改为指定的格式。
[0021]进一步的，将文本文件T1作为Aria2的输入部分，且Aria2与用户池、进程池紧密关联，通过用户池、进程池对Aria2中的下载进行管理。
[0022]进一步的，步骤S400中的对比是指对文件的后缀名进行比对；当本地有后缀名为.zip的文件，但没有后缀名为.aria2的文件时，跳过；当本地有后缀名为.zip的文件，同时有后缀名为.aria2的文件时，在文本文件T1中进行信息记录。
[0023]进一步的，步骤S500包括：
[0024]步骤S501：当文本文件T1的文件记录数为0时，表示没有满足条件的卫星影像数据，或者满足条件的卫星影像数据已经全部下载完成了，则下载程序结束；
[0025]步骤S502：当文本文件T1的文件记录数不为0时，通过官方的API查询该条记录的存储状态，如果文件显示是在线状态，则直接进行下载；如果文件显示是离线状态，则通过API激活在线状态；
[0026]步骤S503：定时器激发，同时写入一个离线数据激活的记录表，记录该文件的文件名、下载地址、激活的时间；定时器每隔时间阈值后检查一次离线数据的激活时间和现在的时间的差值，如果差值大于设定时间差阈值，则开始下载该数据；当该数据下载成功从离线数据激活的记录表移除该文件的相应记录；
[0027]官方网站的数据分为离线数据和在线数据，在线数据无法下载，离线数据需要激活后才能下载，如果人手工操作，需要将离线数据加入购物车，然后点击激活，在等待4个小时左右的时间后，才能下载，如果一定时间内没有下载数据会再变为离线状态，很麻烦，本方法通过定时器的时间管理和进程池的记录管理，实现离线数据的自动激活，自动等待，自动下载功能，同时，官方对单个用户同时激活的离线数据也有数量上的限制；这块也由用户池和进程池来同时管理，解决离线数据的数量限制问题。
[0028]进一步的，文件的离线状态和在线状态是指官方的服务器上的影像文件的状态；当该文件状态为在线时，表示该文件存储在网速满足正常阈值的网络环境和存储服务器上，可以正常下载，当该文件的状态为离线时，表示该文件存储在网速低于正常阈值的网络和存储服务器上，不能够下载。
[0029]进一步的，文件的离线状态和在线状态是用程序判断得到的，其中，#product_odata['Online']＝true就是在线状态，product_odata['Online']＝false就是离线状态；
[0030]本方法通过python脚本语言实现，全自动执行，可扩展性强，适用于快速大量的下载指定区域指定时间的哨兵卫星影像数据，特别适用于大区域、时间跨度大、数量下载量大的情景，特别是需要连续不间断的下载的情景。
[0031]进一步的，步骤S600是指，当该文件的状态显示为离线时，发送一个下载请求，官方的服务器会将该文件从网速低于正常阈值的网络和存储服务器中临时复制到网速满足正常阈值的网络环境和存储服务器，同时将该文件的状态变为在线，复制结束后官方的服务器会将该文件从网速满足正常阈值的网络环境和存储服务器中删除，并将该文件的状态变为离线。
[0032]进一步的，用户池和进程池是根据网站的带宽和硬件资源对用户池的数量进行配置。
[0033]与现有技术相比，本专利技术所达到的有益效果是：本专利技术通过建立用户池及进程池的方法，解决了官方网站的并发下载数量的限制问题；通过引入开源下载工具，实现了加速下载功能；本方法通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种哨兵影像数据的批量快速获取方法，其特征在于，所述方法包括：步骤S100：将所需影像的时间、所需影像的范围、所需影像的数据类型、所需影像的云量作为输入条件通过哨兵网站提供的官方接口sentinel API，通过编程获取影像数据的元数据；步骤S200：将所述元数据生成geojson文件G1同时创建文本文件T1，开始对所述相关影像数据进行下载；步骤S300：使用Aria2开源下载工具帮助简化下载过程；使用用户池、进程池对所述下载过程进行管理；步骤S400：读取所述geojson文件G1的文件名信息，并将所述geojson文件G1的文件名信息与本地文件的文件名信息进行比对；并将所述比对的结果记录在所述文本文件T1中；步骤S500：对所述文本文件T1进行顺序读取判断文件下载情况；步骤S600：基于所述步骤S500中得到的判断结果对影像数据下载进行管理。2.根据权利要求1所述的一种哨兵影像数据的批量快速获取方法，其特征在于：所述步骤S100中的编程包括：步骤S101：对所述所需影像的时间进行定义，即将其进行格式转换为设置的时间格式；步骤S102：将所述所需影像的范围进行定义，即将其转换为对应的坐标串，所述坐标串形成一个封闭的多边形；步骤S103：根据官方网站内部定义的各卫星产品类型对应的字母编码，定义所述所需影像的数据类型；步骤S104：输入所述所需影像的云量，并将其进行格式转换为设置的云量格式。3.根据权利要求1所述的一种哨兵影像数据的批量快速获取方法，其特征在于：所述步骤S102包括：步骤S111：利用ArcGIS或其他GIS软件的转换工具Features To JSON，将行政区划的面文件转化为json文件，然后用文本编辑器打开json文件；步骤S112：将所述json文件里面对应的坐标串部分改为指定的格式。4.根据权利要求1所述的一种哨兵影像数据的批量快速获取方法，其特征在于：将所述文本文件T1作为所述Aria2的输入部分，且所述Aria2与用户池、进程池紧密关联，通过所述用户池、进程池对所述Aria2中的下载进行管理。5.根据权利要求1所述的一种哨兵影像数据的批量快速获取方法，其特征在于：所述步骤S400中的对比是指对文件的后缀名进行比对；当本地有后缀名为.zip的文件，但没有后缀名为.aria2的文件时，跳...

【专利技术属性】
技术研发人员：张业红，顾行发，黄祥志，许王疆，朱玉婷，
申请(专利权)人：江苏天汇空间信息研究院有限公司，
类型：发明
国别省市：