高分卫星遥感数据的分布式处理方法/系统和介质技术方案

本发明专利技术提供一种高分卫星遥感数据的分布式处理方法/系统和介质，分布式处理方法包括：检索高分卫星遥感数据的索引，将索引转换成为对应的第一分布式数据集，分发到各个计算节点；若为0级卫星产品时，生成0级产品对应的图像；若为1级卫星产品，解析高分卫星遥感数据，并转换为带有序号的第二分布式数据集，将第二分布式数据集的序号加1，以形成第三分布式数据集；合并第二分布式数据集和第三分布式数据集，对合并后的分布式数据集重新分片及再次分发；对分发下去的分布式数据集进行计算图像映射矩阵的操作，以生成1级卫星产品对应的图像。本发明专利技术极大提高数据处理和产品生产的速度，减少硬盘数据读写的时间，本发明专利技术能够做到迅速完成计算处理。

Distributed Processing Method/System and Media for High-resolution Satellite Remote Sensing Data

The invention provides a distributed processing method/system and medium for high-resolution satellite remote sensing data. The distributed processing method includes: retrieving the index of high-resolution satellite remote sensing data, converting the index into the corresponding first distributed data set, and distributing it to each computing node; generating the corresponding image of zero-level satellite product when it is 0-level satellite product; parsing high-level satellite product if it is 1-level satellite product. The satellite remote sensing data is converted into the second distributed data set with serial number, and the sequence number of the second distributed data set is added to 1 to form the third distributed data set; the second distributed data set and the third distributed data set are merged to re-fragment and re-distribute the merged distributed data set; and the distributed data set is computed to calculate the image mapping matrix. In order to generate the corresponding image of the level 1 satellite product. The invention greatly improves the speed of data processing and product production, reduces the time of reading and writing hard disk data, and achieves fast calculation and processing.

【技术实现步骤摘要】
高分卫星遥感数据的分布式处理方法/系统和介质
本专利技术属于卫星通信
，涉及一种处理方法和系统，特别是涉及一种高分卫星遥感数据的分布式处理方法/系统及介质。
技术介绍
近些年来卫星技术的提高，卫星数据的数据量不断提高，达到TB级甚至PB级，而客户对卫星产品的查询和使用在准确易用、迅速响应等方面提出了更高的要求。这代表着传统的、小规模的、自动化程度不高的、串行的卫星数据处理方法难以满足客户数据量大、处理复杂、及时的卫星遥感图像和产品需求。现有的高分卫星遥感产品生产方法中，大部分都是进行小规模生产或者大量长时间生产，只能满足历史数据和产品的下载，无法达到及时对下传数据进行处理。因此，如何提供一种高分卫星遥感数据的分布式处理方法/系统和介质，以解决现有高分卫星遥感产品生产方法大部分都是进行小规模生产或者大量长时间生产，只满足历史数据和产品的下载，导致无法达到及时对下传数据进行处理等缺陷，实已成为本领域技术人员亟待解决技术问题。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种高分卫星遥感数据的分布式处理方法/系统和介质，用于解决现有高分卫星遥感产品生产方法大部分都是进行小规模生产或者大量长时间生产，只满足历史数据和产品的下载，导致无法达到及时对下传数据进行处理的问题。为实现上述目的及其他相关目的，本专利技术一方面提供一种高分卫星遥感数据的分布式处理方法，在执行所述处理方法之前，客户端获取用户所选择的高分卫星遥感数据的需求和图像产品的产品参数，并创建分布式数据处理任务，以提交至卫星数据处理和产品生产平台处理高分卫星遥感数据；所述卫星数据处理和产品生产平台包括后台及与所述后台通信连接的包含多个计算节点的分布式计算平台；所述高分卫星遥感数据的分布式处理方法包括：根据用户对高分卫星遥感数据的需求，检索符合需求的高分卫星遥感数据的索引，将检索到的高分卫星遥感数据的索引转换成为对应的第一分布式数据集，并分发到各个计算节点；若对图像产品的产品类型需求为0级卫星产品时，则根据所述第一分布式数据集在数据库中查找与图像产品的产品类型需求对应的高分卫星遥感数据，将查找到的高分卫星遥感数据直接生成0级产品对应的图像；若对图像产品的产品类型需求为1级卫星产品，则根据所述第一分布式数据集在各个计算节点的数据库中并行查找与图像产品的产品类型需求对应的高分卫星遥感数据；解析查找到的高分卫星遥感数据，将该高分卫星遥感数据转换为带有序号的第二分布式数据集，将第二分布式数据集的序号加1，以形成第三分布式数据集；根据序号将所述第二分布式数据集和第三分布式数据集进行合并，对合并后的分布式数据集重新分片及再次分发至各个计算节点；对再次分发下去的分布式数据集进行计算图像映射矩阵和特征点，根据映射矩阵对第二分布式数据集中对应的图像进行空间坐标转换后，按顺序拼接处理后的数据集图像，以生成1级卫星产品对应的图像。于本专利技术的一实施例中，所述高分卫星遥感数据的需求包括用户感兴趣的地理区域、拍摄时间、高分卫星代号和/或卫星产品级别。于本专利技术的一实施例中，所述符合需求的高分卫星遥感数据为根据检索条件存储于预设数据库中的字节数据；所述将将检索到的高分卫星遥感数据的索引转换成为对应的第一分布式数据集的步骤包括：将根据检索条件查询出数据库中的高分卫星遥感数据的索引转换为数据类型为字节类型的第一分布式数据集。于本专利技术的一实施例中，若对图像产品的产品类型需求为0级卫星产品时，则根据所述第一分布式数据集在数据库中查找与图像产品的产品类型需求对应的高分卫星遥感数据，将查找到的高分卫星遥感数据直接生成0级产品对应的图像的步骤包括从预设数据库中查询满足检索条件的一条卫星数据，解析这条卫星数据，得到一帧与0级卫星产品对应的图像矩阵，生成0级产品对应的图像；其中，所述0级产品对应的图像为单帧高分图像；若对图像产品的产品类型需求为1级卫星产品，则根据所述第一分布式数据集在各个计算节点的数据库中并行查找与图像产品的产品类型需求对应的高分卫星遥感数据；解析查找到的高分卫星遥感数据的步骤包括：读取该高分卫星遥感数据，根据不同谱段对该高分卫星遥感数据进行切割，以获取包含多个谱段的高分卫星遥感数据；该高分卫星遥感数据的类型为Mat类型数组。于本专利技术的一实施例中，将该高分卫星遥感数据转换为带有序号的第二分布式数据集，将第二分布式数据集的序号加1，以形成第三分布式数据集的步骤为：将解析后的高分卫星遥感数据通过一对一转换为带有数据序号的第二分布式数据集，并将数据序号加1后形成第三分布式数据集。于本专利技术的一实施例中，所述根据序号将所述第二分布式数据集和第三分布式数据集进行合并，对合并后的分布式数据集重新分片及再次分发至各个计算节点步骤包括：通过重写数据集本身的Map操作将合并后的分布式数据集进行变换操作，以获取相邻帧的特征点集合和两两空间映射的映射矩阵集合，同时判断重写的Map操作是否有报错，若有，则认为两帧图像没有重叠区域，中断数据处理并将图像结果分为两部分并标记；若无报错时，对相邻帧的特征点集合和映射矩阵集合进行分片合并，形成特征点数组集合和映射矩阵数组集合，将形成的特征点数组集合和映射矩阵数组集合再次分发至各个计算节点。于本专利技术的一实施例中，所述对再次分发下去的分布式数据集进行计算相邻帧映射矩阵和特征点，根据映射矩阵对第二分布式数据集中对应的图像进行空间坐标转换后，按顺序拼接处理后的数据集图像以生成1级卫星产品对应的图像的步骤包括：按顺序将所述映射矩阵数组集合中第n个映射矩阵数组中各个矩阵转换为前n个对应映射矩阵的乘积，重新将所述映射矩阵数组集合进行分片，生成映射矩阵分布式数据集，在所述映射矩阵分布式数据集的序号1位置处插入一个单位矩阵，形成新的映射矩阵分布式数据集，根据序号将新的映射矩阵分布式数据集与所述第二分布式数据集进行配对，配对后的分布式数据集中每一帧的多个谱段图像都对应着每一个变形到第一帧多个谱段图像坐标系下的映射矩阵数据集中的矩阵；对所述第二分布式数据集中每一帧的每个谱段图像根据对应的映射矩阵进行变形，得到在同一坐标系下的高分卫星图像数据分布式数据集，将高分卫星图像数据分布式数据集中各个分片合并，以返回完整数据集合；在得到同一坐标系下的高分卫星图像数据的数据集合后，按顺序从特征点数组集合中选择每一帧的最佳匹配特征点，在每一帧处理后的高分图像上根据特征点位置进行拼接，拼接完所有的高分卫星图像数据后，获取多个光谱谱段下的高分卫星1级图像矩阵。于本专利技术的一实施例中，所述高分卫星遥感数据的分布式处理方法还包括：将包含多个谱段的图像矩阵根据顺序写入卫星图像实例，以生成1级卫星产品对应的图像。本专利技术另一方面提供一种高分卫星遥感数据的分布式系统，在运行所述处理系统之前，客户端获取用户所选择的高分卫星遥感数据的需求和图像产品的产品参数，并创建分布式数据处理任务，以提交至卫星数据处理和产品生产平台处理高分卫星遥感数据；所述卫星数据处理和产品生产平台包括后台及与所述后台通信连接的包含多个计算节点的分布式计算平台；所述高分卫星遥感数据的处理系统包括：检索模块，用于根据用户对高分卫星遥感数据的需求，检索符合需求的高分卫星遥感数据的索引；转换模块，用于将检索到的高分卫星遥感数据的索引转换成本文档来自技高网...

【技术保护点】
1.一种高分卫星遥感数据的分布式处理方法，其特征在于，在执行所述处理方法之前，客户端获取用户所选择的高分卫星遥感数据的需求和图像产品的产品参数，并创建分布式数据处理任务，以提交至卫星数据处理和产品生产平台处理高分卫星遥感数据；所述卫星数据处理和产品生产平台包括后台及与所述后台通信连接的包含多个计算节点的分布式计算平台；所述高分卫星遥感数据的分布式处理方法包括：根据用户对高分卫星遥感数据的需求，检索符合需求的高分卫星遥感数据的索引，将检索到的高分卫星遥感数据的索引转换成为对应的第一分布式数据集，并分发到各个计算节点；若对图像产品的产品类型需求为0级卫星产品时，则根据所述第一分布式数据集在数据库中查找与图像产品的产品类型需求对应的高分卫星遥感数据，将查找到的高分卫星遥感数据直接生成0级产品对应的图像；若对图像产品的产品类型需求为1级卫星产品，则根据所述第一分布式数据集在各个计算节点的数据库中并行查找与图像产品的产品类型需求对应的高分卫星遥感数据；解析查找到的高分卫星遥感数据，将该高分卫星遥感数据转换为带有序号的第二分布式数据集，将第二分布式数据集的序号加1，以形成第三分布式数据集；根据序号将所述第二分布式数据集和第三分布式数据集进行合并，对合并后的分布式数据集重新分片及再次分发至各个计算节点；对再次分发下去的分布式数据集进行计算图像映射矩阵和特征点，根据映射矩阵对第二分布式数据集中对应的图像进行空间坐标转换后，按顺序拼接处理后的数据集图像以生成1级卫星产品对应的图像。...

【技术特征摘要】
2018.09.29 CN 20181114718681.一种高分卫星遥感数据的分布式处理方法，其特征在于，在执行所述处理方法之前，客户端获取用户所选择的高分卫星遥感数据的需求和图像产品的产品参数，并创建分布式数据处理任务，以提交至卫星数据处理和产品生产平台处理高分卫星遥感数据；所述卫星数据处理和产品生产平台包括后台及与所述后台通信连接的包含多个计算节点的分布式计算平台；所述高分卫星遥感数据的分布式处理方法包括：根据用户对高分卫星遥感数据的需求，检索符合需求的高分卫星遥感数据的索引，将检索到的高分卫星遥感数据的索引转换成为对应的第一分布式数据集，并分发到各个计算节点；若对图像产品的产品类型需求为0级卫星产品时，则根据所述第一分布式数据集在数据库中查找与图像产品的产品类型需求对应的高分卫星遥感数据，将查找到的高分卫星遥感数据直接生成0级产品对应的图像；若对图像产品的产品类型需求为1级卫星产品，则根据所述第一分布式数据集在各个计算节点的数据库中并行查找与图像产品的产品类型需求对应的高分卫星遥感数据；解析查找到的高分卫星遥感数据，将该高分卫星遥感数据转换为带有序号的第二分布式数据集，将第二分布式数据集的序号加1，以形成第三分布式数据集；根据序号将所述第二分布式数据集和第三分布式数据集进行合并，对合并后的分布式数据集重新分片及再次分发至各个计算节点；对再次分发下去的分布式数据集进行计算图像映射矩阵和特征点，根据映射矩阵对第二分布式数据集中对应的图像进行空间坐标转换后，按顺序拼接处理后的数据集图像以生成1级卫星产品对应的图像。2.根据权利要求1所述的高分卫星遥感数据的分布式处理方法，其特征在于，所述高分卫星遥感数据的需求包括用户感兴趣的地理区域、拍摄时间、高分卫星代号和/或卫星产品级别。3.根据权利要求2所述的高分卫星遥感数据的分布式处理方法，其特征在于，所述符合需求的高分卫星遥感数据为根据检索条件存储于预设数据库中的字节数据；所述将将检索到的高分卫星遥感数据的索引转换成为对应的第一分布式数据集的步骤包括：将根据检索条件查询出数据库中的高分卫星遥感数据的索引转换为数据类型为字节类型的第一分布式数据集。4.根据权利要求3所述的高分卫星遥感数据的分布式处理方法，其特征在于，若对图像产品的产品类型需求为0级卫星产品时，则根据所述第一分布式数据集在数据库中查找与图像产品的产品类型需求对应的高分卫星遥感数据，将查找到的高分卫星遥感数据直接生成0级产品对应的图像的步骤包括从预设数据库中查询满足检索条件的一条卫星数据，解析这条卫星数据，得到一帧与0级卫星产品对应的图像矩阵，生成0级产品对应的图像；其中，所述0级产品对应的图像为单帧高分图像；若对图像产品的产品类型需求为1级卫星产品，则根据所述第一分布式数据集在各个计算节点的数据库中并行查找与图像产品的产品类型需求对应的高分卫星遥感数据；解析查找到的高分卫星遥感数据的步骤包括：读取该高分卫星遥感数据，根据不同谱段对该高分卫星遥感数据进行切割，以获取包含多个谱段的高分卫星遥感数据；该高分卫星遥感数据的类型为Mat类型数组。5.根据权利要求1所述的高分卫星遥感数据的分布式处理方法，其特征在于，将该高分卫星遥感数据转换为带有序号的第二分布式数据集，将第二分布式数据集的序号加1，以形成第三分布式数据集的步骤为：将解析后的高分卫星遥感数据通过一对一转换为带有数据序号的第二分布式数据集，并将数据序号加1后形成第三分布式数据集。6.根据权利要求1所述的高分卫星遥感数据的分布式处理方法，其特征在于，所述根据序号将所述第二分布式数据集和第三分布式数据集进行合并，对合并后的分布式数据集重新分片及再次分发至各个计算节点步骤包括：通过重写数据集本身的Map操作将合并后的...

【专利技术属性】
技术研发人员：王茂华，袁帅，
申请(专利权)人：中国科学院上海高等研究院，
类型：发明
国别省市：上海,31