高光谱卫星遥感数据的分布式处理方法、系统及介质技术方案

本发明专利技术提供一种高光谱卫星遥感数据的处理方法、系统及计算机存储介质，处理方法包括：检索高光谱卫星遥感数据的索引，将索引转换成为分布式数据集，分发分布式数据集及广播卫星定标数据；若需求为0级卫星产品时，形成第一像素值集合，将第一像素值集合拼接为0级卫星产品对应的图像；若需求为1级卫星产品时，形成第二像素值集合，将第二像素值集合拼接为1级卫星产品对应的图像；若需求为2级卫星产品时，接收指定区域数据，训练机器学习模型，对再接收的感兴趣区域数据进行定标和去噪处理，用机器学习模型进行预测，形成预测结果的数据集合，以生成2级卫星产品对应的图像。本发明专利技术提高了数据处理和产品生产的速度；减少了硬盘数据读写的时间。

Distributed Processing Method, System and Media for Hyperspectral Satellite Remote Sensing Data

The present invention provides a processing method, system and computer storage medium for hyperspectral satellite remote sensing data. The processing method includes: retrieving index of hyperspectral satellite remote sensing data, converting index into distributed data set, distributing distributed data set and broadcast satellite calibration data, forming first pixel value set and collecting first pixel value set when required for grade 0 satellite products. Mosaic the image corresponding to grade 0 satellite products; if the demand is for Grade 1 satellite products, form a set of second pixel values, splice the set of second pixel values into the corresponding image of grade 1 satellite products; if the demand is for grade 2 satellite products, receive the designated area data, train the machine learning model, calibrate and denoise the re-received region of interest data, and use the machine learning model. Prediction is carried out to form a data set of prediction results to generate the corresponding images of level 2 satellite products. The invention improves the speed of data processing and product production, and reduces the reading and writing time of hard disk data.

【技术实现步骤摘要】
高光谱卫星遥感数据的分布式处理方法、系统及介质
本专利技术属于卫星遥感、卫星数据存储和大数据计算处理
，涉及一种处理方法和系统，特别是涉及一种高光谱卫星遥感数据的处理方法、系统及计算机存储介质。
技术介绍
近些年来卫星技术的提高，卫星数据的数据量不断提高，达到TB级甚至PB级，而客户对卫星产品的查询和使用在准确易用、迅速响应等方面提出了更高的要求。这代表着传统的、小规模的、自动化程度不高的、串行的卫星数据处理方法难以满足客户数据量大、处理复杂、及时的卫星遥感图像和产品需求。现有的高光谱卫星遥感产品生产方法中，大部分都是进行小规模生产或者大量长时间生产，只能满足历史数据和产品的下载，无法达到实时进行处理。因此，如何提供一种高光谱卫星遥感数据的处理方法、系统及计算机存储介质，以解决现有技术无法实时生产高光谱卫星图像和产品等缺陷，实已成为本领域技术人员亟待解决的技术问题。
技术实现思路
鉴于以上所述现有技术的缺点，本专利技术的目的在于提供一种高光谱卫星遥感数据的处理方法、系统及计算机存储介质，用于解决现有技术无法实时生产高光谱卫星图像和产品的问题。为实现上述目的及其他相关目的，本专利技术一方面提供一种高光谱卫星遥感数据的处理方法，在执行所述处理方法之前，客户端获取用户所选择的高光谱卫星遥感数据的需求和图像产品的产品参数，并创建分布式数据处理任务，以提交至卫星数据处理和产品生产平台处理高光谱卫星遥感数据；所述卫星数据处理和产品生产平台包括后台及与所述后台通信连接的包含多个计算节点的分布式计算平台；所述处理方法包括：S1，根据用户对高光谱卫星遥感数据的需求，检索符合需求的高光谱卫星遥感数据的索引，将检索到的高光谱卫星遥感数据的索引转换成为对应的分布式数据集，并将分布式数据集及卫星产品生产过程中所产生的卫星定标数据分发到各个计算节点；S2，若对图像产品的产品类型需求为0级卫星产品时，根据所述分布式数据集在数据库中并行查找与0级卫星产品对应的高光谱卫星遥感数据，在各个节点上解析对应的高光谱卫星遥感数据，以获取卫星图像的像素值，合并所获取的卫星图像的像素值，形成第一像素值集合，按照数据时间顺序将所述第一像素值集合中的像素值拼接为0级卫星产品对应的图像；S2'，若对图像产品的产品类型需求为1级卫星产品时，根据所述分布式数据集在数据库中并行查找与1级卫星产品对应的0级高光谱卫星遥感数据，在各个节点上解析对应的高光谱卫星遥感数据，以获取卫星图像的像素值，对所获取的卫星图像的像素值和卫星定标数据进行定标、去噪、合并处理，形成第二像素值集合，按照数据时间顺序将所述第二像素值集合中的像素值拼接为1级卫星产品对应的图像；S2”，若对图像产品的产品类型需求为2级卫星产品时，接收用户从所述1级卫星产品对应的图像中选取的指定区域数据，对所述指定区域数据进行定标和去噪处理，将定标和去噪处理后的指定区域数据作为训练样本，训练机器学习模型；再接收用户从所述1级卫星产品对应的图像中选取的感兴趣区域数据，对所述感兴趣区域数据进行定标和去噪处理，利用所述机器学习模型对定标和去噪处理后的感兴趣区域中像素值进行预测，用预测结果所对应的颜色替换感兴趣区域中的原像素值，将替换后的像素值作为预测结果，对所述预测结果进行合并，以形成预测结果的数据集合；以上所有数据计算过程都在分布式计算集群中完成；根据预测结果的数据集合，生成2级卫星产品对应的图像。于本专利技术的一实施例中，所述高光谱卫星遥感数据的需求包括用户感兴趣的地理区域、拍摄时间、高光谱卫星代号和/或卫星产品级别。于本专利技术的一实施例中，所述0级卫星产品为一行多个光谱组成的图像数据；所述1级卫星产品为多行图像数据按顺序拼接处理后得到的多个光谱图像；所述1级卫星产品为多行图像数据按顺序拼接处理后得到的多个光谱图像。于本专利技术的一实施例中，所述S2中解析对应的高光谱卫星遥感数据，以获取卫星图像的像素值的步骤为：将高光谱卫星遥感数据中的两个字节转换成一个像素值，形成第一像素值集合。于本专利技术的一实施例中，所述S2'中解析对应的高光谱卫星遥感数据，以获取卫星图像的像素值的步骤包括：提取呈字节流的高光谱卫星遥感数据，根据高光谱卫星载荷协议，在各个计算节点上解析包括多个光谱谱段的高光谱卫星遥感数据；其中，所述包括多个光谱谱段的高光谱卫星遥感数据的类型为int类型数组。于本专利技术的一实施例中，所述S2'中对所获取的卫星图像的像素值和卫星定标数据进行定标、去噪处理，形成第二像素值集合的步骤包括：对所获取的卫星图像的像素值和卫星定标数据进行相对辐射定标，以消除同一光谱谱段下不同像素硬件下拍摄的像素值差异；包括：利用卫星定标数据或者图像遥感器的每个探测器的增益和偏移量，校正载荷暗电流及成像像元之间的观测数值差异；对所获取的卫星图像的像素值和卫星定标数据进行绝对辐射定标，以消除硬件导致的不同光谱谱段在所有像素上响应的差异；包括：通过各种标准辐射源，在不同的谱段建立成像光谱仪入瞳处的光谱辐射亮度值与成像光谱仪输出的数字量化值之间的定量关系；对定标后卫星图像的像素值和卫星定标数据进行去噪；包括若每个探测器所探测的地物具有相同的均衡式辐射分布，将每个探测器的均值、方差调整至一预设参考值。于本专利技术的一实施例中，用户从所述1级卫星产品对应的图像中选取的指定区域数据为用户所选取的多个矩形区域的边界坐标和与矩形区域对应的地表覆盖类型标记。于本专利技术的一实施例中，所述S2”中对所述指定区域数据进行定标和去噪处理，将定标和去噪处理后的指定区域数据作为训练样本，训练机器学习模型的步骤包括：在对指定区域数据进行定标和去噪处理后，加入类型标记，以获取矩形区域内1级产品图像的所有像素值和对应的类型标记组合的分布式数据集；将组合的分布式数据集作为SVM模型的训练样本，进行多次迭代训练，形成机器学习模型，并将机器学习模型分发至所有计算节点。于本专利技术的一实施例中，所述S2”还包括：根据预测结果的预设地表覆盖类型与颜色的对应关系，将预测结果的数据集合中每个预测结果替换成与之对应的颜色，生成2级卫星产品对应的图像。本专利技术另一方面提供一种高光谱卫星遥感数据的处理系统，在运行所述处理系统之前，客户端获取用户所选择的高光谱卫星遥感数据的需求和图像产品的产品参数，并创建分布式数据处理任务，以提交至卫星数据处理和产品生产平台处理高光谱卫星遥感数据；所述卫星数据处理和产品生产平台包括后台及与所述后台通信连接的包含多个计算节点的分布式计算平台；所述处理系统包括：检索模块，用于根据用户对高光谱卫星遥感数据的需求，检索符合需求的高光谱卫星遥感数据的索引；转换模块，用于将检索到的高光谱卫星遥感数据的索引转换成为对应的分布式数据集，并将分布式数据集及卫星产品生产过程中所产生的卫星定标数据分发到各个计算节点通过分发模块分发到各个计算节点；第一图像生成模块，用于若对图像产品的产品类型需求为0级卫星产品时，根据所述分布式数据集在数据库中并行查找与0级卫星产品对应的高光谱卫星遥感数据，在各个节点上解析对应的高光谱卫星遥感数据，以获取卫星图像的像素值，合并所获取的卫星图像的像素值，形成第一像素值集合，按照数据时间顺序将所述第一像素值集合中的像素值拼接为0级卫星产品对应的图像；第二图像生成模块，用于若对图本文档来自技高网...

【技术保护点】
1.一种高光谱卫星遥感数据的处理方法，其特征在于，在执行所述处理方法之前，客户端获取用户所选择的高光谱卫星遥感数据的需求和图像产品的产品参数，并创建分布式数据处理任务，以提交至卫星数据处理和产品生产平台处理高光谱卫星遥感数据；所述卫星数据处理和产品生产平台包括后台及与所述后台通信连接的包含多个计算节点的分布式计算平台；所述处理方法包括：S1，根据用户对高光谱卫星遥感数据的需求，检索符合需求的高光谱卫星遥感数据的索引，将检索到的高光谱卫星遥感数据的索引转换成为对应的分布式数据集，并将分布式数据集及卫星产品生产过程中所产生的卫星定标数据分发到各个计算节点；S2，若对图像产品的产品类型需求为0级卫星产品时，根据所述分布式数据集在数据库中并行查找与0级卫星产品对应的高光谱卫星遥感数据，在各个节点上解析对应的高光谱卫星遥感数据，以获取卫星图像的像素值，合并所获取的卫星图像的像素值，形成第一像素值集合，按照数据时间顺序将所述第一像素值集合中的像素值拼接为0级卫星产品对应的图像；S2'，若对图像产品的产品类型需求为1级卫星产品时，根据所述分布式数据集在数据库中并行查找与1级卫星产品对应的0级高光谱卫星遥感数据，在各个节点上解析对应的高光谱卫星遥感数据，以获取卫星图像的像素值，对所获取的卫星图像的像素值和卫星定标数据进行定标、去噪、合并处理，形成第二像素值集合，按照数据时间顺序将所述第二像素值集合中的像素值拼接为1级卫星产品对应的图像；S2”，若对图像产品的产品类型需求为2级卫星产品时，接收用户从所述1级卫星产品对应的图像中选取的指定区域数据，对所述指定区域数据进行定标和去噪处理，将定标和去噪处理后的指定区域数据作为训练样本，训练机器学习模型；再接收用户从所述1级卫星产品对应的图像中选取的感兴趣区域数据，对所述感兴趣区域数据进行定标和去噪处理，利用所述机器学习模型对定标和去噪处理后的感兴趣区域中像素值进行预测，用预测结果所对应的颜色替换感兴趣区域中的原像素值，将替换后的像素值作为预测结果，对所述预测结果进行合并，以形成预测结果的数据集合；根据预测结果的数据集合，生成2级卫星产品对应的图像。...

【技术特征摘要】
2018.09.29 CN 201811147707X1.一种高光谱卫星遥感数据的处理方法，其特征在于，在执行所述处理方法之前，客户端获取用户所选择的高光谱卫星遥感数据的需求和图像产品的产品参数，并创建分布式数据处理任务，以提交至卫星数据处理和产品生产平台处理高光谱卫星遥感数据；所述卫星数据处理和产品生产平台包括后台及与所述后台通信连接的包含多个计算节点的分布式计算平台；所述处理方法包括：S1，根据用户对高光谱卫星遥感数据的需求，检索符合需求的高光谱卫星遥感数据的索引，将检索到的高光谱卫星遥感数据的索引转换成为对应的分布式数据集，并将分布式数据集及卫星产品生产过程中所产生的卫星定标数据分发到各个计算节点；S2，若对图像产品的产品类型需求为0级卫星产品时，根据所述分布式数据集在数据库中并行查找与0级卫星产品对应的高光谱卫星遥感数据，在各个节点上解析对应的高光谱卫星遥感数据，以获取卫星图像的像素值，合并所获取的卫星图像的像素值，形成第一像素值集合，按照数据时间顺序将所述第一像素值集合中的像素值拼接为0级卫星产品对应的图像；S2'，若对图像产品的产品类型需求为1级卫星产品时，根据所述分布式数据集在数据库中并行查找与1级卫星产品对应的0级高光谱卫星遥感数据，在各个节点上解析对应的高光谱卫星遥感数据，以获取卫星图像的像素值，对所获取的卫星图像的像素值和卫星定标数据进行定标、去噪、合并处理，形成第二像素值集合，按照数据时间顺序将所述第二像素值集合中的像素值拼接为1级卫星产品对应的图像；S2”，若对图像产品的产品类型需求为2级卫星产品时，接收用户从所述1级卫星产品对应的图像中选取的指定区域数据，对所述指定区域数据进行定标和去噪处理，将定标和去噪处理后的指定区域数据作为训练样本，训练机器学习模型；再接收用户从所述1级卫星产品对应的图像中选取的感兴趣区域数据，对所述感兴趣区域数据进行定标和去噪处理，利用所述机器学习模型对定标和去噪处理后的感兴趣区域中像素值进行预测，用预测结果所对应的颜色替换感兴趣区域中的原像素值，将替换后的像素值作为预测结果，对所述预测结果进行合并，以形成预测结果的数据集合；根据预测结果的数据集合，生成2级卫星产品对应的图像。2.根据权利要求1所述的高光谱卫星遥感数据的处理方法，其特征在于，所述高光谱卫星遥感数据的需求包括用户感兴趣的地理区域、拍摄时间、高光谱卫星代号和/或卫星产品级别。3.根据权利要求1所述的高光谱卫星遥感数据的处理方法，其特征在于，所述0级卫星产品为一行多个光谱组成的图像数据；所述1级卫星产品为多行图像数据按顺序拼接处理后得到的多个光谱图像。所述2级卫星产品为对1级卫星产品图像进行地表覆盖分类预测的结果。4.根据权利要求1所述的高光谱卫星遥感数据的处理方法，其特征在于，所述S2中解析对应的高光谱卫星遥感数据，以获取卫星图像的像素值的步骤为：将高光谱卫星遥感数据中的两个字节转换成一个像素值，形成第一像素值集合。5.根据权利要求1所述的高光谱卫星遥感数据的处理方法，其特征在于，所述S2'中解析对应的高光谱卫星遥感数据，以获取卫星图像的像素值的步骤包括：提取呈字节流的高光谱卫星遥感数据，根据高光谱卫星载荷协议，在各个计算节点上解析包括多个光谱谱段的高光谱卫星遥感数据；其中，所述包括多个光谱谱段的高光谱卫星遥感数据的类型为int类型数组。6.根据权利要求1所述的高光谱卫星遥感数据的处理方法，其特征在于，所述S2'中对所获取的卫星图像的像素值和卫星定标数据进行定标、去噪处理，形成第二像素值集合的步骤包括：对所获取的卫星图像的像素值和卫星定标数据进行相对辐射定标，以消除同一光谱谱段下不同像素硬件下拍摄的像素值差异；包括：利用卫星定标数据或者图像遥感器的每个探测器的增益和偏移量，校正载荷暗电流及成像像元之间的观测数值差异；对所获取的卫星图像的像素值和卫星定...

【专利技术属性】
技术研发人员：王茂华，袁帅，戴橙，
申请(专利权)人：中国科学院上海高等研究院，
类型：发明
国别省市：上海,31