一种基于动态可拆分网络的遥感分布式数据处理方法技术

本申请提供一种基于动态可拆分网络的遥感分布式数据处理方法，该方法应用于卫星设备，包括：将获取到的待处理遥感数据输入第一目标子处理器；将第一目标子处理器输出的中间处理数据发送至地面设备，以使地面设备将中间处理数据输入第二目标子处理器；第一目标子处理器和第二目标子处理器通过以下方法得到：获取遥感数据处理器中每一处理模块对应的预测处理耗时；确定候选处理模块；获取每一候选处理模块对应的测试匹配度；将任一测试匹配度大于或等于匹配度阈值的目标处理单元对应的候选处理模块确定为目标处理模块；根据目标处理模块对遥感数据处理器进行拆分。本申请能够充分的利用卫星设备的设备性能，减小地面设备的处理量和通讯耗时。处理量和通讯耗时。处理量和通讯耗时。

【技术实现步骤摘要】
一种基于动态可拆分网络的遥感分布式数据处理方法


[0001]本申请涉及遥感数据处理领域，尤其涉及一种基于动态可拆分网络的遥感分布式数据处理方法。

技术介绍

[0002]随着信息技术的飞速发展，遥感图像解译已成为地球观测领域最基本和最重要的任务之一，服务于各种应用，如地理信息测绘、农业规划、交通规划、导航和灾情探测救援等。面对海量遥感图像，在实际应用中，往往通过多卫星与地面服务器协同配合来实现遥感数据的高效采集与处理，即将卫星采集到的遥感图像传输到地面服务器上统一处理。但由于遥感图像的数据量往往比较大，且星地之间通讯环境的稳定性较差，如果直接将卫星采集到的遥感图像发送至地面服务器，会导致通信成本大、延迟高且时效性差等问题，而由于遥感图像处理任务往往对时效性要求较高，故而上述的方案很难满足遥感图像处理任务的时效性要求。

技术实现思路

[0003]有鉴于此，本申请提供一种基于动态可拆分网络的遥感分布式数据处理方法，以解决现有技术中存在的问题。
[0004]在本申请的一方面，提供一种基于动态可拆分网络的遥感分布式数据处理方法，应用于卫星设备，包括：
[0005]将获取到的待处理遥感数据输入第一目标子处理器。
[0006]将第一目标子处理器输出的中间处理数据发送至地面设备，以使地面设备将中间处理数据输入第二目标子处理器，以得到第二目标子处理器输出的目标处理结果。
[0007]其中，第一目标子处理器和第二目标子处理器通过以下方法得到：
[0008]获取遥感数据处理器中每一处理模块对应的预测处理耗时；遥感数据处理器包括顺序执行的若干处理单元，每一处理单元包括若干顺序执行的处理模块；遥感数据处理器被配置为在当前的处理单元输出的候选处理结果对应的匹配度达到匹配度阈值时，将所述候选处理结果确定为目标处理结果，匹配度阈值根据遥感数据处理器对应的任务类型确定。
[0009]将每一小于时间阈值的预测处理耗时所对应的处理模块确定为候选处理模块；时间阈值根据任务类型确定。
[0010]获取每一候选处理模块对应的目标处理单元的测试匹配度；目标处理单元为遥感数据处理器中位于当前的候选处理模块之前且与当前的候选处理模块相邻的处理单元。
[0011]将任一测试匹配度大于或等于匹配度阈值的目标处理单元对应的候选处理模块确定为目标处理模块。
[0012]根据目标处理模块对遥感数据处理器进行拆分，得到第一目标子处理器和第二目标子处理器。
[0013]在本申请的一种示例性实施例中，第一目标子处理器包括遥感数据处理器中目标处理模块及其之前的每一处理模块，第二目标子处理器包括遥感数据处理器中目标处理模块之后的每一处理模块。
[0014]在本申请的一种示例性实施例中，预测处理耗时包括以下至少之一：卫星设备处理耗时、地面设备处理耗时、通讯耗时。
[0015]卫星设备处理耗时为预测的卫星设备运行当前的第一子处理器的处理耗时。
[0016]地面设备处理耗时为预测的地面设备运行当前的第二子处理器的处理耗时。
[0017]通讯耗时为预测的卫星设备将当前的处理模块的输出数据发送至地面设备的通讯耗时。
[0018]其中，第一子处理器包括遥感数据处理器中当前的处理模块及其之前的每一处理模块；第二子处理器包括遥感数据处理器中当前的处理模块之后的每一处理模块。
[0019]在本申请的一种示例性实施例中，获取遥感数据处理器中每一处理模块对应的预测处理耗时，包括：
[0020]根据卫星设备的设备参数和遥感数据处理器的任务类型，确定遥感数据处理器中每一处理模块对应的预测处理耗时。
[0021]其中，遥感数据处理器中目标处理模块及其之前的每一处理模块安装于卫星设备上。
[0022]在本申请的一种示例性实施例中，根据卫星设备的设备参数和遥感数据处理器的任务类型，确定遥感数据处理器中每一处理模块对应的预测处理耗时，包括：
[0023]根据任务类型确定每一处理模块的输出数据的数据大小。
[0024]根据设备参数和每一数据大小，得到预测的每一处理模块的通讯耗时。
[0025]在本申请的一种示例性实施例中，根据卫星设备的设备参数和遥感数据处理器的任务类型，确定遥感数据处理器中每一处理模块对应的预测处理耗时，包括：
[0026]根据任务类型，确定每一处理模块的处理模块特征。
[0027]将设备参数和每一处理模块对应的处理模块特征输入时间预测模型，得到预测的每一处理模块的模块处理耗时。
[0028]根据每一模块处理耗时，确定每一卫星设备处理耗时和/或地面设备处理耗时。
[0029]在本申请的一种示例性实施例中，将任一测试匹配度大于或等于匹配度阈值的目标处理单元对应的候选处理模块确定为目标处理模块，包括：
[0030]若测试匹配度大于或等于匹配度阈值的目标处理单元为多个，则将测试匹配度最大的目标处理单元对应的候选处理模块确定为目标处理模块。
[0031]在本申请的一种示例性实施例中，遥感数据处理器对应的总损失值符合预设条件，以使若干处理单元的候选处理结果随执行顺序依次增大。
[0032]总损失值包括以下至少之一：第一损失值、第二损失值、第三损失值。
[0033]第一损失值根据每一处理单元的训练处理结果与标记结果之间的损失确定。
[0034]第二损失值根据每一处理单元的训练预测概率分布信息与目标训练预测概率分布信息之间的损失确定；目标训练预测概率分布信息为遥感数据处理器中在执行顺序上最后一个处理单元的训练预测概率分布信息。
[0035]第三损失值根据每相邻两个处理单元对应的目标特征图之间的损失确定；目标特
征图为当前处理单元在处理过程中得到的最后一个特征图。
[0036]在本申请的另一方面，提供一种基于动态可拆分网络的遥感分布式数据处理装置，数据处理装置设置于卫星设备内，且包括：
[0037]获取模块，用于将获取到的待处理遥感数据输入第一目标子处理器。
[0038]处理模块，用于将第一目标子处理器输出的中间处理数据发送至地面设备，以使地面设备将中间处理数据输入第二目标子处理器，以得到第二目标子处理器输出的目标处理结果。
[0039]其中，第一目标子处理器和第二目标子处理器通过以下方法得到：
[0040]获取遥感数据处理器中每一处理模块对应的预测处理耗时；遥感数据处理器包括顺序执行的若干处理单元，每一处理单元包括若干顺序执行的处理模块；遥感数据处理器被配置为在当前的处理单元输出的候选处理结果对应的匹配度达到匹配度阈值时，将所述候选处理结果确定为目标处理结果，匹配度阈值根据遥感数据处理器对应的任务类型确定。
[0041]将每一小于时间阈值的预测处理耗时所对应的处理模块确定为候选处理模块；时间阈值根据任务类型确定。
[0042]获取每一候选处理模块对应的目标处理单元的测试匹配度；目标处理单元为遥感数据处理器中位于当前的候本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态可拆分网络的遥感分布式数据处理方法，其特征在于，应用于卫星设备，包括：将获取到的待处理遥感数据输入第一目标子处理器；将所述第一目标子处理器输出的中间处理数据发送至地面设备，以使所述地面设备将所述中间处理数据输入第二目标子处理器，以得到所述第二目标子处理器输出的目标处理结果；其中，第一目标子处理器和第二目标子处理器通过以下方法得到：获取遥感数据处理器中每一处理模块对应的预测处理耗时；所述遥感数据处理器包括顺序执行的若干处理单元，每一所述处理单元包括若干顺序执行的处理模块；所述遥感数据处理器被配置为在当前的处理单元输出的候选处理结果对应的匹配度达到匹配度阈值时，将所述候选处理结果确定为目标处理结果，所述匹配度阈值根据所述遥感数据处理器对应的任务类型确定；将每一小于时间阈值的预测处理耗时所对应的处理模块确定为候选处理模块；所述时间阈值根据所述任务类型确定；获取每一候选处理模块对应的目标处理单元的测试匹配度；所述目标处理单元为所述遥感数据处理器中位于当前的候选处理模块之前且与当前的候选处理模块相邻的处理单元；将任一测试匹配度大于或等于匹配度阈值的目标处理单元对应的候选处理模块确定为目标处理模块；根据所述目标处理模块对所述遥感数据处理器进行拆分，得到第一目标子处理器和第二目标子处理器。2.根据权利要求1所述的基于动态可拆分网络的遥感分布式数据处理方法，其特征在于，所述第一目标子处理器包括所述遥感数据处理器中目标处理模块及其之前的每一处理模块，所述第二目标子处理器包括所述遥感数据处理器中目标处理模块之后的每一处理模块。3.根据权利要求1所述的基于动态可拆分网络的遥感分布式数据处理方法，其特征在于，所述预测处理耗时包括以下至少之一：卫星设备处理耗时、地面设备处理耗时、通讯耗时；所述卫星设备处理耗时为预测的卫星设备运行当前的第一子处理器的处理耗时；所述地面设备处理耗时为预测的地面设备运行当前的第二子处理器的处理耗时；所述通讯耗时为预测的所述卫星设备将当前的处理模块的输出数据发送至所述地面设备的通讯耗时；其中，所述第一子处理器包括遥感数据处理器中当前的处理模块及其之前的每一处理模块；所述第二子处理器包括遥感数据处理器中当前的处理模块之后的每一处理模块。4.根据权利要求1所述的基于动态可拆分网络的遥感分布式数据处理方法，其特征在于，所述获取所述遥感数据处理器中每一处理模块对应的预测处理耗时，包括：根据卫星设备的设备参数和遥感数据处理器的任务类型，确定所述遥感数据处理器中每一处理模块对应的预测处理耗时；其中，所述遥感数据处理器中目标处理模块及其之前的每一处理模块安装于所述卫星
设备上。5.根据权利要求4所述的基于动态可拆分网络的遥感分布式数据处理方法，其特征在于，所述根据卫星设备的设备参数和遥感数据处理器的任务类型，确定所述遥感数据处理器中每一处理模块对应的预测处理耗时，包括：根据所述任务类型确定每一处理模块的输出数据的数据大小；根据所述设备参数和每一数据大小，得到预测的每一处理模块的通讯耗时。6.根据权利要求4所述的基于动态可拆分网络的遥感分布式数据处理方法，其特征在于，所述根据卫星设备的设备参数和遥感数据处理器的任务类型，确定所述遥感数据处理器中每一处理模块对应的预测处理耗时，包括：根据所述任务类型，确定每一处理模块的处理模块特征；将所述设备参数和每一处理模块对应的处理模块特征输入时间预测模型，得到预测的每一处理模块的模块处理耗时；根据每一模块处理耗时，确定每一卫星设备处理耗时和/或地面设备处理耗时。7.根据权利要求1所述的基于动态可拆分网络的遥感分布式数据处理方法，其特征在于，所述将任一测试匹配度大于或等于匹配度阈值的目标处理单元对应的候选处理模块确定为目标处理模块，包括：若测试匹配度大于或等于匹配度阈值的目标处理单元为多个，则将测试匹配度最大的目标处理单元对应的候选处理模块确定为所述目标处理模块。8.根据权利要求1所述的基于动态可拆分网络的遥感分布式数据处理方法，其特征在于，所述遥感数据处理器对应的总损失值符合预设条件，以使若干所述处理单元的候选处理结果随执行顺序依次增大；所述总损失值包括以下至少之一：第一损失值、第二损失值、第三损失值；所述第一损失值根据每一处理单元的训练处理结果与标记结果之间的损失确定；所述第二损失值根据每一处理单元的训练预测概率分布信息与目标训练预测概率分布信息之间的损失确定；所述目标训练预测概率分布信息为遥感数据处理器中在执行顺序上最后一个处理单元的训练预测概率分布信息；所述第三损失值根据每相邻两个处理单元对应的目标特征图之间的损失确定；所述目标特征图为当前处理单元在处理过程中得到的最后一个特征图。9.一种基于动态可拆分网络的遥感分布式数据处理装置，其特征在于，所述数据处理装置设置于卫星设备内，且包括：获取模块，用于将获取到的待处理遥感数据输入第一目标子处理器；处理模块，用于将所述第一目标子处理...

【专利技术属性】
技术研发人员：孙显，付琨，王智睿，张汀，陈凯强，成培瑞，赵良瑾，胡琳，段淑靖，
申请(专利权)人：中国科学院空天信息创新研究院，
类型：发明
国别省市：