面向遥感基础模型的异构NPU训练方法及系统技术方案
【技术实现步骤摘要】
本专利技术涉及卫星遥感，尤其涉及一种面向遥感基础模型的异构npu训练方法及系统。
技术介绍
1、遥感技术在现代社会中扮演着重要的角色，广泛应用于环境监测、地质勘探、农业、城市规划等领域。通过遥感技术能够获取来自卫星、飞机或其他传感器的大量地理信息数据，这些数据在不同领域的决策制定和问题解决中至关重要。然而，随着遥感数据的不断增加和复杂性的提高，处理这些数据变得更加复杂和耗时。特别是在进行基础模型的训练和优化时，传统的数据处理方法通常需要大量的计算资源和时间，这限制了遥感数据的实时分析和应用。
2、npu是专门设计用于深度学习任务的硬件加速器，具有并行计算和高效能力的特点。它们已经在计算机视觉、自然语言处理和其他领域的深度学习任务中取得了显著的成功。然而，在遥感数据处理方面，npu的应用仍然面临一些挑战，如数据处理流程的复杂性、npu与传统处理单元的协同工作等问题。
3、现有的遥感数据处理方法通常依赖于传统的中央处理单元（cpu）和图形处理单元（gpu）。虽然这些处理单元在某些任务上表现出色，但它们在处理大规模遥感数据时效率不高。因此，有必要开发一种面向遥感数据的npu训练方法与装置，以提高遥感数据处理的效率和精度。
技术实现思路
1、鉴于上述问题，本专利技术提供了一种一种面向遥感基础模型的异构npu训练方法及系统，利用npu的并行计算能力，加速遥感数据处理过程，从而实现更高效的地球观测数据分析和应用。
2、本专利技术的一个方面提供了一种面向遥感基
3、根据本专利技术的实施例，所述将各所述遥感基础模型分别适配转换至对应的npu单元上包括：根据所述遥感任务的任务类型生成掩膜mask；根据所述掩膜mask选择模型转换指令将所述遥感基础模型转换至所述npu单元上。
4、根据本专利技术的实施例，所述基于适配转换后的所述遥感基础模型计算各类所述遥感任务的损失权重，基于各类所述遥感任务的损失权重调整与各类所述遥感任务对应的npu单元的并行计算能力包括：基于适配转换后的所述遥感基础模型评价所述遥感任务的采样数据，得到各个任务类别的遥感任务的第一损失值；通过对各类所述遥感任务的第一损失值加权，得到各类所述遥感任务的权重；根据所述权重调整对应的npu单元的并行计算能力，所述权重的大小与所述npu单元的并行计算能力的高低正相关。
5、根据本专利技术的实施例，所述基于分布式算法在多个所述npu单元上分别进行各所述遥感基础模型的增广训练包括：基于遥感数据训练集在多个所述npu单元上进行各所述遥感基础模型的增广训练评价，得到第一评价结果；基于损失函数评价所述第一评价结果和所述遥感数据训练集的真实标签，得到第二损失值；基于第二损失值优化所述遥感基础模型的参数；重复上述步骤，直至达到所述遥感基础模型的优化目标。
6、根据本专利技术的实施例，所述方法还包括：当一个所述npu单元上的遥感任务处理完成后，将所述npu单元分配给未完成遥感任务的遥感基础模型。
7、根据本专利技术的实施例，将各所述遥感基础模型分别适配转换至对应的npu单元上之前，所述方法还包括：初始化所述遥感基础模型，在cpu或gpu上对所述遥感基础模型进行预训练。
8、根据本专利技术的实施例，所述方法还包括：通过完成增广训练后的所述遥感基础模型评价遥感数据验证集，得到第二评价结果；基于所述第二评价结果和所述遥感数据验证集的真实标签计算性能指标；基于所述性能指标优化所述遥感基础模型。
9、本专利技术的另一个方面提供了一种面向遥感基础模型的异构npu训练系统，包括：模型选择模块，用于根据遥感任务的任务类型选择遥感基础模型，不同的所述遥感基础模型分别用于处理不同的遥感任务；模型转换模块，用于将各所述遥感基础模型分别适配转换至对应的npu单元上；多个npu单元，用于基于适配转换后的所述遥感基础模型计算各类所述遥感任务的损失权重，基于各类所述遥感任务的损失权重调整与各类所述遥感任务对应的npu单元的并行计算能力，以及，基于分布式算法在多个所述npu单元上分别进行各所述遥感基础模型的增广训练。
10、根据本专利技术的实施例，还包括：高速数据总线，用于连接所述多个npu单元和与所述npu单元交互的数据接口；分布式资源管理系统，用于当一个所述npu单元上的遥感任务处理完成后，将所述npu单元分配给未完成遥感任务的遥感基础模型；软件栈，用于控制所述npu单元执行所述遥感基础模型的计算任务。
11、根据本专利技术的实施例，还包括：散热系统，包括散热器和风扇，用于给所述npu单元散热。
本文档来自技高网...【技术保护点】
1.一种面向遥感基础模型的异构NPU训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述将各所述遥感基础模型分别适配转换至对应的NPU单元上包括：
3.根据权利要求1所述的方法，其特征在于，所述基于适配转换后的所述遥感基础模型计算各类所述遥感任务的损失权重，基于各类所述遥感任务的损失权重调整与各类所述遥感任务对应的NPU单元的并行计算能力包括：
4.根据权利要求1所述的方法，其特征在于，所述基于分布式算法在多个所述NPU单元上分别进行各所述遥感基础模型的增广训练包括：
5.根据权利要求4所述的方法，其特征在于，所述方法还包括：
6.根据权利要求1所述的方法，其特征在于，将各所述遥感基础模型分别适配转换至对应的NPU单元上之前，所述方法还包括：
7.根据权利要求1所述的方法，其特征在于，所述方法还包括：
8.一种面向遥感基础模型的异构NPU训练系统，其特征在于，包括：
9.根据权利要求8所述的系统，其特征在于，还包括：
10.根据权利要求8所述的系统，
...【技术特征摘要】
1.一种面向遥感基础模型的异构npu训练方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述将各所述遥感基础模型分别适配转换至对应的npu单元上包括：
3.根据权利要求1所述的方法，其特征在于，所述基于适配转换后的所述遥感基础模型计算各类所述遥感任务的损失权重，基于各类所述遥感任务的损失权重调整与各类所述遥感任务对应的npu单元的并行计算能力包括：
4.根据权利要求1所述的方法，其特征在于，所述基于分布式算法在多个所述npu单元上分别进行各所述遥感...
【专利技术属性】
技术研发人员：付琨，孙显，王智睿，赵良瑾，成培瑞，陈凯强，
申请(专利权)人：中国科学院空天信息创新研究院，
类型：发明
国别省市：
-
0来自[荷兰] 2024年02月08日 17:27e