【技术实现步骤摘要】
一种用于卫星的集成模型无数据压缩方法
[0001]本专利技术涉及一种神经网络模型压缩方法，尤其涉及一种用于卫星的集成模型无数据压缩方法，属于卫星通信深度学习领域。
技术介绍
[0002]近年来，深度神经网络(Deep Neural Network，DNN)逐渐成为最常见的机器学习模型之一，并且在多个计算机视觉或自然语言处理领域的任务上取得了接近或超过人类专家的表现。随着航天技术的发展和国防需求的提升，将DNN模型部署在卫星上，在卫星端完成智能推理任务逐渐成为迫切需求。在这一场景中，DNN模型通常在地面端完成训练，随后远程部署于卫星端。由于输入数据的分布通常随时间缓慢变化，卫星端需要定期根据新获取的观测数据更新模型以保证模型性能。对于DNN，不同更新阶段的模型都可以视为不同的个体，将这些不同的模型预测结果进行评价通常可以实现明显的精度提升。由于该预测方式与集成方法相似，我们将这些模型的整体称为集成模型。然而，由于卫星端通常存在有限存储及计算资源的约束，难以承受对每个输入数据都使用所有模型执行推理的开销，因此首先需要压缩集成模型...
【技术保护点】
【技术特征摘要】 【专利技术属性】
1.一种用于卫星的集成模型无数据压缩方法，其特征在于：包括如下步骤，步骤一：准备当前阶段可用的集成模型及标注数据；步骤二：根据集成模型数量确定压缩后模型的结构，保留集成模型带来的性能增益；步骤三：使用无数据集成模型压缩方法训练目标模型，保证压缩后模型具备集成模型的性能增益；步骤四：使用标注数据训练预测结果聚合模型，进一步提升精度；步骤五：将获得得压缩模型部署到卫星端，用于执行其预设的智能推理任务，提高模型的利用率及推理能力，节省卫星上存储及计算资源。2.如权利要求1所述的一种用于卫星的集成模型无数据压缩方法，其特征在于：步骤一的实现方法为：卫星端经历数次本地模型更新后，存在多个版本的DNN模型及模型更新过程中收集到的少量标注数据；这些模型全体将作为集成模型，在后续步骤中被压缩，标注数据将用于进一步提升压缩后模型的性能。3.如权利要求1所述的一种用于卫星的集成模型无数据压缩方法，其特征在于：步骤二的实现方法为：压缩后的模型由两部分组成，分别是主干网络部分和多个分支网络部分，其中各分支网络直接与主干网络相连接；在卫星端统计完毕待压缩模型的数量后，将分支网络数量设置为此数量，并按顺序给各分支网络与待压缩模型一一配对，每个分支网络将用来学习其对应待压缩模型的特征表示；对于输入数据，首先由主干网络提取其特征，随后这些特征被传递给各分支网络，最后各分支网络在其末端给出各自的预测，这些预测结果的平均就作为压缩后模型的最终输出；由于压缩后的模型具有相互隔离的多个分支网络结构，每个分支在训练后可以学习到其对应待压缩模型的特征表示，因此最终压缩后的模型内具有所有待压缩模型的特征表示，保留了集成模型带来的的性能增益。4.如权利要求1所述的一种用于卫星的集成模型无数据压缩方法，其特征在于：步骤三的实现方法为：给定压缩后模型的后，在卫星端使用生成器模型合成数据作为原始训练数据的替代，并使用这些替代数据完成压缩后模型的训练；生成器模型由DNN构成，其输入为服从高斯分布的随机向量，输出为合成后的替代数据；压缩后的模型需要在替代数据上保持与待压缩模型相近的输出结果，具体而言，压缩后模型的每个分支需要与其对应的待压缩模型具有相似的输出，表述为：其中G为生成器模型，S0为压缩后模型的主干网络，S
n
为压缩后模型的第n个分支网络，T
n
为与S
技术研发人员：胡晗，郝志伟，徐冠宇，安建平，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。