【技术实现步骤摘要】
本专利技术属于模型训练,具体涉及一种防范维度坍塌的分布式模型聚合方法及系统。
技术介绍
1、在协作感知任务中,当无人侦查终端所需要侦查的同类目标大量出现时,会造成极端数据异构,表现为在一段时间内感知数据流中的大部分数据为某类别数据,而其他类数据很少出现,该类数据异构现象也被称为高度类不平衡问题。
2、当分布式终端模型在执行具有高度类不平衡数据分布特征的任务后,模型输出表示的尾部奇异值会随着不平衡程度和训练批次的增加而趋近于0,从而导致模型奇异向量维度产生坍缩。该类模型在进行模型聚合时,可能会进一步导致聚合模型发生维度坍塌现象,从而大幅影响聚合模型分类性能,并影响下一轮次的模型更新。
技术实现思路
1、本专利技术为了克服现有技术的不足,提供了一种防范维度坍塌的分布式模型聚合方法及系统,通过在模型的表征上添加正则化项使得全局聚合模型的表示向量相关矩阵中的奇异值向量去相关性,从而促使尾部奇异值不坍塌到0,防范聚合模型的维度坍塌问题。
2、为了实现上述目的,本专利技术采用以
本文档来自技高网...【技术保护点】
1.一种防范维度坍塌的分布式模型聚合方法,用于无人终端协作任务感知中,其特征在于,包括:
2.根据权利要求1所述的防范维度坍塌的分布式模型聚合方法,其特征在于,所述对所述输出进行去相关性处理,包括:
3.根据权利要求2所述的防范维度坍塌的分布式模型聚合方法,其特征在于,所述正则化项为:
4.根据权利要求3所述的防范维度坍塌的分布式模型聚合方法,其特征在于,还包括:
5.根据权利要求4所述的防范维度坍塌的分布式模型聚合方法,其特征在于,还包括:
6.一种防范维度坍塌的分布式模型聚合系统,用于无人终端协作任务感知
...【技术特征摘要】
1.一种防范维度坍塌的分布式模型聚合方法,用于无人终端协作任务感知中,其特征在于,包括:
2.根据权利要求1所述的防范维度坍塌的分布式模型聚合方法,其特征在于,所述对所述输出进行去相关性处理,包括:
3.根据权利要求2所述的防范维度坍塌的分布式模型聚合方法,其特征在于,所述正则化项为:
4.根据权利要求3所述的防范维度坍塌的分布式模型聚合方法,其特征在于,还包括:
5.根据权利要求4所述的防范维度坍塌的分布式模型聚合方法,其特征在于,还包括:
6.一种防...
【专利技术属性】
技术研发人员:丁兆云,刘蔚柯,罗来龙,刘斌,朱先强,朱承,辛乐海,王艺,汪佳乐,邹龙吟,曹得琪,王菲,赵雨,陈俊琪,
申请(专利权)人:中国人民解放军国防科技大学,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。