基于多端聚类协同增效机制的异步协同训练方法及系统技术方案

技术编号:43634861 阅读:25 留言:0更新日期:2024-12-13 12:35
本发明专利技术公开了一种基于多端聚类协同增效机制的异步协同训练方法及系统,本发明专利技术通过对云端模型进行知识分解,利用云端超网络以及多头注意力机制,在云端模型与设备端模型间构建低秩参数桥梁,实现异构模型参数空间的直接互动、知识抽取与应用,增强设备端模型的泛化能力和应用效果。

【技术实现步骤摘要】

本专利技术属于云计算与边缘计算领域,尤其涉及一种基于多端聚类协同增效机制的异步协同训练方法及系统


技术介绍

1、随着物联网技术的飞速发展和边缘计算设备的广泛部署,深度神经网络(dnns)在资源受限环境中展现出了巨大的应用潜力。但由于数据收集成本高昂或隐私保护需求,边缘设备往往只能获取到有限数量的训练样本。这导致在训练过程中容易发生过拟合现象,即模型在训练集上表现良好,但在未见过的测试集上性能急剧下降。

2、传统解决模型过拟合的方法主要包括数据增强和正则化技术。数据增强(dataaugmentation)通过对原始数据进行各种变换(如旋转、裁剪、翻转、缩放、颜色抖动等)生成更多的训练样本,从而增加数据的多样性。这种方法可以有效增加数据量,减缓过拟合。然而,数据增强依赖于预定义的变换规则,无法生成超出变换范围的新样本,可能仍不足以解决小样本问题。正则化技术(regularization)如l1、l2正则化和dropout通过抑制模型复杂度,防止过拟合。l1正则化通过对模型的权重进行稀疏化,减少不重要的特征;l2正则化则通过缩小权重值,防止单个权重本文档来自技高网...

【技术保护点】

1.一种基于多端聚类协同增效机制的异步协同训练方法,其特征在于,包括以下步骤:

2.如权利要求1所述的一种基于多端聚类协同增效机制的异步协同训练方法,其特征在于,步骤S1的具体过程如下:

3.如权利要求2所述的一种基于多端聚类协同增效机制的异步协同训练方法,其特征在于,在步骤S2的知识迁移阶段中,具体过程如下:

4.如权利要求3所述的一种基于多端聚类协同增效机制的异步协同训练方法,其特征在于,步骤S21中,超网络的参数以如下方式更新:

5.如权利要求3所述的一种基于多端聚类协同增效机制的异步协同训练方法,其特征在于,步骤S23中,融合云端模...

【技术特征摘要】

1.一种基于多端聚类协同增效机制的异步协同训练方法,其特征在于,包括以下步骤:

2.如权利要求1所述的一种基于多端聚类协同增效机制的异步协同训练方法,其特征在于,步骤s1的具体过程如下:

3.如权利要求2所述的一种基于多端聚类协同增效机制的异步协同训练方法,其特征在于,在步骤s2的知识迁移阶段中,具体过程如下:

4.如权利要求3所述的一种基于多端聚类协同增效机制的异步协同训练方法,其特征在于,步骤s21中...

【专利技术属性】
技术研发人员:张圣宇李坤熹赵洲王永威蔡海滨吴飞
申请(专利权)人:上海浙江大学高等研究院
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1