System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于遗传算法的端边云增量学习方法技术_技高网

基于遗传算法的端边云增量学习方法技术

技术编号:40707988 阅读:4 留言:0更新日期:2024-03-22 11:08
本发明专利技术公开了一种基于遗传算法的端边云增量学习方法,方法包括:对新类别样本与旧类别样本分别进行数据预处理,生成四元组;生成初始染色体并更具适应度函数获取每个染色体的舒适适应值;筛选初始染色体并通过交叉和变异获取新的染色体;重新计算染色体适应值然后按照适应值排序;获取最优染色体的基因信息,而后更新需要饱和的类别样本的四元组;根据基因信息对需要保存的类别样本数据进行数据增强并形成训练样本然后构建增量学习模型并将训练样本输入增量学习模型进行训练;训练完成后获取训练好的增量学习模型。本发明专利技术大大提高了端侧模型迭代效率与训练学习速度的同时,还能保持模型的新鲜度。

【技术实现步骤摘要】

本专利技术属于进化算法、增量学习、深度学习的,具体涉及一种基于遗传算法的端边云增量学习方法


技术介绍

1、深度学习,作为人工智能的一种,已在各领域取得显著进步,其表现在开源竞赛基准测试中甚至超越人类。这一突破性进展得益于云计算的崛起,它通过共享计算资源,提供各种计算服务,极大地加速了人工智能模型的训练速度,形成了我们所称的纯云智能模式。然而,近年来,随着对个性化需求和隐私保护的关注增强,研究人员开始将模型部分或全部下沉至边缘,形成了新的边缘智能模式。这种模式通过边缘和云端的协同推理和训练,解决了人工智能落地的“最后一公里”问题。

2、然而在在端边云环境下,数据的稀疏性和动态性使得传统的边缘智能方法,即端侧收集数据到云端统一训练并定期更新模型,难以适应边缘侧的计算任务和数据的爆发式增长,导致模型新鲜度下降。增量学习,作为终生学习的一种,允许模型在已有知识基础上适应新的数据分布,成为目前业界解决这一问题的有效手段。例如,中国电子科技集团第五十二研究所提出的轻量化目标识别方法基于小样本增量学习,保持原任务识别精度的同时提升新类别任务的识别精度。浙江大学提出的一种基于特征空间组合的小样本类增量学习方法,通过构建有效的组合特征空间,平衡旧知识保留和新知识适应。北京航空航天大学则提出了一种基于对比知识蒸馏的类别增量语义分割方法,通过构建教师-学生网络之间的知识蒸馏策略,实现旧模型知识的继承与新增知识的兼容。

3、但是目前主流的端边云增量学习方法主要面向稳定的数据流和高可用的计算资源,但在边缘侧的适配性和参数设置上存在问题。例如,模型迭代过程中的数据、参数或算法复杂度增加,使其难以适应边缘设备的资源限制。边缘数据的样本标签复杂、数量少且粒度细,使得通常在云端实施的增量学习方法难以迁移到边缘设备。此外,传统方法在处理不断增加的类别以保持模型性能和类别区分性时,往往未充分考虑模型的迭代速度,尤其在动态的端边云计算场景下,这可能导致学习效率低下和模型新鲜度下降。最后,边缘设备上的增量学习缺乏科学的参数设置标准也是目前主流的端边云增量学习方法无法在边缘侧的适配的主要原因之一。因此,如何在端侧实现高效学习与保持新鲜度是目前亟待解决的问题。


技术实现思路

1、本专利技术的主要目的在于克服现有技术的缺点与不足,提供一种基于遗传算法的端边云增量学习方法,在大大提高了端侧模型迭代效率与训练学习速度的同时,还能保持模型的新鲜度。

2、为了达到上述目的,本专利技术采用以下技术方案:

3、第一方面,本专利技术提供了一种基于遗传算法的端边云增量学习方法,包括下述步骤:

4、对新类别样本与旧类别样本分别进行数据预处理,生成四元组;

5、生成初始染色体,根据适应度函数获取每个染色体的初始适应值;对染色体进行筛选,然后通过交叉与变异获取新的染色体;重新计算当前所有染色体的适应值,然后按照适应值由高到低对染色体进行排序;获取最优染色体的基因信息,而后更新需要保存的类别样本的四元组;

6、根据基因信息对需要保存的类别样本数据进行数据增强并形成训练样本,然后构建增量学习模型并将训练样本输入增量学习模型进行训练,即训练过程包括:样本回放、数据增强、损失函数计算和参数迭代;完成迭代训练后获取训练好的增量学习模型。

7、作为优选的技术方案,所述四元组具体为:

8、

9、

10、其中,age表示类的老旧程度,prototype表示储存类的原型,number表示记录该类对应目前可用的样本数量,value表示该类目前的价值。

11、作为优选的技术方案,所述适应度函数具体为:

12、accuracy,epoch=performance(model(gk))

13、

14、gk={w1,w2,...,wl}

15、α+β=1.0

16、其中,performance(·)是一个预测函数,用于评估模型model(gk)的性能,返回的结果包括准确度accuracy和模型需要的迭代次数epoch,model(gk)表示以染色体gk所表示的样本配比的增量训练过程,fitness(gk)表示染色体gk的适应度计算公式,α和β表示浮点数常量,{w1,w2,...,wl}表示基因的样本配比,l为染色体总长度。

17、作为优选的技术方案,所述对染色体进行筛选,包括以下步骤:

18、利用选择算子pselect判断染色体gk的适应值,如下式:

19、

20、当染色体gk的适应值f大于所有染色体的平均适应值favg时,染色体gk将能够在本轮进化中留存下来,否则淘汰。

21、作为优选的技术方案,所述交叉具体为:

22、利用交叉算子生成染色体,具体地,首先计算是否选择染色体gr上的基因w1与gk上的基因w2进行交叉,然后对两个染色体上每个对应基因之间的l2距离取倒数,计算出染色体gr和染色体gk的相似度值,最后生成经过交叉的新染色体,公式如下:

23、

24、

25、

26、其中,r,k和p分别表示三个不同染色体,q表示相似度的评估值,pcross表示预先设置的交叉概率,select(·)表示是否选择染色体gr上的第i个基因w1与gk上的第i个基因v2进行交叉的计算函数,rand表示一个0和1之间的随机浮点数,用于控制随机性,similar(.)表示相似度函数,用于鼓励相似度低的染色体的基因之间进行交叉,gr[i]表示第r条染色体gr上的第i个基因,gk[i]表示染色体gk上的第i个基因,l为染色体总长度。

27、作为优选的技术方案,,所述变异具体为:

28、根据变异算子p(w→v)生成染色体,即利用所有染色体适应值的算数平均值favg与染色体gk对应的适应值进行比较,然后根据比较结果计算染色体gk上发生基因w变异为基因v的概率,如下式:

29、

30、其中,fmax表示所有染色体适应值中的最大值,k1和k2表示两个常量。

31、作为优选的技术方案,所述获取最优染色体的基因信息,即为经过排序后,适应值最高的染色体的基因信息。

32、作为优选的技术方案,所述更新需要保存的类别样本的四元组,包括以下步骤:

33、更新类的老旧程度值age;

34、根据记录该类对应目前可用的样本数量number检查所有类别样本之和是否会超出每个类别样本存储的容量限制m,若超出容量限制,则number=m,否则number为当前该类所有的样本数量;

35、计算并更新当前类别样本的prototype;

36、利用更新后的类的老旧程度值age与记录该类对应目前可用的样本数量number计算并更新当前类别样本的value。

37、作为优选的技术方案,所述增量学习模型包括特征提取器、原型层和分类器;所述本文档来自技高网...

【技术保护点】

1.基于遗传算法的端边云增量学习方法,其特征在于,包括下述步骤:

2.根据权利要求1所述基于遗传算法的端边云增量学习方法,其特征在于,所述四元组具体为:

3.根据权利要求1所述基于遗传算法的端边云增量学习方法,其特征在于,所述适应度函数具体为:

4.根据权利要求1所述基于遗传算法的端边云增量学习方法,其特征在于,所述对染色体进行筛选,包括以下步骤:

5.根据权利要求1所述基于遗传算法的端边云增量学习方法,其特征在于,所述交叉具体为:

6.根据权利要求1所述基于遗传算法的端边云增量学习方法,其特征在于,所述变异具体为:

7.根据权利要求1所述基于遗传算法的端边云增量学习方法,其特征在于,所述获取最优染色体的基因信息,即为经过排序后,适应值最高的染色体的基因信息。

8.根据权利要求1所述基于遗传算法的端边云增量学习方法,其特征在于,所述更新需要保存的类别样本的四元组,包括以下步骤:

9.根据权利要求1所述基于遗传算法的端边云增量学习方法,其特征在于,所述增量学习模型包括特征提取器、原型层和分类器;所述原型层存储了每个类别的原型向量;所述原型向量表示每一类别的特征中心,通过对该类别的所有训练样本的特征向量进行平均计算得到所述分类器用于使用余弦相似计算输入样本与每个类别原型之间的相似性得分;

10.根据权利要求1所述基于遗传算法的端边云增量学习方法,其特征在于,所述样本回放,具体为:基于遗传算法的样本回放策略,通过遗传算法找到当前最优的新类别样本与旧类别样本混合配比,根据配比获得训练数据;

...

【技术特征摘要】

1.基于遗传算法的端边云增量学习方法,其特征在于,包括下述步骤:

2.根据权利要求1所述基于遗传算法的端边云增量学习方法,其特征在于,所述四元组具体为:

3.根据权利要求1所述基于遗传算法的端边云增量学习方法,其特征在于,所述适应度函数具体为:

4.根据权利要求1所述基于遗传算法的端边云增量学习方法,其特征在于,所述对染色体进行筛选,包括以下步骤:

5.根据权利要求1所述基于遗传算法的端边云增量学习方法,其特征在于,所述交叉具体为:

6.根据权利要求1所述基于遗传算法的端边云增量学习方法,其特征在于,所述变异具体为:

7.根据权利要求1所述基于遗传算法的端边云增量学习方法,其特征在于,所述获取最优染色体的基因信息,即为经过排序...

【专利技术属性】
技术研发人员:林伟伟曾华玥沈王博张皓同
申请(专利权)人:华南理工大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1