本发明专利技术提供一种基于云边协同架构的增量学习方法、装置、设备及介质，该方法包括：基于从各边缘节点收集的原始数据训练得到云端基础模型；基于各所述边缘节点的自有数据和所述云端基础模型，训练得到各所述边缘节点对应的边缘模型；对各所述边缘节点产生的增量数据进行筛选，得到增量数据集，所述增量数据是所述边缘节点基于所述边缘模型产生的；通过所述增量数据集对所述云端基础模型进行增量学习训练，得到更新后的云端基础模型。本发明专利技术通过云边协同架构，解决了模型泛化能力、模型准确率和推理时延三项重要指标难以同时满足业务需求的问题，通过云端训练策略保证云端基础模型在多个场景下能保持较好的泛化能力。在多个场景下能保持较好的泛化能力。在多个场景下能保持较好的泛化能力。
【技术实现步骤摘要】
基于云边协同架构的增量学习方法、装置、设备及介质
[0001]本专利技术涉及人工智能
，尤其涉及一种基于云边协同架构的增量学习方法、装置、设备及介质。
技术介绍
[0002]人工智能已经渗透到了工业生产的各个领域，在现阶段，计算机视觉技术在工业质检领域还存在较多的技术瓶颈，由于工业生产过程中各类机械高速运转，对人工智能算法的部署方式和推理时延带来了极大的挑战。目前，如何平衡模型泛化能力和准确率解决方案可以归纳为以下四类：1、云端训练，云端推理；2、云端训练，边缘推理；3、边缘训练，边缘推理；4、云边协同的联邦学习。
[0003]上述四种方法分别存在一定的局限性。首先采用云端训练，云端推理架构，在推理服务方面会存在较大的网络延迟问题，通常无法满足大部分工业级需求；采用云端训练，边缘推理架构，算法模型无法根据业务数据实时迭代更新，由于目标变量的统计特性通常会随时间发生变化，在使用一段时间后模型会出现漂移和退化现象；采用边缘训练，边缘推理架构，难以充分利用跨场景的共性数据，通过边缘算力训练模型效率较低，同时模型容易出现过拟合，泛化性能和鲁棒性较差，也难以支撑海量数据量下的模型训练；采用云边协同的联邦学习架构，可以充分利用云端和边缘端的数据资源，目前通常基于专家系统等方法进行模型的简单集成，模型预测结果的可解释性相对较差，在新场景下的泛化能力也难以保证。
技术实现思路
[0004]本专利技术提供一种基于云边协同架构的增量学习方法、装置、设备及介质，用以解决现有如何平衡模型泛化能力和准确率解决方案存在的上述技术问题。
[0005]本专利技术提供一种基于云边协同架构的增量学习方法，包括：
[0006]基于从各边缘节点收集的原始数据训练得到云端基础模型；
[0007]基于各所述边缘节点的自有数据和所述云端基础模型，训练得到各所述边缘节点对应的边缘模型；
[0008]对各所述边缘节点产生的增量数据进行筛选，得到增量数据集，所述增量数据是所述边缘节点基于所述边缘模型产生的；
[0009]通过所述增量数据集对所述云端基础模型进行增量学习训练，得到更新后的云端基础模型。
[0010]根据本专利技术提供的一种基于云边协同架构的增量学习方法，所述基于从各边缘节点收集的原始数据训练得到云端基础模型包括：
[0011]将带权聚焦损失函数作为神经网络优化的损失函数，基于梯度下降方法以及从各边缘节点收集的原始数据进行模型训练，得到云端基础模型。
[0012]根据本专利技术提供的一种基于云边协同架构的增量学习方法，所述基于各所述边缘
节点的自有数据和所述云端基础模型，训练得到各所述边缘节点对应的边缘模型包括：
[0013]将所述云端基础模型下发到各所述边缘节点；
[0014]冻结所述云端基础模型的骨干网络，将各所述边缘节点的自有数据作为模型训练输入；
[0015]基于迁移学习方法和聚焦损失函数对所述云端基础模型进行小样本迁移学习，得到各所述边缘节点对应的边缘模型。
[0016]根据本专利技术提供的一种基于云边协同架构的增量学习方法，所述基于各所述边缘节点的自有数据和所述云端基础模型，训练得到各所述边缘节点对应的边缘模型之后包括：
[0017]将所述边缘节点在第一时间周期内产生的数据作为模型输入，通过增量学习方法更新所述边缘模型；
[0018]将所述边缘节点在第二时间周期内产生的增量数据上传至云端服务器，所述第二时间周期为所述第一时间周期的正整数倍。
[0019]根据本专利技术提供的一种基于云边协同架构的增量学习方法，所述对各所述边缘节点产生的增量数据进行筛选，得到增量数据集包括：
[0020]通过强化学习策略对各所述边缘节点产生的增量数据进行筛选；
[0021]通过聚类算法对筛选后的增量数据进行划分，得到增量数据集。
[0022]根据本专利技术提供的一种基于云边协同架构的增量学习方法，所述通过所述增量数据集对所述云端基础模型进行增量学习训练，得到更新后的云端基础模型包括：
[0023]通过所述增量数据集和所述增量学习方法，对所述云端基础模型进行训练和更新，得到更新后的云端基础模型。
[0024]本专利技术还提供一种基于云边协同架构的增量学习装置，包括：
[0025]云端基础模型确定模块，用于基于从各边缘节点收集的原始数据训练得到云端基础模型；
[0026]边缘模型确定模块，用于基于各所述边缘节点的自有数据和所述云端基础模型，训练得到各所述边缘节点对应的边缘模型；
[0027]增量数据集确定模块，用于对各所述边缘节点产生的增量数据进行筛选，得到增量数据集，所述增量数据是所述边缘节点基于所述边缘模型产生的；
[0028]模型训练更新模块，用于通过所述增量数据集对所述云端基础模型进行增量学习训练，得到更新后的云端基础模型。
[0029]本专利技术还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于云边协同架构的增量学习方法。
[0030]本专利技术还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于云边协同架构的增量学习方法。
[0031]本专利技术还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于云边协同架构的增量学习方法。
[0032]本专利技术提供的基于云边协同架构的增量学习方法、装置、设备及介质，基于从各边缘节点收集的原始数据训练得到云端基础模型，然后基于各边缘节点的自有数据和云端基
础模型，训练得到各边缘节点对应的边缘模型，继而对各边缘节点产生的增量数据进行筛选，得到增量数据集，其中，增量数据是边缘节点基于边缘模型产生的，通过增量数据集对云端基础模型进行增量学习训练，得到更新后的云端基础模型，通过云边协同架构，解决了模型泛化能力、模型准确率和推理时延三项重要指标难以同时满足业务需求的问题，通过云端训练策略保证云端基础模型在多个场景下能保持较好的泛化能力。
附图说明
[0033]为了更清楚地说明本专利技术或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0034]图1是本专利技术提供的基于云边协同架构的增量学习方法的流程示意图之一；
[0035]图2是本专利技术提供的基于云边协同架构的增量学习方法的步骤示意图；
[0036]图3是本专利技术提供的基于云边协同架构的增量学习方法的流程示意图之二；
[0037]图4是本专利技术提供的基于云边协同架构的增量学习装置的结构示意图；
[0038]图5是本专利技术提供的电子设备的结构示意图。
具体实施方式
[0039]为使本专利技术本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于云边协同架构的增量学习方法，其特征在于，包括：基于从各边缘节点收集的原始数据训练得到云端基础模型；基于各所述边缘节点的自有数据和所述云端基础模型，训练得到各所述边缘节点对应的边缘模型；对各所述边缘节点产生的增量数据进行筛选，得到增量数据集，所述增量数据是所述边缘节点基于所述边缘模型产生的；通过所述增量数据集对所述云端基础模型进行增量学习训练，得到更新后的云端基础模型。2.根据权利要求1所述的基于云边协同架构的增量学习方法，其特征在于，所述基于从各边缘节点收集的原始数据训练得到云端基础模型包括：将带权聚焦损失函数作为神经网络优化的损失函数，基于梯度下降方法以及从各边缘节点收集的原始数据进行模型训练，得到云端基础模型。3.根据权利要求1所述的基于云边协同架构的增量学习方法，其特征在于，所述基于各所述边缘节点的自有数据和所述云端基础模型，训练得到各所述边缘节点对应的边缘模型包括：将所述云端基础模型下发到各所述边缘节点；冻结所述云端基础模型的骨干网络，将各所述边缘节点的自有数据作为模型训练输入；基于迁移学习方法和聚焦损失函数对所述云端基础模型进行小样本迁移学习，得到各所述边缘节点对应的边缘模型。4.根据权利要求1所述的基于云边协同架构的增量学习方法，其特征在于，所述基于各所述边缘节点的自有数据和所述云端基础模型，训练得到各所述边缘节点对应的边缘模型之后包括：将所述边缘节点在第一时间周期内产生的数据作为模型输入，通过增量学习方法更新所述边缘模型；将所述边缘节点在第二时间周期内产生的增量数据上传至云端服务器，所述第二时间周期为所述第一时间周期的正整数倍。5.根据权利要求1所述的基于云边协同架构的增量学习方法，其...
【专利技术属性】
技术研发人员：梁秉豪，崔洪志，张传刚，袁明明，
申请(专利权)人：浪潮通信信息系统有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。