【技术实现步骤摘要】
一种基于参数压缩的业务模型联合更新方法及系统
[0001]本说明书一个或多个实施例涉及机器学习领域，尤其涉及一种基于参数压缩的业务模型联合更新方法及系统。
技术介绍
[0002]大宗商品供应链集成服务企业集团因产业多元化、业务规模庞大，且覆盖采购、制造、分销、仓储、物流、配送、融资等集成服务全流程，沉淀、积累了海量的业务数据和财务数据，为充分挖掘数据价值赋能业务运营提高企业效率，我们会基于海量的业务数据和财务数据，采用分布式学习的方法来更新业务模型。在这种情况下，多参与方联合更新模型是最广泛采用的方法，需要在每轮迭代中结合各梯度或者模型参数（统称为参数）更新。然而在如此大的参数范围内频繁传递参数会影响模型的更新效率。因此，如何在大规模集群中，高效更新模型成为重点关注的问题。为了缓解通信瓶颈，部分方案提出增加样本批量的大小，即由每个参与方基于大批量样本计算参数，从而减少每轮迭代的通信频率。本方案中，对模型更新过程中的关键阶段进行识别，从而在保证模型精度的同时，大幅度降低通信量。
技术实现思路
[0003]本说明...
【技术保护点】
【技术特征摘要】
1.一种基于参数压缩的业务模型联合更新方法，涉及服务器和n个参与方；所述方法包括多轮迭代，其中任意的第t轮迭代包括：每个参与方i，根据本地样本集和业务模型的本地模型参数，确定具有k个维度的局部参数向量，并将其提供给所述服务器；所述服务器，在所述t等于预设的目标轮次的情况下，并行进行第一条件的判断和维度收敛检测；所述第一条件包括：第t+1轮学习率与第t轮学习率之比小于学习率阈值，或者，第t轮聚合参数向量与第t
‑
1轮聚合参数向量的目标距离不小于距离阈值；所述第t轮聚合参数向量，通过聚合所述n个参与方发送的n份局部参数向量而得到；所述维度收敛检测包括：对所述n份局部参数向量对应于每个维度j的n个元素值进行求平均和求方差，并根据对每个维度j计算的平均值和方差值，确定对应于每个维度j的信噪比，该信噪比用于指示对应维度的收敛情况；以及将每个维度j对应的信噪比与占比阈值进行大小比较，得到对应的指示信息，该指示信息用于指示在本轮以及后续的若干轮迭代中是否对维度j进行压缩处理；所述服务器，在所述第一条件不满足的情况下，向每个参与方i发送对应于所述k个维度的k个指示信息；每个参与方i，根据所述k个指示信息，对对应的局部参数向量的每个维度j进行压缩或不压缩处理，得到目标参数向量，并将其提供给所述服务器；所述服务器，基于所述n个参与方发送的n份目标参数向量，获取所述业务模型的第一更新参数，并将其下发至每个参与方i，以供每个参与方i基于所述第一更新参数，更新其本地模型参数，以用于下一轮迭代。2.根据权利要求1所述的方法，还包括：在所述第一条件满足的情况下，所述服务器基于所述n份局部参数向量，获取所述业务模型的第二更新参数，并将其下发至每个参与方i，以供每个参与方i基于所述第二更新参数，更新其本地模型参数，以用于下一轮迭代。3.根据权利要求1所述的方法，其中，所述目标距离，通过计算第t轮聚合参数向量与第t
‑
1轮聚合参数向量的二阶范数距离，以及第t
‑
1轮聚合参数向量的二阶范数后，再计算所述二阶范数距离与所述二阶范数之比而得到。4.根据权利要求1所述的方法，其中，所述确定对应于每个维度j的信噪比，包括：计算对应于每个维度j的平均值与方差值之比，得到对应于每个维度j的信噪比。5.根据权利要求1所述的方法，其中，所述k个指示信息中的每个指示信息，在对应维度的信噪比小于占比阈值的情况下为压缩指示，在对应维度的信噪比不小于占比阈值的情况下为不压缩指示。6.根据权利要求1所述的方法，其中，所述目标参数向量通过以下步骤获得：对于所述k个维度中的每个维度j，判断所述维度j对应的指示信息是压缩指示还是不压缩指示；在所述指示信息为压缩指示的情况下，对所述局部参数向量对应于维度j的元素值...
【专利技术属性】
技术研发人员：周俊，朱海洋，陈为，陈晓丰，季永炜，谈旭炜，潘奇豪，
申请(专利权)人：物产中大数字科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。