一种针对电商平台的分散模型聚合方法及系统技术方案

本发明专利技术涉及一种针对电商平台的分散模型聚合方法及系统，涉及数据安全和隐私保护技术领域，包括选择最小数量的簇头覆盖所有边缘设备，每个头下挂多个边缘设备，服务器下挂多个簇头；同一集群内的所有边缘模型按照第一周期

【技术实现步骤摘要】
一种针对电商平台的分散模型聚合方法及系统


[0001]本专利技术涉及数据安全和隐私保护
，特别涉及一种针对电商平台的分散模型聚合方法及系统
。

技术介绍

[0002]近年来，随着大数据的增长和用户对隐私的重视，分布式机器学习得到了大量研究
。
[0003]在电商平台上，消费者不仅要求商家保护他们的数据，还希望了解他们所购买的产品
、
递送订单查询，以及可持续选择方面的透明度
。
[0004]目前电商平台中广泛使用的框架是参数服务器架构，边缘设备会产生大量可用于学习模型的数据，然而隐私问题限制了将数据发送到云端进行模型训练
。
并且，在数据中心环境中，工作人员的数量是有限的，而服务器中模型聚合拥塞会导致系统的延迟问题
。
而联邦学习是一种新的分布式机器学习范式，可在边缘设备上实现机器学习
。
[0005]但是，在当前的参数服务器架构以及分布式架构中，模型聚合都是集中方式的
。
当面对大量的边缘设备时，集中式的模型聚合成为了瓶颈，从根本上制约了系统的可用性
。
为此，在电商系统数据处理中缺乏一种模型方法来减轻模型聚合拥塞
。

技术实现思路

[0006]为了解决现有技术中存在的问题，本申请实施例提供一种针对电商平台的分散模型聚合方法及系统，通过构建可动态调整的分层式架构的联邦聚合系统，将服务器的聚合压力分散到多个集群，减轻模型聚合拥塞
。
[0007]第一方面，提供了一种针对电商平台的分散模型聚合方法，包括：
[0008]选择最小数量的簇头覆盖所有边缘设备，每个簇头下挂至少一个边缘设备，并通过服务器下挂所有簇头，以构成分层式架构的联邦聚合系统，所述边缘设备包含边缘模型，所述簇头包括簇头模型，所述服务器包括全局模型；同一集群内的所有边缘模型按照第一周期
k1
周期性的聚合，以更新簇头模型，所有集群间的簇头模型按照第二周期
k2
周期性的聚合，以更新全局模型；
[0009]构建所述联邦聚合系统时，从最小数量的所有簇头中选择最大带宽的簇头作为标定簇头，计算所有簇头的集群开销和服务器的全局开销，根据集群开销和全局开销的总和更新联邦聚合系统中除标定簇头外的其他簇头，直至集群开销和全局开销的总和最小化；
[0010]所述联邦聚合系统运行时，计算所有簇头模型聚合时的集群模型损失和全局模型聚合时的全局模型损失，根据集群模型损失和全局模型损失的总和更新第一周期
k1
和第二周期
k2
，直至集群模型损失和全局模型损失的总和最小化
。
[0011]一些实施例中，所述边缘模型根据边缘设备采集的本地数据进行更新
。
[0012]一些实施例中，所述联邦聚合系统运行时的具体步骤如下：
[0013]服务器采集第一周期
K1、
第二周期
K2、
以及所有簇头模型，并按照第二周期
K2
周期
性的根据所有簇头模型聚合，以更新全局模型；
[0014]簇头将簇头模型更新为全局模型，并将第一周期
k1
和簇头模型发送至边缘设备；
[0015]边缘设备将边缘模型更新为簇头模型，并按照第一周期
k1
周期性的根据本地数据更新边缘模型，边缘设备将边缘模型发送至簇头；
[0016]簇头按照第一周期
k1
周期性的根据所有边缘模型聚合，以更新簇头模型，簇头将簇头模型发送至服务器；
[0017]服务器按照第二周期
K2
周期性的根据所有簇头模型聚合，以更新全局模型；
[0018]重复上述所有步骤直至全局模型收敛
。
[0019]一些实施例中，所述方法还包括：
[0020]所述联邦聚合系统运行时，计算所有边缘模型聚合时的边缘模型损失，根据边缘模型损失
、
集群模型损失和全局模型损失的总和更新第一周期
k1
和第二周期
k2
，直至边缘模型损失
、
集群模型损失和全局模型损失的总和最小化
。
[0021]一些实施例中，所述联邦聚合系统运行时，根据同一集群内所有边缘模型的边缘模型损失计算所述簇头模型的集群模型损失，根据所有集群间的所有簇头模型的集群模型损失计算所述全局模型损失
。
[0022]一种针对电商平台的分散模型聚合系统，所述系统包括：
[0023]联邦聚合系统，其为分层式架构，包括服务器
、
下挂于服务器的多个簇头
、
以及下挂于簇头的多个边缘设备，所述边缘设备包含边缘模型，所述簇头包括簇头模型，所述服务器包括全局模型；同一集群内的所有边缘模型按照第一周期
k1
周期性的聚合，以更新簇头模型，所有集群间的簇头模型按照第二周期
k2
周期性的聚合，以更新全局模型；
[0024]系统构建模块，其用于通过选择最小数量的簇头覆盖所有边缘设备构建所述联邦聚合系统，并从最小数量的所有簇头中选择最大带宽的簇头作为标定簇头，计算所有簇头的集群开销和服务器的全局开销，根据集群开销和全局开销的总和更新联邦聚合系统中除标定簇头外的其他簇头，直至集群开销和全局开销的总和最小化；
[0025]周期调整模块，其用于计算所有簇头模型聚合时的集群模型损失和全局模型聚合时的全局模型损失，根据集群模型损失和全局模型损失的总和更新第一周期
k1
和第二周期
k2
，直至集群模型损失和全局模型损失的总和最小化
。
[0026]一些实施例中，所述边缘模型根据边缘设备采集的本地数据进行更新
。
[0027]一些实施例中，所述服务器采集第一周期
K1、
第二周期
K2、
以及所有簇头模型，并按照第二周期
K2
周期性的根据所有簇头模型聚合，以更新全局模型；
[0028]簇头将簇头模型更新为全局模型，并将第一周期
k1
和簇头模型发送至边缘设备；
[0029]边缘设备将边缘模型更新为簇头模型，并按照第一周期
k1
周期性的根据本地数据更新边缘模型，边缘设备将边缘模型发送至簇头；
[0030]簇头按照第一周期
k1
周期性的根据所有边缘模型聚合，以更新簇头模型，簇头将簇头模型发送至服务器；
[0031]服务器按照第二周期
K2
周期性的根据所有簇头模型聚合，以更新全局模型；
[0032]所述联邦聚合系统重复上述所有步骤直至全局模型收敛
。
[0033]一些实施例中，所述周期调整模块还用于计算所有边缘模型聚合时的边缘模型损失，根据边缘模型损失
、
集本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种针对电商平台的分散模型聚合方法，其特征在于，包括：选择最小数量的簇头覆盖所有边缘设备，每个簇头下挂至少一个边缘设备，并通过服务器下挂所有簇头，以构成分层式架构的联邦聚合系统，所述边缘设备包含边缘模型，所述簇头包括簇头模型，所述服务器包括全局模型；同一集群内的所有边缘模型按照第一周期
k1
周期性的聚合，以更新簇头模型，所有集群间的簇头模型按照第二周期
k2
周期性的聚合，以更新全局模型；构建所述联邦聚合系统时，从最小数量的所有簇头中选择最大带宽的簇头作为标定簇头，计算所有簇头的集群开销和服务器的全局开销，根据集群开销和全局开销的总和更新联邦聚合系统中除标定簇头外的其他簇头，直至集群开销和全局开销的总和最小化；所述联邦聚合系统运行时，计算所有簇头模型聚合时的集群模型损失和全局模型聚合时的全局模型损失，根据集群模型损失和全局模型损失的总和更新第一周期
k1
和第二周期
k2
，直至集群模型损失和全局模型损失的总和最小化
。2.
如权利要求1所述的针对电商平台的分散模型聚合方法，其特征在于，所述边缘模型根据边缘设备采集的本地数据进行更新
。3.
如权利要求1所述的针对电商平台的分散模型聚合方法，其特征在于，所述联邦聚合系统运行时的具体步骤如下：服务器采集第一周期
K1、
第二周期
K2、
以及所有簇头模型，并按照第二周期
K2
周期性的根据所有簇头模型聚合，以更新全局模型；簇头将簇头模型更新为全局模型，并将第一周期
k1
和簇头模型发送至边缘设备；边缘设备将边缘模型更新为簇头模型，并按照第一周期
k1
周期性的根据本地数据更新边缘模型，边缘设备将边缘模型发送至簇头；簇头按照第一周期
k1
周期性的根据所有边缘模型聚合，以更新簇头模型，簇头将簇头模型发送至服务器；服务器按照第二周期
K2
周期性的根据所有簇头模型聚合，以更新全局模型；重复上述所有步骤直至全局模型收敛
。4.
如权利要求1所述的针对电商平台的分散模型聚合方法，其特征在于，所述方法还包括：所述联邦聚合系统运行时，计算所有边缘模型聚合时的边缘模型损失，根据边缘模型损失
、
集群模型损失和全局模型损失的总和更新第一周期
k1
和第二周期
k2
，直至边缘模型损失
、
集群模型损失和全局模型损失的总和最小化
。5.
如权利要求1所述的针对电商平台的分散模型聚合方法，其特征在于，所述联邦聚合系统运行时，根据同一集群内所有边缘模型的边缘模型损失计算所述簇头模型的集群模型损失，根据所有集群间的所有簇头模型的集群模型损失计算所述全局模型损失
。6.
一种针对电商平台的分散模型聚合系统，其特征在于，所述系统包括：联邦聚合系统，其为分层式架构，包括服务器
、
下挂于服务器的多个簇头...

【专利技术属性】
技术研发人员：胡创，徐峰，闫伟林，梁黄黄，程大钊，
申请(专利权)人：武汉大学，
类型：发明
国别省市：