【技术实现步骤摘要】
一种基于参数扩充的联合学习方法、装置及系统
本专利技术涉及联合学习
，特别涉及一种基于参数扩充的联合学习方法、装置及系统。
技术介绍
近年来，机器学习已经成为图像处理、自然语言识别等技术的核心工具，并在图像识别、自动驾驶等领域取得了突破性的应用。机器学习算法的应用离不开可用的数据，大规模的数据收集能够提高机器学习应用的性能，但与此同时，数据集中包含的许多个人隐私信息会随着数据集的共享与应用而面临泄露的风险。比如在车联网领域，当前车联网采用以云计算为中心的网络架构，在车辆与云计算服务进行数据交互的过程中存在两个严重的问题：(1)数据隐私问题，汽车驾驶过程中的数据存在很多个人的隐私信息，如行驶轨迹等，将这些数据上传到云计算中心的过程会带来用户隐私泄露的风险；(2)资源消耗问题，车联网中的部分业务需要实时感知车辆状态和车辆周围的环境信息，所以车载传感器等设备需要实时的采集和记录这些数据，由此每秒可以产生1GB的数据，在将这些数据上传到云计算中心的过程中需要消耗大量的通信资源，这会导致有限的车联网资源进一步紧张。为解决...
【技术保护点】
1.一种基于参数扩充的联合学习方法，其特征在于，所述方法包括以下步骤：/nS1、服务器随机产生初始化模型参数，将所述初始化模型参数打包成数据包并广播下发；/nS2、计算设备接收广播的数据包，根据接收到的数据包构建出全局模型；/nS3、计算设备采集本地数据生成本地数据集，利用所述本地数据集训练所述全局模型，训练完成后产生本地模型，并记录本地训练迭代过程中所产生的梯度值；/nS4、利用梯度值所构建出的梯度值集合采用扩充法改进k匿名算法，扩充出参数集合；/nS5、计算设备将所述参数集合打包成数据包并上传至服务器；/nS6、服务器经过预设的等待时间后，接收计算设备上传的参数集合，并...
【技术特征摘要】
1.一种基于参数扩充的联合学习方法，其特征在于，所述方法包括以下步骤：
S1、服务器随机产生初始化模型参数，将所述初始化模型参数打包成数据包并广播下发；
S2、计算设备接收广播的数据包，根据接收到的数据包构建出全局模型；
S3、计算设备采集本地数据生成本地数据集，利用所述本地数据集训练所述全局模型，训练完成后产生本地模型，并记录本地训练迭代过程中所产生的梯度值；
S4、利用梯度值所构建出的梯度值集合采用扩充法改进k匿名算法，扩充出参数集合；
S5、计算设备将所述参数集合打包成数据包并上传至服务器；
S6、服务器经过预设的等待时间后，接收计算设备上传的参数集合，并在接收到固定数量的参数集合后停止；
S7、对接收到的参数集合进行单点聚合，求出每个参数集合中的平均值；将这些平均值采用加权平均求出新的参数；
S8、利用新的参数构建新的全局模型，测试所述新的全局模型是否满足停止迭代条件，若满足，则停止训练过程，否则服务器将新的所述全局模型所对应的新的参数打包成数据包并广播下发返回步骤S2。
2.根据权利要求1所述的一种基于参数扩充的联合学习方法，其特征在于，所述步骤S4中包括根据所述梯度值集合确定出数据区间，在所述数据区间中找到满足截断正态分布的随机数，按照所述随机数对本地模型的真实参数进行缩放，产生该真实参数所对应的k-1个虚假参数；并将所述真实参数与所述k-1个虚假参数混合产生参数集合。
3.根据权利要求2所述的一种基于参数扩充的联合学习方法，其特征在于，所述根据所述梯度值集合确定出数据区间包括根据梯度值集合Δθ＝[Δθ1,Δθ2,...,Δθn]确定出数据区间的端点值a和b，表示为：
其中，a表示数据区间的左端点，b表示数据区间的右端点；Δθ表示梯度值集合，其下标表示本地训练迭代的次数，n表示本地训练迭代过程的迭代总数；Δθmax表示梯度值集合中的最大值，Δθmin表示梯度值集合中的最小值。
4.根据权利要求2所述的一种基于参数扩充的联合学习方法，其特征在于，对真实参数的缩放方式包括在真实参数上采用加减乘除方式中任意一种方式进行缩放。
5.一种基于参数扩充的联合学习装置，其特征在于，所述装置包括模型参数产生模块、模型训练模块、参数存储模块、扩充参数模块、单点聚合模块、全局聚合模块、判断模块...
【专利技术属性】
技术研发人员：刘媛妮，柳宛，肖曼，周妍妍，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：重庆;50
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。