【技术实现步骤摘要】
本专利技术属于数据通信领域,具体涉及一种基于分布式大数据压缩共享的联合模型训练方法及相关装置。
技术介绍
1、随着物联网、智能终端和5g通信技术的不断迭代与快速发展,整个互联网产业正在发生巨大的变革,新的计算模式与算法的要求被进一步拔高。物联设备的进一步普及,传感设备数量急剧增加,数据质量、频率与精度也在得到提升,导致智能终端和各类传感器产生的数据量正以指数级爆发增长,在传统云计算模式下,海量数据通过不同通信网络传输到云数据中心,再利用大数据和人工智能技术进行存储、处理、建模、分析、决策与优化,因此存在网络通信成本巨大、端到端响应延迟高和隐私泄露风险大等一系列问题。这些问题使得产业互联网全流程覆盖、高精度感知,敏捷响应反馈和数据贯通共享等多方面需求难以实现。边缘计算为解决上述问题提供了一条可行的道路,边缘计算实现应用的本地化、分布式部署,从而减小应用端到端时延、缓解网络拥塞、降低云服务器负载、减小移动端能耗、提升服务的可靠性。而边缘计算、云计算与人工智能结合的边云协同智能范式则成为了互联网发展的新曙光,引起了学术界以及产业界极大的兴趣,
...【技术保护点】
1.基于分布式大数据压缩共享的联合模型训练方法,其特征在于,包括:
2.如权利要求1所述的基于分布式大数据压缩共享的联合模型训练方法,其特征在于,所述获取边缘节点上汇聚的终端数据,在边缘节点端上对第一分类器进行训练,并通过模型训练后的分类器对量化压缩自编码器进行指导训练,具体包括:
3.如权利要求2所述的基于分布式大数据压缩共享的联合模型训练方法,其特征在于,所述第一分类器的训练目标损失函数为:
4.如权利要求1所述的基于分布式大数据压缩共享的联合模型训练方法,其特征在于,所述通过训练后的量化压缩自编码器,将所述终端数据压缩量化成比
...【技术特征摘要】
1.基于分布式大数据压缩共享的联合模型训练方法,其特征在于,包括:
2.如权利要求1所述的基于分布式大数据压缩共享的联合模型训练方法,其特征在于,所述获取边缘节点上汇聚的终端数据,在边缘节点端上对第一分类器进行训练,并通过模型训练后的分类器对量化压缩自编码器进行指导训练,具体包括:
3.如权利要求2所述的基于分布式大数据压缩共享的联合模型训练方法,其特征在于,所述第一分类器的训练目标损失函数为:
4.如权利要求1所述的基于分布式大数据压缩共享的联合模型训练方法,其特征在于,所述通过训练后的量化压缩自编码器,将所述终端数据压缩量化成比特向量数据,并发送至云端,具体包括:
5.如权利要求4所述的基于分布式大数据压缩共享的联合模型训练方法,其特征在于,所述在云端中对比特向量数据进行解码,并以解码后的比特向量数据作为第二分类器的输入数据,对所述第二分类器进行训练,包括:
6.如权利要求5所述的基于分布...
【专利技术属性】
技术研发人员:董贇,艾徐华,黄依婷,银源,林子健,刘凯杰,蒙志鹏,
申请(专利权)人:广西电网有限责任公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。