一种基于联邦蒸馏学习的多用户语义知识库同步方法技术

技术编号:41260366 阅读:24 留言:0更新日期:2024-05-11 09:18
本发明专利技术公开了一种基于联邦蒸馏学习的多用户语义知识库同步方法,属于语义通信领域。该方法包括多个待进行语义知识库同步的设备端和一个服务器端,设备端首先训练本地知识库模型,包括采用知识蒸馏将教师模型的知识传授给学生模型,同时教师模型通过互蒸馏从全局学生模型中学习到其他客户端的知识。然后,各个客户端将训练的学生模型传输给服务器端聚合,聚合完成后再分发至客户端。重复上述过程进行多轮更新通信,直至知识库同步程度达到阈值或达到指定的通信轮次才停止更新。本发明专利技术在保护设备隐私数据的同时,实现了多用户语义知识库的同步,可以提高语义通信的准确率,并降低知识库同步时的通信开销,节约语义知识库所需的时间以及带宽资源。

【技术实现步骤摘要】

本专利技术属于语义通信领域,具体涉及一种基于联邦蒸馏学习的多用户语义知识库同步方法


技术介绍

1、近年来,随着人工智能与深度学习技术的快速发展,为了进一步提高通信效率,基于人工智能技术的语义通信研究正在大力开展。语义通信利用神经网络模型提取并传输数据中所包含的含义,去除了冗余信息,能够有效提升通信效率,且面对信道噪声具有更好的抗干扰性。其中,语义知识库作为语义通信系统中的重要组成部分之一,指导着收发端对传输信息进行语义编解码。然而,当通信设备所具有的背景知识库不一致时,接收端将无法正确实现所发送信息的语义解码,将产生理解错误,使通信系统的性能严重下降。因此,亟需解决语义知识库的同步问题。

2、目前,大量研究仅讨论了端到端语义通信中的知识库同步问题,未考虑语义通信网络的场景下多用户的知识库同步问题。而多用户语义通信的规模远大于端到端通信系统,进行知识库同步所需更多的计算与通信资源。因此,如何设计语义通信网络知识库同步方法,以更高效率实现知识库同步,是语义通信发展面临的新挑战。


技术实现思路

1、针本文档来自技高网...

【技术保护点】

1.一种基于联邦蒸馏学习的多用户语义知识库同步方法,其特征在于,步骤包括:

2.根据权利要求1所述的基于联邦蒸馏学习的多用户语义知识库同步方法,其特征在于,所述全局知识库模型的结构由Transformer模型的编解码器结构组成,参数初始化采用随机方式。

3.根据权利要求1所述的基于联邦蒸馏学习的多用户语义知识库同步方法,其特征在于,所述语义编码器的输入为一段英文文本,在全局知识库的指导下,提取出英文文本中的语义信息,将英文文本通过神经网络编码为特征向量;

4.根据权利要求1所述的基于联邦蒸馏学习的多用户语义知识库同步方法,其特征在于,针对步骤S3,每个...

【技术特征摘要】

1.一种基于联邦蒸馏学习的多用户语义知识库同步方法,其特征在于,步骤包括:

2.根据权利要求1所述的基于联邦蒸馏学习的多用户语义知识库同步方法,其特征在于,所述全局知识库模型的结构由transformer模型的编解码器结构组成,参数初始化采用随机方式。

3.根据权利要求1所述的基于联邦蒸馏学习的多用户语义知识库同步方法,其特征在于,所述语义编码器的输入为一段英文文本,在全局知识库的指导下,提取出英文文本中的语义信息,将英文文本通过神经网络编码为特征向量;

4.根据权利要求1所述的基于联邦蒸馏学习的多用户语义知识库同步方法,其特征在于,针对步骤s3,每个设备端都具有私有的本地知识库模型作为教师模型,共享的全局知识库作为学生模型;

5.根据权利1要求所述的基于联邦蒸馏学习的多用户语义知识库同步方法,其特征在于,步骤s3具体包括:

6.根据权利5要求所述的基于联邦蒸馏学习的多用户语义知识库同步方法,其特征在于,步骤s3还包括如下的计算:

7.根据权利1要求所述的基于联邦蒸馏学习的多用户语义知识库同步方法,其特征在于,步骤s5中,服务器接收到集合中所有设备...

【专利技术属性】
技术研发人员:朱琨陆晓兰李娟
申请(专利权)人:南京航空航天大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1