【技术实现步骤摘要】
本专利技术属于语义通信领域，具体涉及一种基于联邦蒸馏学习的多用户语义知识库同步方法。
技术介绍
1、近年来，随着人工智能与深度学习技术的快速发展，为了进一步提高通信效率，基于人工智能技术的语义通信研究正在大力开展。语义通信利用神经网络模型提取并传输数据中所包含的含义，去除了冗余信息，能够有效提升通信效率，且面对信道噪声具有更好的抗干扰性。其中，语义知识库作为语义通信系统中的重要组成部分之一，指导着收发端对传输信息进行语义编解码。然而，当通信设备所具有的背景知识库不一致时，接收端将无法正确实现所发送信息的语义解码，将产生理解错误，使通信系统的性能严重下降。因此，亟需解决语义知识库的同步问题。
2、目前，大量研究仅讨论了端到端语义通信中的知识库同步问题，未考虑语义通信网络的场景下多用户的知识库同步问题。而多用户语义通信的规模远大于端到端通信系统，进行知识库同步所需更多的计算与通信资源。因此，如何设计语义通信网络知识库同步方法，以更高效率实现知识库同步，是语义通信发展面临的新挑战。
技术实现思路
1、针对现有技术的缺陷和改进需求，本专利技术的目的是提供一种基于联邦蒸馏学习的多用户语义知识库同步方法，实现多用户语义通信知识库的同步，节约知识库同步所需的通信资源，提高语义通信的准确率。
2、为实现上述专利技术目的，本专利技术提供如下的技术方案。
3、1、一种基于联邦蒸馏学习的多用户语义知识库同步方法，步骤包括：
4、s1、服务器端初始化全局知识
5、s2、将所有设备端组成的集合记为d，服务器随机选取部分设备端组成集合d'进行下一次全局知识库模型聚合；同时，服务器将现有的全局知识库模型分发至选中集合中的设备端；
6、s3、设备端接收来自服务器端的全局知识库模型，并进行本地语义知识库更新，包括本地教师模型和学生模型；
7、s4、服务器端选取的设备集合中的每个设备向服务器传输更新后的学生知识库模型；
8、s5、服务器接收到集合中所有设备端所发送的学生知识库模型后，服务器端进行全局知识库的聚合更新，并测试验证知识库的同步程度；
9、s6、重复步骤s2，直到知识库同步程度达到所设阈值或服务器端与客户端的通信轮次达到所设阈值t，则停止更新，执行步骤s7；
10、s7、将服务器端完成知识库同步的全局知识库模型分发给所有客户端。
11、进一步地，所述全局知识库模型的结构由transformer模型的编解码器结构组成，参数初始化采用随机方式。
12、所述语义编码器的输入为一段英文文本，在全局知识库的指导下，提取出英文文本中的语义信息，将英文文本通过神经网络编码为特征向量；
13、所述语义解码器的输入为一段特征向量，在全局知识库的指导下，将该段特征向量还原成英文文本。
14、进一步地，针对步骤s3，每个设备端都具有私有的本地知识库模型作为教师模型，共享的全局知识库作为学生模型；
15、教师模型与学生模型通过知识蒸馏的方式相互进行学习，教师模型能够从训练数据中提取更多的知识，并指导学生模型训练；
16、学生模型通过从教师模型与本地数据中学习知识，能够在有限训练迭代次数中获取更高的语义编解码准确率；
17、其中，由于设备的计算资源和存储资源不同，其教师语义知识库模型大小和结构存在差异，但各个设备的全局知识库结构需保持一致。
18、更进一步地，步骤s3具体包括：
19、在第t个通信轮次时，集合d’中的设备端接收到来自服务器端的全局知识库模型设备首先将全局知识库模型赋值给本地知识库学生模型即
20、
21、随后进行本地语义知识库更新，具体过程如下：
22、设备i根据本地数据集训练语义知识库，本地数据将在语义知识库的指导下提取出语义信息，实现数据的语义编码，生成语义表征向量；
23、设备的语义知识库包括大型的教师模型和小型的学生模型，其中大型的教师模型和小型的学生模型通过知识蒸馏的方式相互进行学习，大型教师模型能够从训练数据中提取更多的知识，并指导小型学生模型训练；小型学生模型通过从教师模型与本地数据中学习知识，能够在有限训练迭代次数中获取更高的语义编解码准确率；
24、另外，各个设备可具有不同的计算资源和存储资源，资源存在异构性，其本地的教师模型结构可根据本地资源进行设置，不同设备的教师语义知识库模型大小可以不同；
25、设备i根据本地的数据协同训练知识库教师模型与知识库学生模型将训练集的本地数据作为输入，经过教师和学生模型进行语义编码，得到语义特征向量，随后进行信道编码进一步压缩数据，再通过数值仿真模拟经过信道传输，对信道输出的数据进行信道解码，再将信道解码结果进行语义解码，从而得到接收端所收到的数据。
26、更进一步地，步骤s3还包括如下的计算：
27、语义知识库教师模型和学生模型的神经网络采用前向传播，然后分别计算教师模型和学生模型的损失函数，再进行反向传播以更新模型参数，迭代训练提升设备i的语义知识库模型的准确率；其中，设备端通过以下方式，基于交叉熵损失与蒸馏损失计算教师模型的损失函数lt,i：
28、
29、
30、
31、其中，ce()表示交叉熵损失，kl()表示kl散度，即蒸馏损失，yi表示真实的结果标签，yt,i表示教师网络输出的预测标签，ys,i表示表示学生网络输出的预测标签；
32、所述设备端通过以下方式，基于交叉熵损失与蒸馏损失计算学生模型的损失函数：
33、
34、
35、
36、其中，ce()表示交叉熵损失，kl()表示kl散度，即蒸馏损失，yi表示真实的结果标签，yt,i表示教师网络输出的预测标签，ys,i表示表示学生网络输出的预测标签。
37、进一步地，步骤s5中，服务器接收到集合中所有设备发送的经过信道传输的学生知识库模型后，进行全局知识库聚合更新，对知识库模型的网络参数进行加权平均计算，得到更新后的全局知识库可表示为：
38、
39、进一步地，步骤s6中，知识库同步程度由全局知识库模型计算得到，当传输数据为文本时，采用基于bert模型定义的句子相似度衡量两个句子之间的语义相似度，语义相似度定义为：
40、
41、其中，s为发送的句子，为经过语义知识库指导完成语义通信传输后收到的句子，b()为提取文本语义信息的预训练bert模型。语义相似度的取值为[0,1]，相似度越高表示知识库的同步程度越好。
42、更近一步地，服务器端的全局知识库聚合更新完成后，立即计算此时的知识库同步程度，若达到设定的阈值，或服务器端与客户端的通信轮次达到所设阈值t，则停本文档来自技高网...
【技术保护点】
1.一种基于联邦蒸馏学习的多用户语义知识库同步方法，其特征在于，步骤包括：
2.根据权利要求1所述的基于联邦蒸馏学习的多用户语义知识库同步方法，其特征在于，所述全局知识库模型的结构由Transformer模型的编解码器结构组成，参数初始化采用随机方式。
3.根据权利要求1所述的基于联邦蒸馏学习的多用户语义知识库同步方法，其特征在于，所述语义编码器的输入为一段英文文本，在全局知识库的指导下，提取出英文文本中的语义信息，将英文文本通过神经网络编码为特征向量；
4.根据权利要求1所述的基于联邦蒸馏学习的多用户语义知识库同步方法，其特征在于，针对步骤S3，每个设备端都具有私有的本地知识库模型作为教师模型，共享的全局知识库作为学生模型；
5.根据权利1要求所述的基于联邦蒸馏学习的多用户语义知识库同步方法，其特征在于，步骤S3具体包括：
6.根据权利5要求所述的基于联邦蒸馏学习的多用户语义知识库同步方法，其特征在于，步骤S3还包括如下的计算：
7.根据权利1要求所述的基于联邦蒸馏学习的多用户语义知识库同步方法，其特征在于
8.根据权利1要求所述的基于联邦蒸馏学习的多用户语义知识库同步方法，其特征在于，步骤S6中，知识库同步程度由全局知识库模型计算得到，当传输数据为文本时，采用基于BERT模型定义的句子相似度衡量两个句子之间的语义相似度，语义相似度定义为：
9.根据权利8要求所述的基于联邦蒸馏学习的多用户语义知识库同步方法，其特征在于，服务器端的全局知识库聚合更新完成后，立即计算此时的知识库同步程度，若达到设定的阈值，或服务器端与客户端的通信轮次达到所设阈值T，则停止更新，即全局知识库模型已训练更新完成。
10.根据权利1要求所述的基于联邦蒸馏学习的多用户语义知识库同步方法，其特征在于，完成同步后，服务器向所有设备分发同步后的全局语义知识库的方法为：服务器和客户端不断通信更新全局知识库，当全局知识库模型的同步程度达到要求或服务器端与客户端的通信轮次达到所设阈值时，即视为全局知识库同步完成；服务器向所有的客户端分发完成同步的全局知识库，客户端通过全局知识库进行语义通信。
...【技术特征摘要】
1.一种基于联邦蒸馏学习的多用户语义知识库同步方法，其特征在于，步骤包括：
2.根据权利要求1所述的基于联邦蒸馏学习的多用户语义知识库同步方法，其特征在于，所述全局知识库模型的结构由transformer模型的编解码器结构组成，参数初始化采用随机方式。
3.根据权利要求1所述的基于联邦蒸馏学习的多用户语义知识库同步方法，其特征在于，所述语义编码器的输入为一段英文文本，在全局知识库的指导下，提取出英文文本中的语义信息，将英文文本通过神经网络编码为特征向量；
4.根据权利要求1所述的基于联邦蒸馏学习的多用户语义知识库同步方法，其特征在于，针对步骤s3，每个设备端都具有私有的本地知识库模型作为教师模型，共享的全局知识库作为学生模型；
5.根据权利1要求所述的基于联邦蒸馏学习的多用户语义知识库同步方法，其特征在于，步骤s3具体包括：
6.根据权利5要求所述的基于联邦蒸馏学习的多用户语义知识库同步方法，其特征在于，步骤s3还包括如下的计算：
7.根据权利1要求所述的基于联邦蒸馏学习的多用户语义知识库同步方法，其特征在于，步骤s5中，服务器接收到集合中所有设备...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。