一种面向流媒体基于邻居信任聚合的去中心化联邦学习方法技术

本发明专利技术公开了一种面向流媒体基于邻居信任聚合的去中心化联邦学习方法，包括，步骤1，客户端收集的流媒体数据进行归一化处理，形成用户的特征向量；步骤2，构建基于CNN和Transformer网络的本地模型；从特征向量中选取与时序无关的特征向量，输入到CNN网络中；从特征向量中选与时序有关的特征向量，输入到Transformer网络中；将卷积提取的特征信息与Transformer输出的结果进行Concat操作；步骤3，基于信任机制的随机游走模型，去中心化的联邦学习训练出全局模型。采用联邦学习方法使得各客户端间的模型共享，并引入了对等网络技术，使组网的计算机不依赖一个集中的服务器。使组网的计算机不依赖一个集中的服务器。使组网的计算机不依赖一个集中的服务器。

【技术实现步骤摘要】
一种面向流媒体基于邻居信任聚合的去中心化联邦学习方法


[0001]本专利技术涉及分布式计算的联邦学习领域，更具体地说是一种应用在流媒体数据中，基于邻居信任聚合的去中心化联邦学习方法。

技术介绍

[0002]在机器学习领域，一些传统的机器学习模型如支持向量机、逻辑回归等应用在具体的场景中如房价预测等。因为机器学习模型训练的数据来自于不同客户端或者不同机构，不同客户端和不同机构之间因为《数据安全法》的存在，限制了彼此之间的数据共享。联邦学习被设计出来，用于在不触及数据的前提下，分析数据。联邦学习不仅是一种机器学习方法，更像是一种商业模式。目前在医疗、金融等领域，联邦学习已经运用到实际生活中，如可穿戴设备的健康检测、金融产品营销推荐等。对于用户隐私需要加强保护的领域，常通过联邦学习的方法对上述应用场景下的模型进行训练。对等网络(Peer
‑
to
‑
Peer，P2P)技术不同于传统的集中服务器概念，通过合理的网络优化及网络协调，将参与组网的计算机转变成不依赖一个集中的服务器计算，而是每一个计算机在作为客户机的同时，也是一个小型但是完善的网络服务器。每一个节点的计算机与其他点位的计算机都是对等的关系，并不存在上下级的关系。
[0003]在联邦学习的一些应用中，主要基于一些流媒体平台，利用区块链技术进行联邦学习进行训练推荐模型，如专利号202111638487.2提出了一种基于联邦学习的个性化行为推荐方法，根据不同地区的用户特征行为进行个性化推荐，数据存储在各个本地模型中进行中心化联邦学习训练；如专利号202110521197.3提出一种基于联邦学习的协作式在线视频边缘缓存方法，利用多个用户、多个边缘节点及中心服务器，多个边缘极点为其覆盖区域内的可移动的多个用户提供服务并且连接到中心服务器，每个边缘节点配置边缘服务器。除上述两个类型外，目前的联邦学习还应用于金融和医疗行业，如专利号202110493396.8提出一种基于纵向联邦学习的潜在客户的识别方法、系统及介质；如专利号202210131792.0提出了医疗命名实体识别模型训练方法、识别方法及联邦学习系统。本司授权专利(CN202121739511.7一种可灵活组合的液晶屏智能展示系统)的魔法屏为一种展示信息展示系统，具有用户APP和终端公开展示屏。魔法屏包含服务器端和终端的中心化网络架构，但是彼此之间不进行数据的传输，服务器端仅起到运行的支撑作用，本质上可以认为是去中心化的结构。魔法屏可以用于用户的喜好和动作识别以及情绪学习等任务，此项任务能够根据用户的个性化需求进行推荐适当内容。魔法屏的终端会根据每个用户的喜好会在本地端形成一个数据库，针对用户的喜好进行推荐。如中国人喜爱中国红颜色，而欧美人喜欢圣洁白；东方人喜爱淡水鱼，欧美人喜欢海洋产品等。在不同用户的使用，魔法屏会根据用户的不同进行一定的调整，再进行内容的推荐。
[0004]在现有的联邦学习的系统中是基于服务器
‑
客户端架构中心化的模型，所有客户端的训练模型都需上传至服务器端，服务器端的存储压力大以及网络传输压力都很大，不可避免的消耗设备资源，包括计算资源、通信资源和能源。同时服务器端发生异常，会直接
导致联邦学习系统的崩溃，从而中断正在进行的联邦学习过程。P2P技术下的计算机节点之间相互对等，所以每一个节点都可以充当传统模式中的服务器，并且同时具有大量的资源信息，所以每一个网络节点都可以提供必要的资源。也正是这一个原因导致P2P技术下的网络呈现无结构分布，同时各个网络节点的较为分散。简单的来说就是，因为同时我们可以这样假设，如果在一个限定的网络中，则拥有的节点越多，可以提供的资源便越多，这样网络中的外部化性能特点便显得尤为明显。因此现有的联邦学习和P2P技术存在以下不足之处：
[0005]问题1.传统的联邦学习方法，需要可靠的中心化服务器，需要消耗大量的设备资源，如果中心化服务器出现故障，则整个系统瘫痪，无法正常运行。
[0006]问题2.对等网络无结构分布，数据量大会造成计算时间长，同时基于对等网络的是设备之间的数据直接交换，不能够保护用户的隐私安全。
[0007]针对以上两个问题，本专利技术专利提出了一种面向流媒体基于邻居聚合的去中心化联邦学习方法。
[0008]对于问题1，首先提出基于去中心化的联邦学习模型，每次聚合的客户端各自进行。每个客户端设为一个节点，每个节点有一个模型，搭建一个网络架构允许每个节点的模型，可以进行模型游走。在接收到这些模型的节点处进行模型聚合，在重复迭代后可以让在每一个节点处的模型收敛，形成本次参与聚合的客户端的模型的最优模型。去中心化的联邦学习模型搭建，利用P2P网络进行搭建，可以确保各个客户端之间地位平等，且能够保证模型进行顺利的游走；
[0009]对于问题2，利用联邦学习技术，以各个设备为单位建立本地模型。联邦学习的聚合采用各自客户端训练的模型进行联合训练出来的模型，不涉及用户的隐私数据，能够很好的解决问题2的隐私安全问题。同时因为是基于联邦学习的框架，又能很好的避免对等网络数据量过大的问题。

技术实现思路

[0010]本专利技术基于CNN和Transformer网络、模型游走、对等网络、信任网络和联邦学习模型，提出一种面向流媒体基于邻居聚合的去中心化联邦学习方法，用于解决联邦学习对于可靠中心服务器的依靠。本专利算法保护用户的隐私安全，去中心化的联邦学习省去了可靠的中心服务器，成本相对较低。
[0011]联邦学习作为一种新型的加密分布式机器学习，提升了用户对当下人工智能技术的信任度。联邦学习模型图如附图1所示。联邦学习聚合有个前提：各参与方数据要有一定的相关性，这个相关性包括目标任务、用户ID、特征变量等。本专利技术专利是去中心化的联邦学习方法，基于本地的客户端建模需要大量的训练，因而本专利技术专利在模型游走训练阶段会根据模型的性能进行加权，确保最后聚合的模型性能泛化性更佳。现有的联邦学习框架在服务器端用的联邦平均算法(Federated Averaging，FedAvg)，对于上传到服务器端的参数仅仅做了平均处理，没有考虑到各个模型之间的差异问题。在本专利技术专利中，具体涉及到的是魔法屏平台用户数据推挤，各个人群的用户信息存在一定的差异，仅仅运用平均处理效果不佳。因此，针对于此问题，本专利技术专利采取的去中心化联邦学习，利用模型游走和信任值，确定全局模型的效果，根据参与方的数据占比进行客户端权重分配，本专利的算法模型图附图2所示。
[0012]本专利技术的一种面向流媒体基于邻居信任聚合的去中心化联邦学习方法，包括如下步骤：
[0013]步骤1，客户端收集的流媒体数据进行归一化处理，形成用户的特征向量；
[0014]步骤2，构建基于CNN和Transformer网络的本地模型；
[0015]从特征向量中选取与时序无关的特征向量，输入到CNN网络中，将CNN提出来的特征信息，当作单独的特征信息进行保留；
[0016]从特征向量中选与时序有关的特征向量，输入到Trans本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向流媒体基于邻居信任聚合的去中心化联邦学习方法，其特征在于，包括如下步骤：步骤1，客户端收集的流媒体数据进行归一化处理，形成用户的特征向量；步骤2，构建基于CNN和Transformer网络的本地模型；从特征向量中选取与时序无关的特征向量，输入到CNN网络中；从特征向量中选与时序有关的特征向量，输入到Transformer网络中；将卷积提取的特征信息与Transformer输出的结果进行Concat操作；步骤3，基于信任机制的随机游走模型，去中心化的联邦学习训练出全局模型。2.根据权利要求1所述一种面向流媒体基于邻居信任聚合的去中心化联邦学习方法，其特征在于，步骤3，基于信任机制的随机游走模型，去中心化的联邦学习训练出全局模型，具体包括如下步骤：步骤3.1，定义去中心化联邦学习信任网络，给定客户端U0源节点的信任网络；令U0为联邦学习中的一个客户端源节点，其连接的客户端以及连接的客户端连接的客户端共同构成的一个以客户端U0为源节点的信任网络；定义U为客户端U0的直接关联客户端，包括客户端U1,
…
,U
n
，其后的所有客户端均为客户端U0的间接关联客户端v，包括客户端v1,
…
,v
m
；步骤3.2，基于信任的随机游走模型，完成TopN推荐，从而得到n个与源客户端U0的用户直接相关的客户端，进行共同模型的训练；步骤3.3，判断是否存在客户端U0的潜在关联客户端V
i
；如果存在V
i
,进行k+1次随机游走模型，再进行共同模型的训练。3.根据权利要求2所述一种面向流媒体基于邻居信任聚合的去中心化联邦学习方法，其特征在于，步骤3.3具体为：根据用户v与U0的模型相似度ISim(u0,v)，预测潜在的相关客户端，并加入目标关联客户端u0的预测可能相关联的集合直到满足随机游走的终止条件，完成一次潜在客户端的推荐；为保证算法的精度和覆盖率，重复进行这种随机游走；最后，将得到的用户按与目标用户的兴趣相似性排序，以完成TopN推荐。4.根据权利要求2所述一种面向流媒体基于邻居信任聚合的去中心化联邦学习方法，其特征在于，当随机游走算法第k
‑
1步在用户u上，而第k步在其关联客户端用户v上时，终止游走概率为每个客户端的迭代模型为w
locals
,初始的每个客户端的本地模型w
local
，根据客户端的标号不同记作w
i,local
,进行迭代T次，达到全局最佳即停止训练。5.根据权利要求2所述一种面向流媒体基于邻居信任聚合的去中心化联邦学习方法，其特征在于，采用Precision、Coverage和F
‑
Measure指标进行推荐准确率和覆盖率的评价；其中：式中：N
tp
为推荐源客户端U0所关联的推荐客户端数量；L为推荐关联客户端数量；
式中，B
u
为测试集中源客户端U0所关联的推荐对象数量，它表示源客户端U0所关联的推荐关联客户端能被推荐的概率；即可将F1‑
measure定义为：6.根据权利要求2所述一种面向流媒体基于邻居信任聚合的去中心化联邦学习方法，其特征在于，定义X
u
为选择用户v为潜在粉丝的随机变量，则:因此，随机游走算法在用户u上以概率1
‑
φ
u,v,k
继续游走时，其客户端v∈fol
U
被算法选择作为源用户U0的潜在粉丝的概率为P(Y
u0,u
＝v)＝(1
‑
φ
u,v,k
)P(X
u
＝v)
ꢀꢀꢀꢀ

【专利技术属性】
技术研发人员：袁博，沈玉龙，陈森霖，胡凯，
申请(专利权)人：南京栢拓视觉科技有限公司，
类型：发明
国别省市：