本发明专利技术提供了一种基于联邦因子分解机的高效压缩内存的广告推荐算法及系统，属于服务推荐领域。为了解决现有广告推荐系统数据集过大，使用时会导致内存消耗过高且推荐效果一般的问题。本发明专利技术将内存效率极高的分解机模型xLightFM与联邦学习结合，包括对联邦学习的各个参与方数据集进行预处理，得到用于联邦学习的数据集，再进行基于联邦因子分解机的高效压缩内存的广告推荐算法训练，模型训练完成后再进行预测推理并通过可信第三方服务端将推理结果生成推荐列表返回给主办方。本发明专利技术在保护用户数据安全性的前提下同时可有效降低内存消耗，且适用于数据集较大的广告推荐系统，可有效降低广告平台的经济损耗。
【技术实现步骤摘要】
本专利技术涉及服务推荐，具体而言，涉及一种基于联邦因子分解机的高效压缩内存的广告推荐算法及系统。
技术介绍
1、纵向联邦学习(vfl)是联邦学习的一种，通过主动方与各个参与方联合训练达到学习的目的，其中主动方和各个参与方数据集中均拥有特征但只有主动方拥有标签。在广告推荐领域，纵向联邦学习用于广告主和广告平台之间进行联合训练以帮助广告主更好的向用户推荐广告。在联邦学习的基础上，纵向联邦因子分解机的各个参与方使用因子分解机进行训练，用以提取一阶线性特征和二阶交叉特征。在研究过程中，我们发现因子分解机模型在联邦化的广告推荐场景中使用较少。而且由于许多的广告推荐系统数据集过大，我们发现许多广告推荐系统使用现有的未经压缩的纵向联邦因子分解机算法会导致很高的内存消耗且推荐效果一般。
2、因此，设计轻量化的服务于广告推荐系统的联邦学习模型是很有意义和必要的。
技术实现思路
1、本专利技术要解决的技术问题是：
2、为了解决现有广告推荐系统数据集过大，使用时会导致内存消耗过高且推荐效果一般的问题。
3、本专利技术为解决上述技术问题所采用的技术方案：
4、本专利技术提供了一种基于联邦因子分解机的高效压缩内存的广告推荐算法，包括以下步骤：
5、步骤一、参与联邦学习的主动方和被动方进行数据预处理，得到联邦学习数据集；
6、步骤二、建立基于联邦因子分解机的高效压缩内存的广告推荐算法模型，并对模型进行训练，直到模型收敛，具体包括，
7、s0.主动方和被动方首先使用用户的唯一标识进行加密样本对齐后得到各方共有的用户；
8、s1.主动方和被动方各自初始化本地模型；
9、s2.可信第三方服务端创建密钥对，并发送公钥给主动方和被动方；被动方将一阶线性交叉结果和二阶特征交叉的中间结果进行加密，然后将加密中间结果传输给主动方；
10、s3.主动方接收到s2中被动方传输的加密中间结果，并通过计算一阶线性交叉结果和二阶特征交叉的中间结果，求出加密广告点击率预测结果后再计算加密残差和加密损失函数，主动方将加密残差发送回被动方，将加密损失函数发送给可信第三方服务端；
11、s4.主动方和被动方分别求解加密梯度，并发送给可信第三方服务端；
12、s5.可信第三方服务端解密s4中的梯度，并分别发送给主动方和被动方，同时可信第三方服务端解密加密损失函数并决定是否继续训练；
13、s6.主动方和被动方均更新参数；
14、s7.重复步骤s2至s6，直至模型收敛；
15、步骤三、在完成步骤二的模型训练后，对基于联邦因子分解机的高效压缩内存的广告推荐算法模型进行推理，计算点击率预测结果；
16、步骤四、可信第三方服务端根据推理结果生成推荐列表返回给主动方。
17、进一步地，在步骤一中，数据预处理的步骤为，将采集到的数据集进行汇总，并将每个样本的特征数据随机分配给参与联邦学习的主动方和被动方，将每份样本的标签随机分配给主动方。
18、进一步地，在步骤二s1中，
19、主动方的数据集中包含特征和标签，被动方的数据集中只包含特征，使用表示主动方的模型参数，使用表示被动方的模型参数；主动方和被动方各自初始化本地模型，即对于主动方，初始化参数隐向量对于被动方，初始化参数隐向量
20、主动方和被动方的本地模型使用分解机模型xlightfm，公式如下：
21、
22、其中，w0为偏置项，wj为每个特征向量xj的权重，t＝{c,b}表示包含码本矩阵和离散指标的模型参数，表示特征i的第d个码本的体系结构参数，其中α∈{α|||α||2＝1}，cj和bj分别表示搜索空间中的第j个码本矩阵和索引，表示指定参数的候选搜索空间集合，α表示选择密码本的连续向量，||α||2＝1确保每次只选择一个密码本。
23、进一步地，在步骤二s2中，
24、可信第三方服务端创建的密钥对为(pk,pr)，可信第三方服务端发送公钥pk给主动方和被动方，被动方将一阶线性交叉结果和二阶特征交叉的中间结果qb：进行加密后传输给主动方。
25、进一步地，在步骤二s3中，
26、主动方接收到被动方传输的加密中间结果，并通过一阶线性交叉结果和二阶特征交叉的中间结果求出纵向联邦因子分解机算法的加密预测函数计算加密残差和加密损失函数[[l]]，主动方将加密残差[[d]]发送回被动方，将加密损失函数[[l]]发送给可信第三方服务端；
27、所述加密损失函数[[l]]计算公式如下：
28、
29、其中，d表示整个训练集，σ(x)＝1/(1+e-x)，y表示数据集中每个样本的标签真实值；表示数据集中每个样本的标签预测值；σ(x)＝1/(1+e-x)。
30、进一步地，在步骤二s4中，主动方和被动方分别利用本地与对方传输的数据，分别求解加密梯度并加加密梯度均发送给可信第三方服务端。
31、进一步地，在步骤二s5中，是否继续训练的依据为，当损失函数值不再下降，趋于稳定时即可结束训练。
32、进一步地，在步骤二s6中，
33、主动方和被动方更新的公式如下：
34、
35、
36、
37、
38、其中，βt为迭代次数为t的步长。
39、进一步地，在步骤三中，具体步骤包括：
40、在模型训练完毕后，主动方和被动方分别拥有部分参数在对输入数据xa和xb进行推理时，主动方和被动方分别对xa和xb计算一阶线性交叉结果和二阶特征交叉的中间结果即将上述计算结果上传给可信第三方服务端，可信第三方服务端计算点击率预测结果，并返回主动方和被动方的联邦学习预测结果y；
41、联邦学习预测结果y的计算公式如下：
42、
43、其中，隐向量隐向量
44、一种基于联邦因子分解机的高效压缩内存的广告推荐系统，包括：
45、数据集获取模块，用于将数据汇总后随机分配给主动方和被动方并进行预处理，所述主动方的数据集中包含特征和标签，被动方仅包含特征；
46、模型训练模块，用于建立基于联邦因子分解机的高效压缩内存的广告推荐算法模型，直到模型收敛；
47、模型推理模块，用于对基于联邦因子分解机的高效压缩内存的广告推荐算法模型进行推理，并计算点击率预测结果，并由第三方服务端将预测结果生成列表返回给主动方。
48、相较于现有技术，本专利技术的有益效果是：
49、本专利技术一种基于联邦因子分解机的高效压缩内存的广告推荐算法及系统，将xlightfm模型与联邦学习结合，包括对联邦学习的各个参与方数据集进行预处理，得到用于联邦学习的数据集，再进行基于联邦因子分解机的高效压缩内存的广告推荐算法训练，模型训练完成后再进行预测推理并通过可信第三本文档来自技高网
...
【技术保护点】
1.一种基于联邦因子分解机的高效压缩内存的广告推荐算法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于联邦因子分解机的高效压缩内存的广告推荐算法，其特征在于：在步骤一中，数据预处理的步骤为，将采集到的数据集进行汇总，并将每个样本的特征数据随机分配给参与联邦学习的主动方和被动方，将每份样本的标签随机分配给主动方。
3.根据权利要求2所述的一种基于联邦因子分解机的高效压缩内存的广告推荐算法，其特征在于：在步骤二S1中，
4.根据权利要求3所述的一种基于联邦因子分解机的高效压缩内存的广告推荐算法，其特征在于：在步骤二S2中，
5.根据权利要求4所述的一种基于联邦因子分解机的高效压缩内存的广告推荐算法，其特征在于：在步骤二S3中，
6.根据权利要求5所述的一种基于联邦因子分解机的高效压缩内存的广告推荐算法，其特征在于：在步骤二S4中，主动方和被动方分别利用本地与对方传输的数据，分别求解加密梯度并加密梯度均发送给可信第三方服务端。
7.根据权利要求6所述的一种基于联邦因子分解机的高效压缩内存的广告推荐算法，其特征在于：在步骤二S5中，是否继续训练的依据为，当损失函数值不再下降，趋于稳定时即可结束训练。
8.根据权利要求7所述的一种基于联邦因子分解机的高效压缩内存的广告推荐算法，其特征在于：在步骤二S6中，
9.根据权利要求8所述的一种基于联邦因子分解机的高效压缩内存的广告推荐算法，其特征在于，在步骤三中，具体步骤包括：
10.一种基于联邦因子分解机的高效压缩内存的广告推荐系统，其特征在于，包括：
...
【技术特征摘要】
1.一种基于联邦因子分解机的高效压缩内存的广告推荐算法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于联邦因子分解机的高效压缩内存的广告推荐算法，其特征在于：在步骤一中，数据预处理的步骤为，将采集到的数据集进行汇总，并将每个样本的特征数据随机分配给参与联邦学习的主动方和被动方，将每份样本的标签随机分配给主动方。
3.根据权利要求2所述的一种基于联邦因子分解机的高效压缩内存的广告推荐算法，其特征在于：在步骤二s1中，
4.根据权利要求3所述的一种基于联邦因子分解机的高效压缩内存的广告推荐算法，其特征在于：在步骤二s2中，
5.根据权利要求4所述的一种基于联邦因子分解机的高效压缩内存的广告推荐算法，其特征在于：在步骤二s3中，
6.根据...
【专利技术属性】
技术研发人员：黄海，武敏，叶子，吴英东，
申请(专利权)人：哈尔滨理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。