基于FM和深度学习的跨特征联邦营销建模方法及装置制造方法及图纸

本公开提供一种基于FM和深度学习的跨特征联邦营销建模方法及装置，包括联邦发起方和联邦参与方基于本地的初始营销特征，获取第一特征；联邦发起方和联邦参与方根据初始营销特征和第一特征，获取第二特征；联邦发起方和联邦参与方根据第一特征和第二特征，获取本地FM模型的输出结果；联邦发起方和联邦参与方根据第二特征，获取本地深度模型的输出结果；联邦参与方根据的第二特征，获取第三特征；联邦参与方将本地FM模型的输出结果、本地深度模型的输出结果以及第三特征发送给联邦发起方；获取全局FM模型的输出结果；获取全局深度模型的输出结果；得到联邦营销模型的输出结果。本公开的方法能够不泄露各方特征数据，充分利用各方的特征数据。的特征数据。的特征数据。

【技术实现步骤摘要】
基于FM和深度学习的跨特征联邦营销建模方法及装置


[0001]本公开涉及联邦学习
，尤其涉及一种基于FM和深度学习的跨特征联邦营销建模方法及装置。

技术介绍

[0002]在联邦学习的实际应用场景中，不同的机构会根据其实际业务构建数据的特征信息，例如，某一电商平台和某一保险公司拥有一些相同的用户，电商平台根据其用户的注册信息、浏览信息、购买信息、评价信息等构建用户的特征信息，同样地，保险公司根据用户的注册信息、出险记录等信息，构建用户的特征信息。
[0003]若电商平台或保险公司想联邦对方提供的用户特征信息来决定向用户推销符合用户需求的商品或保险，提高用户购买商品和保险的概率，如在电商平台常常购买母婴类产品的用户购买女性和儿童类险种的概率更大，保险公司可以根据电商平台记录的该用户特征信息向其推荐该类保险，以提高销营成功率；在保险公司购买车险和意外险的用户，相比于购买其他险种的用户，对与车相关的产品感兴趣的概率更大，电商平台可以根据保险公司记录的该用户特征信息向其推荐与车相关的产品。但基于数据隐私保护的考虑，双方均不能将所拥有的原始特征数据发送给对方。
[0004]因此，如何保证分布在不同参与方的特征数据，在不泄露特征数据与标签数据的情况下，充分利用各参与方的数据特征实现联邦营销建模，是本领域技术人员目前需要解决的技术问题。

技术实现思路

[0005]本公开实施例提供一种基于FM和深度学习的跨特征联邦营销建模方法，能够保证分布在不同参与方的特征数据，且不泄露各方特征数据和标签数据的情况下，充分利用各方的特征数据实现联邦营销建模的目的，以至少解决相关技术中数据保密性和安全性的问题。
[0006]本公开实施例的第一方面，提供一种基于FM和深度学习的跨特征联邦营销建模方法，联邦营销模型包括本地模型和全局模型，所述本地模型包括本地稀疏模型、本地嵌入模型、本地FM模型、以及本地深度模型；所述全局模型包括全局FM模型和全局深度模型，所述方法包括：
[0007]联邦发起方和联邦参与方基于本地的初始营销特征，通过预设的本地稀疏模型，获取第一特征；
[0008]所述联邦发起方和所述联邦参与方根据所述初始营销特征和所述第一特征，通过预设的本地嵌入模型，获取第二特征；
[0009]所述联邦发起方和所述联邦参与方根据所述第一特征和所述第二特征，通过预设的本地FM模型，获取所述本地FM模型的输出结果；
[0010]所述联邦发起方和所述联邦参与方根据所述第二特征，通过预设的本地深度模
型，获取所述本地深度模型的输出结果；
[0011]所述联邦发起方和所述联邦参与方根据所述的第二特征，对所述第二特征进行累和，获取第三特征；
[0012]所述联邦参与方将所述本地FM模型的输出结果、所述本地深度模型的输出结果以及所述第三特征发送给联邦发起方；
[0013]所述联邦发起方根据所述第三特征、所述联邦发起方对应的本地FM模型的输出结果以及所述联邦参与方对应的本地FM模型的输出结果，通过预设的全局FM模型，获取全局FM模型的输出结果；
[0014]所述联邦发起方根据所述联邦参与方对应的本地深度模型的输出结果、所述联邦发起方对应的本地深度模型的输出结果，通过预设的全局深度模型，获取全局深度模型的输出结果；
[0015]所述联邦发起方对所述全局FM模型的输出结果、以及所述全局深度模型的输出结果进行累和，得到所述联邦营销模型的输出结果。
[0016]在一种可选的实施方式中，
[0017]联邦发起方和联邦参与方基于本地的初始营销特征，通过预设的本地稀疏模型，获取第一特征的方法包括：
[0018]判断所述本地的初始营销特征是否有空缺值的特征，
[0019]若是，则对本地的初始营销特征进行稀疏化；
[0020]所述对本地的初始营销特征进行稀疏化的方法包括：
[0021]对所述初始营销特征的每一维数据进行稀疏化处理，
[0022]若所述初始营销特征为连续型特征，则对该特征进行分箱处理；
[0023]若所述初始营销特征为离散型特征，则对该特征进行数据编码；
[0024]其中，所述第一特征为初始营销特征的稀疏表示，其空间维度大于所述初始营销特征的空间维度。
[0025]在一种可选的实施方式中，
[0026]所述联邦发起方和所述联邦参与方根据所述初始营销特征和所述第一特征，通过预设的本地嵌入模型，获取第二特征的方法包括：
[0027]将所述初始营销特征的每一维特征对应的第一特征，输入所述本地嵌入模型对应的嵌入网络中，获取所述初始营销特征的每一维特征对应的稠密特征，
[0028]其中，所述本地嵌入模型包括多个嵌入网络，所述嵌入网络的数量与所述初始营销特征的维度相同，所述各嵌入网络的输出维度相同；
[0029]所述初始营销特征的每一维特征对应的稠密特征即为所述第二特征；
[0030]其中，所述第二特征用于指示所述第一特征的稠密表示，其空间维度小于所述第一特征的空间维度。
[0031]在一种可选的实施方式中，
[0032]所述联邦营销模型还包括本地因子分解模型，所述方法还包括：
[0033]所述联邦发起方和所述联邦参与方根据所述第一特征和所述第二特征，通过所述本地因子分解模型，分别获取一阶特征线性组合结果和二阶特征交叉组合结果，
[0034]其中，所述一阶特征线性组合结果，由所述第一特征经过所述本地因子分解模型
中预设的线性组合模型得到；
[0035]所述二阶特征交叉组合结果，由所述第二特征经过所述本地因子分解模型中预设的交叉组合模型得到。
[0036]在一种可选的实施方式中，
[0037]所述多个参与方中包括一个联邦发起方，所述方法还包括：
[0038]所述联邦发起方发起跨特征联邦营销训练任务，定义训练参数，并将所述训练参数发送至除联邦发起方以外的联邦参与方；
[0039]所述联邦发起方，根据所述训练参数以及预先获取的训练数据，训练联邦发起方对应的特征嵌入模型、本地FM模型、本地深度模型；
[0040]根据联邦发起方对应的所述本地模型的输出结果以及联邦参与方发送的本地模型的输出结果，训练所述全局FM模型以及所述全局深度模型，直至各个模型达到预设训练条件；
[0041]除联邦发起方以外的联邦参与方，根据所述训练参数以及预先获取的训练数据以及联邦发起方发送来的模型更新信息，训练除联邦发起方以外的联邦参与方对应的特征嵌入模型、本地FM模型以及本地深度模型，直至各个模型达到预设训练条件。
[0042]本公开实施例的第二方面，提供一种基于FM和深度学习的跨特征联邦营销建模装置，联邦营销模型包括本地模型和全局模型，所述本地模型包括本地稀疏模型、本地嵌入模型、本地FM模型、以及本地深度模型；所述全局模型包括全局FM模型和全局深度模型，所述装置包括：
[0043]第一单元，用于联邦本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于FM和深度学习的跨特征联邦营销建模方法，其特征在于，联邦营销模型包括本地模型和全局模型，所述本地模型包括本地稀疏模型、本地嵌入模型、本地FM模型、以及本地深度模型；所述全局模型包括全局FM模型和全局深度模型，所述方法包括：联邦发起方和联邦参与方基于本地的初始营销特征，通过预设的本地稀疏模型，获取第一特征；所述联邦发起方和所述联邦参与方根据所述初始营销特征和所述第一特征，通过预设的本地嵌入模型，获取第二特征；所述联邦发起方和所述联邦参与方根据所述第一特征和所述第二特征，通过预设的本地FM模型，获取所述本地FM模型的输出结果；所述联邦发起方和所述联邦参与方根据所述第二特征，通过预设的本地深度模型，获取所述本地深度模型的输出结果；所述联邦发起方和所述联邦参与方根据所述的第二特征，对所述第二特征进行累和，获取第三特征；所述联邦参与方将所述本地FM模型的输出结果、所述本地深度模型的输出结果以及所述第三特征发送给联邦发起方；所述联邦发起方根据所述第三特征、所述联邦发起方对应的本地FM模型的输出结果以及所述联邦参与方对应的本地FM模型的输出结果，通过预设的全局FM模型，获取全局FM模型的输出结果；所述联邦发起方根据所述联邦参与方对应的本地深度模型的输出结果、所述联邦发起方对应的本地深度模型的输出结果，通过预设的全局深度模型，获取全局深度模型的输出结果；所述联邦发起方对所述全局FM模型的输出结果、以及所述全局深度模型的输出结果进行累和，得到所述联邦营销模型的输出结果。2.根据权利要求1所述的方法，其特征在于，联邦发起方和联邦参与方基于本地的初始营销特征，通过预设的本地稀疏模型，获取第一特征的方法包括：判断所述本地的初始营销特征是否有空缺值的特征，若是，则对本地的初始营销特征进行稀疏化；所述对本地的初始营销特征进行稀疏化的方法包括：对所述初始营销特征的每一维数据进行稀疏化处理，若所述初始营销特征为连续型特征，则对该特征进行分箱处理；若所述初始营销特征为离散型特征，则对该特征进行数据编码；其中，所述第一特征为初始营销特征的稀疏表示，其空间维度大于所述初始营销特征的空间维度。3.根据权利要求1所述的方法，其特征在于，所述联邦发起方和所述联邦参与方根据所述初始营销特征和所述第一特征，通过预设的本地嵌入模型，获取第二特征的方法包括：将所述初始营销特征的每一维特征对应的第一特征，输入所述本地嵌入模型对应的嵌入网络中，获取所述初始营销特征的每一维特征对应的稠密特征，其中，所述本地嵌入模型包括多个嵌入网络，所述嵌入网络的数量与所述初始营销特征的维度相同，所述各嵌入网络的输出维度相同；
所述初始营销特征的每一维特征对应的稠密特征即为所述第二特征；其中，所述第二特征用于指示所述第一特征的稠密表示，其空间维度小于所述第一特征的空间维度。4.根据权利要求1所述的方法，其特征在于，所述联邦营销模型还包括本地因子分解模型，所述方法还包括：所述联邦发起方和所述联邦参与方根据所述第一特征和所述第二特征，通过所述本地因子分解模型，分别获取一阶特征线性组合结果和二阶特征交叉组合结果，其中，所述一阶特征线性组合结果，由所述第一特征经过所述本地因子分解模型中预设的线性组合模型得到；所述二阶特征交叉组合结果，由所述第二特征经过所述本地因子分解模型中预设的交叉组合模型得到。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述多个参与方中包括一个联邦发起方，所述方法还包括：所述联邦发起方发起跨特征联邦营销训练任务，定义训练参数，并将所述训练参数发送至除联邦发起方以外的联邦参与方；所述联邦发起方，根据所述训练参数以及预先获取的训练数据，训练联邦发起方对应的特征嵌入模型、本地FM模型、本地深度模型；根据联邦发起方对应的所述本地模型的输出结果以及联邦参与方发送的本地模型的输出结果，训练所述全局FM模型以及所述全局深度模型，直至各个模型达到预设训练条件；除联邦发起方以外的联邦参与方，根据所述训练参数以及预先获取的训练数据以及联邦发起方发送来的模型更新信息，训练除联邦发起方以外的联邦参与方对应的特征嵌入模型、本地FM模型以及本地深度模型，直至各个模型达到预...

【专利技术属性】
技术研发人员：朱帆，张宇，孟丹，李宏宇，李晓林，
申请(专利权)人：同盾控股有限公司，
类型：发明
国别省市：