基于对比学习的CTR预测模型训练方法、装置及电子设备制造方法及图纸

本申请提供一种基于对比学习的CTR预测模型训练方法、装置及电子设备。该方法包括：将用于CTR预测模型训练的离散特征映射到低维度的稠密向量中，得到原始特征向量；对原始特征向量进行正则化约束，得到特征对齐损失和特征一致性损失；对原始特征向量进行数据增强，得到第一特征向量和第二特征向量，对第一特征向量和第二特征向量进行特征交叉得到中间向量，计算中间向量之间的距离，得到对比学习损失；依据特征对齐损失、特征一致性损失、对比学习损失以及原始CTR预测任务的损失函数生成综合损失函数，利用综合损失函数反向更新模型参数，以便对CTR预测模型进行训练。本申请提高了CTR预测模型训练的泛化性能，从而提升CTR预测模型的预测性能及预测精度。型的预测性能及预测精度。型的预测性能及预测精度。

【技术实现步骤摘要】
基于对比学习的CTR预测模型训练方法、装置及电子设备


[0001]本申请涉及计算机
，尤其涉及一种基于对比学习的CTR预测模型训练方法、装置及电子设备。

技术介绍

[0002]CTR预测用于预测某个项目（如商品、广告等）被点击的概率，它在推荐系统和计算广告等领域有广泛应用。近期的许多方法通过对特征间的复杂互动（称为特征交互）进行建模，实现了性能的提升。
[0003]目前CTR预测方法可以分为两类，第一类采用传统方法，如逻辑回归（LR）和基于因子分解机（FM）的模型，主要对简单的低阶特征交互进行建模；第二类采用基于深度学习的方法（如DeepFM），可以通过捕获高阶特征交互，进一步提高CTR预测的准确性。但是，现有的CTR预测方法仍存在以下问题；高频特征比低频特征有更高的机会被训练，导致低频特征的表示不是最优的。由于大多数CTR预测模型通过反向传播学习特征表示，低频特征由于出现较少而无法得到充分训练，导致次优特征表示，从而导致次优CTR预测性能。这不仅降低模型训练的泛化性能，而且降低模型的预测性能及预测精度。/>
技术实现思路
...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习的CTR预测模型训练方法，其特征在于，包括：获取用于CTR预测模型训练的离散特征，将所述离散特征映射到低维度的稠密向量中，得到原始特征向量；利用预定的特征对齐约束以及特征一致性约束分别对所述原始特征向量进行正则化约束，得到特征对齐损失和特征一致性损失；对所述原始特征向量进行数据增强，得到第一特征向量和第二特征向量，对所述第一特征向量和第二特征向量进行特征交叉得到中间向量，计算所述中间向量之间的距离，得到对比学习损失；依据所述特征对齐损失、所述特征一致性损失、所述对比学习损失以及原始CTR预测任务的损失函数生成综合损失函数，利用所述综合损失函数反向更新模型参数，以便对所述CTR预测模型进行训练。2.根据权利要求1所述的方法，其特征在于，在所述将所述离散特征映射到低维度的稠密向量中，得到原始特征向量之后，所述方法还包括：利用所述CTR预测模型的CTR预测模块对所述原始特征向量进行特征的相互交叉组合，并利用多层感知机对用户点击物品的概率进行预测，得到用户点击物品的概率值，并确定所述原始CTR预测任务的损失函数。3.根据权利要求1所述的方法，其特征在于，利用特征对齐约束对所述原始特征向量进行正则化约束，得到特征对齐损失，包括：利用所述CTR预测模型的特征正则化模块对相同特征域内的特征向量之间的距离进行计算，并使相同特征域内的特征向量之间的距离最小化，以便将相同特征域内的特征向量对齐，将对齐后的相同特征域内的特征向量的距离之和作为所述特征对齐损失。4.根据权利要求1所述的方法，其特征在于，利用特征一致性约束对所述原始特征向量进行正则化约束，得到特征一致性损失，包括：利用所述CTR预测模型的特征正则化模块对不同特征域间的特征向量的距离进行计算，并使不同特征域间的特征向量的距离最大化，以便将不同特征域间的特征向量之间的距离拉远，将不同特征域间的特征向量的距离之和的负值作为所述特征一致性损失。5.根据权利要求1所述的方法，其特征在于，所述对所述原始特征向量进行数据增强，包括：利用随机屏蔽的方式进行数据增强，利用预设的概率对所述原始特征向量中的元素进行随机屏蔽，以便生成新的训练数据；或者，利用特征屏蔽的...

【专利技术属性】
技术研发人员：董辉，王芳，
申请(专利权)人：深圳须弥云图空间科技有限公司，
类型：发明
国别省市：