基于对比学习的CTR预测模型训练方法、装置及电子设备制造方法及图纸

本申请提供一种基于对比学习的CTR预测模型训练方法、装置及电子设备。该方法包括：将用于CTR预测模型训练的离散特征映射到低维度的稠密向量中，得到原始特征向量；对原始特征向量进行正则化约束，得到特征对齐损失和特征一致性损失；对原始特征向量进行数据增强，得到第一特征向量和第二特征向量，对第一特征向量和第二特征向量进行特征交叉得到中间向量，计算中间向量之间的距离，得到对比学习损失；依据特征对齐损失、特征一致性损失、对比学习损失以及原始CTR预测任务的损失函数生成综合损失函数，利用综合损失函数反向更新模型参数，以便对CTR预测模型进行训练。本申请提高了CTR预测模型训练的泛化性能，从而提升CTR预测模型的预测性能及预测精度。型的预测性能及预测精度。型的预测性能及预测精度。

【技术实现步骤摘要】
基于对比学习的CTR预测模型训练方法、装置及电子设备


[0001]本申请涉及计算机
，尤其涉及一种基于对比学习的CTR预测模型训练方法、装置及电子设备。

技术介绍

[0002]CTR预测用于预测某个项目（如商品、广告等）被点击的概率，它在推荐系统和计算广告等领域有广泛应用。近期的许多方法通过对特征间的复杂互动（称为特征交互）进行建模，实现了性能的提升。
[0003]目前CTR预测方法可以分为两类，第一类采用传统方法，如逻辑回归（LR）和基于因子分解机（FM）的模型，主要对简单的低阶特征交互进行建模；第二类采用基于深度学习的方法（如DeepFM），可以通过捕获高阶特征交互，进一步提高CTR预测的准确性。但是，现有的CTR预测方法仍存在以下问题；高频特征比低频特征有更高的机会被训练，导致低频特征的表示不是最优的。由于大多数CTR预测模型通过反向传播学习特征表示，低频特征由于出现较少而无法得到充分训练，导致次优特征表示，从而导致次优CTR预测性能。这不仅降低模型训练的泛化性能，而且降低模型的预测性能及预测精度。

技术实现思路

[0004]有鉴于此，本申请实施例提供了一种基于对比学习的CTR预测模型训练方法、装置及电子设备，以解决现有技术存在降低模型训练的泛化性能，降低模型的预测性能及预测精度的问题。
[0005]本申请实施例的第一方面，提供了一种基于对比学习的CTR预测模型训练方法，包括：获取用于CTR预测模型训练的离散特征，将离散特征映射到低维度的稠密向量中，得到原始特征向量；利用预定的特征对齐约束以及特征一致性约束分别对原始特征向量进行正则化约束，得到特征对齐损失和特征一致性损失；对原始特征向量进行数据增强，得到第一特征向量和第二特征向量，对第一特征向量和第二特征向量进行特征交叉得到中间向量，计算中间向量之间的距离，得到对比学习损失；依据特征对齐损失、特征一致性损失、对比学习损失以及原始CTR预测任务的损失函数生成综合损失函数，利用综合损失函数反向更新模型参数，以便对CTR预测模型进行训练。
[0006]本申请实施例的第二方面，提供了一种基于对比学习的CTR预测模型训练装置，包括：映射模块，被配置为获取用于CTR预测模型训练的离散特征，将离散特征映射到低维度的稠密向量中，得到原始特征向量；正则化模块，被配置为利用预定的特征对齐约束以及特征一致性约束分别对原始特征向量进行正则化约束，得到特征对齐损失和特征一致性损失；对比学习模块，被配置为对原始特征向量进行数据增强，得到第一特征向量和第二特征向量，对第一特征向量和第二特征向量进行特征交叉得到中间向量，计算中间向量之间的距离，得到对比学习损失；训练模块，被配置为依据特征对齐损失、特征一致性损失、对比学习损失以及原始CTR预测任务的损失函数生成综合损失函数，利用综合损失函数反向更新
模型参数，以便对CTR预测模型进行训练。
[0007]本申请实施例的第三方面，提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述方法的步骤。
[0008]本申请实施例的第四方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现上述方法的步骤。
[0009]本申请实施例采用的上述至少一个技术方案能够达到以下有益效果：通过获取用于CTR预测模型训练的离散特征，将离散特征映射到低维度的稠密向量中，得到原始特征向量；利用预定的特征对齐约束以及特征一致性约束分别对原始特征向量进行正则化约束，得到特征对齐损失和特征一致性损失；对原始特征向量进行数据增强，得到第一特征向量和第二特征向量，对第一特征向量和第二特征向量进行特征交叉得到中间向量，计算中间向量之间的距离，得到对比学习损失；依据特征对齐损失、特征一致性损失、对比学习损失以及原始CTR预测任务的损失函数生成综合损失函数，利用综合损失函数反向更新模型参数，以便对CTR预测模型进行训练。本申请提高了特征表达的鲁棒性，提高了CTR预测模型训练的泛化性能，从而进一步提升CTR预测模型的预测性能及预测精度。
附图说明
[0010]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0011]图1是本申请实施例提供的基于对比学习的CTR预测模型训练方法的流程示意图；图2是本申请实施例提供的基于对比学习的CTR预测模型训练装置的结构示意图；图3是本申请实施例提供的电子设备的结构示意图。
具体实施方式
[0012]以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
[0013]随着企业的数字化转型，以房地产企业为例，通过开发线上小程序和APP，用于新开发项目展示、二手房房源展示、租房房源展示等多种线上看房，同时，通过各种运营活动拉新和推广。其目的除了可以有新的看房方式以外，还可以更方便的收集用户行为数据，从而可以更加多方位的了解客户，建立更全面的用户画像。基于该业务目标，提升用户浏览时长和用户留存，帮助用户快速定位意向房源，提升用户对产品的使用体验，需要CTR模型要去发挥作用。但是，现有的很多CTR预测工作侧重于设计复杂的模型来模拟复杂的特征交互，忽视了特征表示学习的重要性，导致预测性能不高。
[0014]CTR 预测（点击率预测，Click
‑
Through Rateprediction）是一个广告
的任务，用于预测用户在看到一个特定广告后点击该广告的概率。点击率（CTR）是衡量广告效
果的关键指标，它表示用户点击广告的次数与广告展示次数的比率。点击率预测可以帮助广告平台和营销人员更好地理解广告的潜在表现，从而优化广告投放、提高广告投资回报率（ROI）和用户体验。
[0015]在实践中，CTR预测通常通过机器学习算法来实现。这些算法通过分析历史广告展示和点击数据，学习广告特征、用户行为特征以及上下文环境等因素对广告点击概率的影响。然后，在新的广告投放场景中，这些算法可以预测用户是否会点击特定广告。CTR预测是广告系统中的关键组成部分，例如实时竞价（RTB）、关键词广告竞价（如AdWords）和社交媒体广告等。
[0016]CTR 预测用于预测某个项目（如广告）被点击的概率，它在推荐系统和计算广告等领域有广泛应用。近期的许多方法通过对特征间的复杂互动（称为特征交互）进行建模，实现了性能的提升。目前的CTR预测模型训练方法可以分为以下两类：第一类采用传统方法，如逻辑回归（LR）和基于因子分解本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于对比学习的CTR预测模型训练方法，其特征在于，包括：获取用于CTR预测模型训练的离散特征，将所述离散特征映射到低维度的稠密向量中，得到原始特征向量；利用预定的特征对齐约束以及特征一致性约束分别对所述原始特征向量进行正则化约束，得到特征对齐损失和特征一致性损失；对所述原始特征向量进行数据增强，得到第一特征向量和第二特征向量，对所述第一特征向量和第二特征向量进行特征交叉得到中间向量，计算所述中间向量之间的距离，得到对比学习损失；依据所述特征对齐损失、所述特征一致性损失、所述对比学习损失以及原始CTR预测任务的损失函数生成综合损失函数，利用所述综合损失函数反向更新模型参数，以便对所述CTR预测模型进行训练。2.根据权利要求1所述的方法，其特征在于，在所述将所述离散特征映射到低维度的稠密向量中，得到原始特征向量之后，所述方法还包括：利用所述CTR预测模型的CTR预测模块对所述原始特征向量进行特征的相互交叉组合，并利用多层感知机对用户点击物品的概率进行预测，得到用户点击物品的概率值，并确定所述原始CTR预测任务的损失函数。3.根据权利要求1所述的方法，其特征在于，利用特征对齐约束对所述原始特征向量进行正则化约束，得到特征对齐损失，包括：利用所述CTR预测模型的特征正则化模块对相同特征域内的特征向量之间的距离进行计算，并使相同特征域内的特征向量之间的距离最小化，以便将相同特征域内的特征向量对齐，将对齐后的相同特征域内的特征向量的距离之和作为所述特征对齐损失。4.根据权利要求1所述的方法，其特征在于，利用特征一致性约束对所述原始特征向量进行正则化约束，得到特征一致性损失，包括：利用所述CTR预测模型的特征正则化模块对不同特征域间的特征向量的距离进行计算，并使不同特征域间的特征向量的距离最大化，以便将不同特征域间的特征向量之间的距离拉远，将不同特征域间的特征向量的距离之和的负值作为所述特征一致性损失。5.根据权利要求1所述的方法，其特征在于，所述对所述原始特征向量进行数据增强，包括：利用随机屏蔽的方式进行数据增强，利用预设的概率对所述原始特征向量中的元素进行随机屏蔽，以便生成新的训练数据；或者，利用特征屏蔽的...

【专利技术属性】
技术研发人员：董辉，王芳，
申请(专利权)人：深圳须弥云图空间科技有限公司，
类型：发明
国别省市：