一种使用深度学习预估制造技术

本申请涉及深度学习

【技术实现步骤摘要】
一种使用深度学习预估AIGC生成广告点击通过率的方法


[0001]本申请涉及深度学习
、AIGC、
并行结构
CTR
预估
、
域矩阵因子分解机技术，特别是涉及一种使用深度学习预估
AIGC
生成广告点击通过率的方法
。

技术介绍

[0002]AIGC(AI
‑
Generated Content)
指的是人工智能生成内容
。
它可以利用机器学习和深度学习算法来生成各种形式的广告内容，包括文案
、
图片和视频等
。
与传统广告生成方式相比，
AIGC
能够显著提高广告生成的效率和精准度
。
此外，
AIGC
还可以不断优化广告内容，提高广告的点击率和转化率，从而为广告主带来更好的营销效果
。
[0003]推荐系统通常由召回和排序两个模块组成
。
其中，点击通过率
(Click
‑
Through Rate)
预估属于排序模块的一部分
。
点击通过率的预估值会影响系统对用户的后续推荐以及推荐项目的重要性，因此其准确性是提高用户体验和平台收益的关键因素
。
在工业的
CTR
预估建模场景中，使用的数据集通常是极度稀疏且维度很高
。
因此，模型需要通过有效的特征交互来挖掘深层信息，以提高模型的精度和鲁棒性r/>。
[0004]CTR
预估最初是通过传统的机器学习算法进行建模，如逻辑回归模型
LR
和决策树模型
LightGBM
，这些模型简单直观，但表达能力不强，无法进行特征交互，造成了信息的损失
。FM
通过两个特征嵌入向量的内积来表示二阶交互特征的权重，解决了传统机器学习算法无法有效进行特征交互的问题
。
随着神经网络的发展，近年来兴起的基于深度学习的
CTR
模型具有以端到端方式捕获特征交互的能力，摆脱了手动特征工程和预定公式的障碍
。
例如：
Wide&Deep、DeepFM、xDeepFM、DIN、DIEN。
这些基于深度学习的
CTR
模型，联合学习显式和隐式的特征交互并实现显著的性能提升
。
以上所提及的深度学习
CTR
模型，根据其组合网络方式的区别，可以分为两个系列：串行结构和并行结构
[6]。
具有串行结构的模型采用串行的方式的结合两个网络，一个用于显式特征交互，另一个用于隐式特征交互，例如
DIN、DIEN
；而并行结构则以并行的方式来结合两个网络，例如
Wide&Deep、DeepFM、xDeepFM。
本文主要关注于并行结构的深度学习
CTR
模型
。Wide&Deep
作为并行结构的鼻祖，是由单层的
Wide
部分和多层的
Deep
部分组合成的混合模型
。
其设计初衷和最大的价值是同时具备较强的“记忆能力”和“泛化能力”。“记忆能力”可以被理解为模型直接学习并利用原始数据中物品或特征共现频率的能力
。“泛化能力”可以被理解为模型发掘稀疏特征与标签相关性的能力
。
一般来说，
LR、FM
等浅层模型有较强的记忆能力；而深度神经网络
(Deep Neural Network
，
DNN)
等深层模型通过特征的多次组合，可以发掘数据中潜藏的信息，这就是浅层模型所缺乏的泛化能力
。Wide&Deep
需要人工构造特征，导致模型表达能力受限
。DeepFM
将
Wide&Deep
中的
Wide
部分替换为
FM
，使模型具有自动组合特征的能力，再使用
DNN
拟合高阶特征，但
DeepFM
浅层部分的
FM
模型较为简单，未考虑到多语义问题，忽略了不同语义空间中的特征交互，而且
DeepFM
的深层模型
DNN
会随着网络层数的增加而使模型过度泛化，导致预测的准确率降低
。
[0005]多语义概念最早出现在自然语言处理，同一个词在与不同词组合时具有不同的含
义
。
在推荐系统领域，特征交互时的多义性最早引用在
FFM
，效果相比
FM
得到了很大提升，但其表达特征交互多义性的方式导致模型复杂度和参数量剧增，在工业中一般不使用
。
在
FM
与
FFM
的基础上，
Yahoo
提出了域矩阵因子分解机
(Field
‑
matrixed Factorization Machine
，
FmFM)
，使用域矩阵来解决多语义问题，
FmFM
比
FFM
大大减少了算法的复杂度
。

技术实现思路

[0006]总而言之，目前并行结构
CTR
预估模型存在浅层模型准确性低
、
未考虑特征交互时的多语义问题
、
参数过多
、
深层模型过度泛化等问题
。
本专利技术旨在解决以上现有技术的问题
。
本专利技术提出了一种使用深度学习预估
AIGC
生成广告点击通过率的方法，目的是改进现有的点击通过率预估模型在特征交互方面的不足，提升模型预估效果的准确性
。
[0007]本专利技术采用的技术方案如下：
[0008]本专利技术提供的一种使用深度学习预估
AIGC
生成广告点击通过率的方法，其包括以下步骤：
[0009]1)
以
DeepFM
为基础，浅层模型部分使用
FmFM
替代原有的
FM
，而深层模型部分则将桥接
DNN
使用增强深度神经网络
EDNN
，最后将两者并行连接，以建立新的
CTR
预估模型
。
[0010]2)
获取数据集
。
获取
CTR
预估所需的真实场景的数据集，将数据集按照8：1：1的比率划分为
CTR
预估任务所需的训练集
、
验证集和测试集
。
并根据数据集中特征的类型，将特征分成离散特征和连续特征
。
[0本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种使用深度学习预估
AIGC
生成广告点击通过率的方法，其特征在于：包括以下步骤：
1)
获取并获取点击通过率预估所需的数据集，根据8：1：1的比例划分为训练集
、
验证集和测试集；
2)
数据输入层，对数据集进行预处理，将连续特征离散化，并且对离散特征进行独热编码；
3)
在特征嵌入层，使用嵌入技术，将
2)
中输出的高维稀疏的特征向量转变为低维且稠密的特征嵌入向量；
4)
特征交互层中的浅层模型，将特征嵌入层的输出输入到特征交互层中的域矩阵因子分解机
(Field
‑
matrixed Factorization Machine
，
FmFM)
，在
FmFM
中通过域矩阵进行低阶特征交互，并且考虑到了特征交互之间的多语义问题
。5)
特征交互层中的深层模型，将特征嵌入层的输出输入到特征交互层中的增强深度神经网络
(Enhanced Deep Neural Network
，
EDNN)
，在
EDNN
中进行高阶特征交互，并且通过桥接模块
(Bridge Module)
来避免过度泛化
。6)
预测层
。
将低阶特征交互和高阶特征交互的结果进行集成，然后通过
Sigmoid
进行非线性映射，将模型预测值映射到
(0,1)
之间，得到最终的
CTR
预估值
。2.
根据权利要求1所述的一种使用深度学习预估
AIGC
生成广告点击通过率的方法，其特征在于，所述的并行结构
CTR
预估模型的浅层模型是
FmFM
，通过域矩阵对特征进行二阶交互，并有效解决了特征交互存在的多语义问题
。3.
根据权利要求1所述的一种使用深度学习预估
AIGC
生成广告点击通过率的方法，其特征在于，所述的并行结构
CTR
预估模型的浅层模型是
EDNN
，通过在普通
DNN
的层与层之间添加桥接模块，防止模型过度泛化
。4.
根据权利要求1所述的一种使用深度学习预估
AIGC
生成广告点击通过率的方法，其特征在于，所述基于所述并行结构
CTR
预估模型的模型架构，将所述浅层模型的输出和所述深层模型的输出进行融合，从而得到
CTR
预估值，具体包...

【专利技术属性】
技术研发人员：陈乔松，黄泽锰，
申请(专利权)人：重庆邮电大学，
类型：发明
国别省市：