基于随机梯度攻击的广告点击预测方法技术

本发明专利技术提供一种基于随机梯度攻击的广告点击预测方法，该方法充分考虑到广告数据中的离散性数据和连续性数据的不同特点，针对嵌入层和网络层的不同情况，分别采用了随机性和非随机性的数学建模，并将两种数学建模予以组合，由此兼顾不同情况。同时，在数学模型中，可以灵活调整每个特征数据的攻击概率，且可攻击的相关特征数据也可以灵活调整，确保了数学模型的灵活性。型的灵活性。型的灵活性。

【技术实现步骤摘要】
基于随机梯度攻击的广告点击预测方法


[0001]本专利技术涉及人工智能领域，具体而言，涉及一种基于随机梯度攻击的广告点击预测方法。

技术介绍

[0002]对抗训练是一种在深度学习领域广泛应用的方法，最初用于提升计算机视觉任务的算法稳定性。它通过利用梯度攻击构造对抗样本，从而使神经网络对噪声和扰动具有更强的鲁棒性。但是，在自然语言处理领域，由于神经网络的输入是离散的符号，无法直接利用梯度攻击来构造对抗样本。而在广告领域中，广告数据也包含大量的字符串数据和离散数据，因此类似于自然语言处理领域的情况，也无法在深度学习的对抗训练中直接利用梯度攻击来构造对抗样本。
[0003]目前，针对对抗训练的方法包括了一系列的技术，如FGSM、FGM、PGD、FreeAT、YOPO、FreeLb和SMART等。当前的改进方向主要集中在两个方面：如何找到最大的扰动以及如何提高对抗训练的速度。
[0004]传统的FGSM和FGM方法在一步计算中很难找到约束内的最优点。相比之下，PGD、FreeLB和SMART等技术通过多次迭代逐步调整扰动，以寻找最大扰动。PGD方法通过分步计算并将超出扰动半径的扰动映射回最大扰动球面上，但它只利用最后一次的梯度进行更新。FreeLB则取每一次的梯度进行加权平均，以获得更准确的扰动更新。SMART方法与其他对抗训练方法不同，它引入了两种对抗正则损失，并将其直接添加到模型的损失函数中。总之，对抗训练的最新改进主要集中在如何找到最大扰动以及如何提高训练速度上。
[0005]以上列举的对抗训练各有所长，但是其主要是应用于计算机领域和自然语言处理领域。然而，相比于自然语言的处理，广告领域既有类似之处，又有显著区别。一方面，广告领域中的语言存在大量的字符串类型，跟自然语言处理领域类似，可以采用先对字符串特征进行字符编码。但另一方面，广告领域的广告特征与自然语言的显著区别在于，并不是所有广告特征都是稀疏的离散类别特征，也会存在一些连续的数值特征。在这种情况下不可以对连续的数值特征进行攻击，对连续的数值特征进行攻击可能会影响特征数值本身的含义。还需要注意的是，传统的随机梯度攻击是只针对嵌入（embedding）层攻击，但是实际上梯度干扰的情况会不仅发生在嵌入层，可能也会发生在网络结构中，一旦梯度干扰发生会严重影响模型的隐向量，从而影响模型的准确率。

技术实现思路

[0006]本专利技术提供一种基于人工智能的网购系统，有效地解决了衣服网上购物所存在的上述问题。
[0007]具体而言，本专利技术提供一种基于随机梯度攻击的广告点击预测方法，其特征在于，所述方法包括如下步骤：收集与广告点击相关的广告特征数据；所述广告特征数据顺次经嵌入层、深度神经网络、隐藏层，获得数据计算结果；在广告特征数据经过嵌入层之时针对
广告特征数据中的离散型数据进行基于第一数学模型进行对抗训练，所述第一数学模型为：
[0008]在广告特征数据经过深度神经网络中的第一网络层时在第一网络层中构建如下第二数学模型：
[0009]将所述第一数学模型和第二数学模型相结合，形成针对所述数据计算结果的综合数学模型：
[0010]上述综合数学模型的含义是，在训练数据集D上寻求最优参数θ以最小化扰动Δ引发的结构化风险，其中，训练数据集D是由广告特征数据构成的集合， L是损失函数， f为神经网络，ε表示扰动的约束常数，要求||Δ||≤ε，h
l
表示广告特征数据经过第一网络层处理后输出的隐向量，p
l
为每个广告特征数据被梯度攻击的概率，x表示源自于训练数据集的输入数据，y表示由于扰动Δ引发的需要拟合的真实数据。
[0011]可选地，所述广告特征数据分为用户数据和对象数据。
[0012]可选地，所述用户数据和所述对象数据并行地各自经过其嵌入层、深度神经网络、隐藏层的处理，各自获得用户数据计算结果和对象数据计算结果，在计算用户数据计算结果和对象数据计算结果彼此间的相似度距离。
[0013]可选地，所述用户数据包括广告所针对的用户群体的年龄段、地域分布、用户喜好，所述对象数据可以包括广告对象的市场占有率、产地分布、对象产品外观。
[0014]优选地，在所述第一数学模型中，表示每个广告特征数据被梯度攻击的概率的参数p
l
符合伯努利分布，由此令，其中l表示广告特征数据的编号。
[0015]本专利技术所提供的基于随机梯度攻击的广告点击预测方法充分考虑到广告数据中的离散性数据和连续性数据的不同特点，针对嵌入层和网络层的不同情况，分别采用了随机性和非随机性的数学建模，并将两种数学建模予以组合，由此兼顾不同情况。同时，在数学模型中，可以灵活调整每个特征数据的攻击概率，且可攻击的相关特征数据也可以灵活调整，确保了数学模型的灵活性。
附图说明
[0016]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，以下将对实施例或现有技术描述中所需要使用的附图进行论述，显然，在结合附图进行描述的技术方案仅仅是本专利技术的一些实施例，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可
以根据这些附图所示实施例得到其它的实施例及其附图。
[0017]图1示出了根据本专利技术的基于随机梯度攻击的广告点击预测方法所依据的示例性双塔结构示意图。
[0018]图2示出了根据本专利技术的基于随机梯度攻击的广告点击预测方法的基本流程图。
具体实施方式
[0019]以下将结合附图对本专利技术各实施例的技术方案进行清楚完整描述，显然，所描述的实施例仅为本专利技术的一部分实施例，而不是全部实施例。基于本专利技术中所述的实施例，本领域普通技术人员在不需要创造性劳动的前提下所得到的所有其它实施例，都在本专利技术所保护的范围内。
[0020]如上文所述，由于广告领域的广告数据包含大量的字符串数据和离散数据，因此无法直接利用梯度攻击来构造对抗样本。但是，广告领域的广告特征数据往往需要经嵌入层被转换为嵌入数据输入到神经网络进行训练。如果这些转换得到的嵌入数据具有强鲁棒性，则会对模型的预测性能产生积极影响。因此，本专利技术所提供的基于随机梯度攻击的广告点击预测方法将考虑对广告特征数据转换得到的嵌入数据进行随机梯度攻击。通过这样的攻击方式，可以提升嵌入数据的鲁棒性，进而改善广告领域的预测效果。
[0021]在本专利技术中，通过对广告数据经嵌入层转换的嵌入数据进行适当的随机梯度攻击，可以使嵌入数据具备期望的良好鲁棒性。如此一来，嵌入数据不仅能够抵御噪声和扰动的影响，还能够提高预测模型对广告数据的理解和处理能力。通过这种方式，可以在广告领域中提升广告数据分析模型的稳定性和预测性能，进而改善广告相关任务的广告效应。
[0022]具体而言，本专利技术的基于随机梯度的广告点击方法可例如基于双塔模型对广告点击进行预测。图1示出了根据本专利技术的基于随机梯度攻击的广告点击预测方法所基于的双塔模型的示意图。
[0023]如图1所示，与点击特定广告相关的广告特征数据可分为用户数据和对象本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于随机梯度攻击的广告点击预测方法，其特征在于，所述方法包括如下步骤：收集与广告点击相关的广告特征数据；所述广告特征数据顺次经嵌入层、深度神经网络、隐藏层，获得数据计算结果；在广告特征数据经过嵌入层之时针对广告特征数据中的离散型数据进行基于第一数学模型进行对抗训练，所述第一数学模型为：在广告特征数据经过深度神经网络中的第一网络层时在第一网络层中构建如下第二数学模型：将所述第一数学模型和第二数学模型相结合，形成针对所述数据计算结果的综合数学模型：上述综合数学模型的含义是，在训练数据集D上寻求最优参数θ以最小化扰动Δ引发的结构化风险，其中，训练数据集D是由广告特征数据构成的集合， L是损失函数， f为神经网络，ε表示扰动的约束常数，要求||Δ||≤ε，h
l
表示广告特征数据经过第一网络层处理后输出的隐向量，p
l
为每个广告特征数据被梯度攻击的概率，x表示源自于训练数据集的输入数据，y表示由于扰动Δ引发的...

【专利技术属性】
技术研发人员：朱火庚，林远平，蔡棱，沈鑫杰，
申请(专利权)人：广州钛动科技股份有限公司，
类型：发明
国别省市：