基于构造对抗样本的多目标广告生成系统及其方法技术方案

本发明专利技术提供一种基于构造对抗样本的多目标广告生成系统及其方法，属于对抗神经网络技术领域。所述方法包括：该方法包括：获取关于用户行为的第一类样本集合和第二类样本集合，并获取具有所述第一类样本集合和所述第二类样本集合的相关特征的对抗样本集合；构造待训练召回模型，利用所述第一类样本集合、所述第二类样本集合和所述对抗样本集合训练所述待训练召回模型，获得具有三分类功能的召回模型，将所述召回模型结合预设过滤规则形成生成模型。本发明专利技术既能保证广告和搜索请求的相关性，又能兼顾用户对广告的点击偏好。

【技术实现步骤摘要】
基于构造对抗样本的多目标广告生成系统及其方法
本专利技术涉及对抗神经网络
，具体地涉及一种构造生成模型的方法、一种召回目标结果的方法、一种用于生成模型的系统、一种生成模型、一种用于生产模型的设备和一种计算机可读存储介质。
技术介绍
搜索场景下的广告匹配是一个典型检索问题，可以抽象为生成、粗排序和精排序三个阶段。生成阶段根据用户搜索信息从广告库中检索得到匹配良好(用户搜索意图和广告业务匹配)的候选广告集合；排序阶段根据广告的预估点击率(ctr2)和每千次搜索收入(cpm1)信息等对候选广告进行综合评分并截断，得到最终展现广告集合。传统方案中，生成阶段主要考虑的是广告主投放规则(广告投放时间和地域)，以及广告业务与用户搜索词的语义匹配程度，而排序阶段根据引入的用户个性化信息预估用户对广告的满意程度和预估点击率进行排序和截断，上述传统方案上下游优化目标存在不一致，在历史的计算性能和计算框架背景下是一个折衷的设计。传统方案中，广告生成阶段主要考虑的是广告信息和用户搜索词的语义匹配程度，广告主投放规则(广告投放时间和地域)，传统做法包含两种方式：1)基于词语的匹配：广告主在提广告时，会通过一个短句来描述广告的业务内容，可以称之为广告的买词信息(例如搜索请求是“夏天防紫外线太阳镜”，买词信息则可以是“太阳镜”或“防紫外线眼镜”)；传统做法中，首先对用户搜索请求query进行切词，得到词语集合A；对广告买词进行切词，得到词语集合B；根据词语集合A和B的交集词语个数和长度，作为量化指标来筛选目标展示广告；另外，也会通过技术手段对词语集合A和B进行同义词改写，扩大两个集合产生交集的概率，从而获得更多的广告候选。2)基于模型的匹配：通过有监督学习模型量化搜索请求query和广告买词间的语义相关性。人工标注搜索请求query和广告买词间的相关性，通过机器学习模型学习这些标注数据，从而对任意一条搜索query和买词的pair进行相关性预测。该方案建模过程主要通过自然语言处理手段，对query和买词信息的词法，语法，语义信息进行分析和挖掘，量化两个字符串间的相关性。目前传统的机器学习模型都是通过全连接方式进行建模，神经元之间全部连接。上述传统方案中：1)基于词语的匹配：这种方案基于规则的匹配去量化搜索请求query和广告间的匹配程度，泛化和召回能力有限，使得大量与目标的搜索请求query语义相关但字面不相关的广告无法被召回，限制了广告系统的变现能力；2)基于模型的匹配：该方案相对于1效率上有较大的提升，但是该方法量化目标仅仅是搜索请求query和目标广告的语义相关性，并不会考虑到广告的被点击概率以及用户对该广告的偏好等个性化信息，会导致虽然系统召回的广告和用户搜索query的相关性很好，但是在广告系统下游排序阶段由于点击率低等因素被过滤掉，限制了广告系统整体的效率。另外，全连接的建模方式需要相邻神经层每个神经元之间建立连接，需要大量的计算，在线计算效率不高，对广告在线系统有较大的性能挑战。综合来看，上述两种方式虽然实现方式有差异，但整体围绕相关性这个单一目标生成广告，能保证生成广告候选集和搜索query的相关性，但是没有考虑到广告的预估点击率以及用户对广告的个人偏好，使得这些广告在广告系统下游排序阶段竞争力下降(排序分值score＝预估点击率ctr2×广告出价bid)，导致生成的广告在系统处理下游流程被过滤掉。
技术实现思路
本专利技术的目的是提供一种基于构造对抗样本的多目标广告生成系统及其方法。为了实现上述目的，本专利技术实施例提供一种构造生成模型的方法，该方法包括：S1)获取关于用户行为的第一类样本集合和第二类样本集合，并获取具有所述第一类样本集合和所述第二类样本集合的相关特征的对抗样本集合；S2)构造待训练召回模型，利用所述第一类样本集合、所述第二类样本集合和所述对抗样本集合训练所述待训练召回模型，获得具有三分类功能的召回模型，将所述召回模型结合预设过滤规则形成生成模型。具体的，步骤S1)在获取具有所述第一类样本集合和所述第二类样本集合的相关特征的对抗样本集合之前，包括：S101)获取样本集合，根据用户行为标注所述样本集合内具有对应关系的请求标识符和目标结果；S102)相对所述用户行为的触发状态，将所述用户行为是第一触发状态的所述样本集合内样本划分为第一类样本集合，并将所述用户行为是第二触发状态的所述样本集合内样本划分为第二类样本集合，其中，所述第一类样本集合具有第一类请求标识符和第一类目标结果，所述第二类样本集合具有第二类请求标识符和第二类目标结果。具体的，步骤S1)中获取具有所述第一类样本集合和所述第二类样本集合的相关特征的对抗样本集合，包括：S103)根据所述第一类请求标识符和所述第二类目标结果构建第一触发事件，并根据所述第二类请求标识符和所述第一类目标结果构建第二触发事件，估计所述第一触发事件的第一概率或者估计所述第二触发事件的第二概率，其中，所述第一触发事件包括第一条件和在所述第一条件成立时的触发对象，所述第二触发事件包括第二条件和在所述第二条件成立时的触发对象，所述第一条件为在所述第一类请求标识符中当前选定的请求标识符和在所述第二类目标结果中当前选定的目标结果构成所述对应关系，所述第二条件为在所述第二类请求标识符中当前选定的请求标识符和在所述第一类目标结果中当前选定的目标结果构成所述对应关系，在所述第一条件成立时的触发对象为在所述第一条件成立时所述用户行为是所述第一触发状态，在所述第二条件成立时的触发对象为在所述第二条件成立时所述用户行为是所述第一触发状态；S104)利用在步骤S103)中的所述第一概率或所述第二概率，结合预设加权抽样映射关系，获取当前对抗强度；S105)根据所述当前对抗强度的大小，选择地将与所述第一概率或所述第二概率对应的请求标识符和目标结果，结合预设相关性映射关系，获得当前相关性预测值，在所述当前相关性预测值符合预设相关阈值条件时，再将与所述第一概率或所述第二概率对应的请求标识符和目标结果，标记为对抗样本，返回至步骤S103)，将所有对抗样本形成对抗样本集合。具体的，步骤S105)中的预设相关性映射关系被配置为：利用步骤S103)中的请求标识符的词向量和目标结果的词向量进行向量内积计算；或者，利用步骤S103)中的请求标识符的特征向量和目标结果的特征向量通过预设深度学习模型进行预测。具体的，步骤S2)中构造待训练召回模型，包括：S201)形成用于获取当前请求标识符特征向量的第一输入层、第一隐层和第一全连接层；S202)形成用于获取当前目标结果特征向量的第二输入层、第二隐层和第二全连接层，其中，所述第二输入层和所述第二隐层的层结构相对所述第一输入层和所述第一隐层的层结构为独立，所述第一全连接层和所述第二全连接层具有共用层且所述第一全连接层和所述第二全连接层在所述共用层内进行交叉计算；S20本文档来自技高网...

【技术保护点】
1.一种构造生成模型的方法，其特征在于，该方法包括：/nS1)获取关于用户行为的第一类样本集合和第二类样本集合，并获取具有所述第一类样本集合和所述第二类样本集合的相关特征的对抗样本集合；/nS2)构造待训练召回模型，利用所述第一类样本集合、所述第二类样本集合和所述对抗样本集合训练所述待训练召回模型，获得具有三分类功能的召回模型，将所述召回模型结合预设过滤规则形成生成模型。/n

【技术特征摘要】
1.一种构造生成模型的方法，其特征在于，该方法包括：
S1)获取关于用户行为的第一类样本集合和第二类样本集合，并获取具有所述第一类样本集合和所述第二类样本集合的相关特征的对抗样本集合；
S2)构造待训练召回模型，利用所述第一类样本集合、所述第二类样本集合和所述对抗样本集合训练所述待训练召回模型，获得具有三分类功能的召回模型，将所述召回模型结合预设过滤规则形成生成模型。


2.根据权利要求1所述的构造生成模型的方法，其特征在于，步骤S1)在获取具有所述第一类样本集合和所述第二类样本集合的相关特征的对抗样本集合之前，包括：
S101)获取样本集合，根据用户行为标注所述样本集合内具有对应关系的请求标识符和目标结果；
S102)相对所述用户行为的触发状态，将所述用户行为是第一触发状态的所述样本集合内样本划分为第一类样本集合，并将所述用户行为是第二触发状态的所述样本集合内样本划分为第二类样本集合，其中，所述第一类样本集合具有第一类请求标识符和第一类目标结果，所述第二类样本集合具有第二类请求标识符和第二类目标结果。


3.根据权利要求2所述的构造生成模型的方法，其特征在于，步骤S1)中获取具有所述第一类样本集合和所述第二类样本集合的相关特征的对抗样本集合，包括：
S103)根据所述第一类请求标识符和所述第二类目标结果构建第一触发事件，并根据所述第二类请求标识符和所述第一类目标结果构建第二触发事件，估计所述第一触发事件的第一概率或者估计所述第二触发事件的第二概率；
S104)利用在步骤S103)中的所述第一概率或所述第二概率，结合预设加权抽样映射关系，获取当前对抗强度；
S105)根据所述当前对抗强度的大小，选择地将与所述第一概率或所述第二概率对应的请求标识符和目标结果，结合预设相关性映射关系，获得当前相关性预测值，在所述当前相关性预测值符合预设相关阈值条件时，再将与所述第一概率或所述第二概率对应的请求标识符和目标结果，标记为对抗样本，返回至步骤S103)，将所有对抗样本形成对抗样本集合。


4.根据权利要求3所述的构造生成模型的方法，其特征在于，步骤S105)中的预设相关性映射关系被配置为：
利用步骤S103)中的请求标识符的词向量和目标结果的词向量进行向量内积计算；或者，
利用步骤S103)中的请求标识符的特征向量和目标结果的特征向量通过预设深度学习模型进行预测。


5.根据权利要求1所述的构造生成模型的方法，其特征在于，步骤S2)中构造待训练召回模型，包括：
S201)形成用于获取当前请求标识符特征向量的第一输入层、第一隐层和第一全连接层；
S202)形成用于获取当前目标结果特征向量的第二输入层、第二隐层和第二全连接层，其中，所述第二输入层和所述第二隐层的层结构相对所述第一输入层和所述第一隐层的层结构为独立，所述第一全连接层和所述第二全连接层具有共用层且所述第一全连接层和所述第二全连接层在所述共用层内进行交叉计算；
S203)形成输出层，其中，所述输出层接收步骤S202)中交叉计算的结果且输出属于在与所述第一类样本集合、所述第二类样本集合和所述对抗样本对应的三分类中一类的当前分类结果；
S204)配置所述第一输入层、所述第一隐层、所述第一全连接层、所述第...

【专利技术属性】
技术研发人员：周星玄，陈少鹏，赵莲，刘林，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京;11