一种基于迁移学习的在线广告受众排序方法技术

一种基于迁移学习的在线广告受众排序方法，旨在根据互联网受众对广告的潜在相关性对受众进行排序，使得预算不足的长尾广告主能够通过购买排序靠前的固定数量的用户进行广告投放。本方法假设用户历史行为域与其对广告的偏好域在不同特征空间里，并通过定义相关性转换矩阵建立两者的关系，以减少非相关用户历史行为信息对其广告偏好的影响，进而提出一种改进的基于迁移学习的相关性计算算法——TransferBM25。在此基础上，该方法通过对广告历史数据的预处理、特征抽取、模型训练以及效果评测四个步骤，得到最终的受众排序模型，并根据该模型对广告受众进行排序，从而使得排序后排名靠前的用户具有更高的广告点击概率。

【技术实现步骤摘要】

本专利技术涉及互联网广告数据预处理、特征抽取、模型训练、效果评测方法，特别涉及一种基于迁移学习的在线广告受众排序方法。
技术介绍
科技与互联网在全球的快速发展，带动了一个具有巨大经济价值的新兴产业——在线广告产业。在线广告区别于传统的线下购买的广告投放模式，具有可交互性、可定制、可跟踪、可送达的特点。根据其特点，为优化在线广告的投放效果，使广告主、媒体、受众的收益最大化，一个新兴的学科“计算广告学”诞生了。“计算广告学”旨在根据给定的用户和上下文内容，通过计算得到与之最匹配的广告并进行精准定向投放。行为定向是在线广告中一种主流的受众定向方式，其根据用户的在线历史行为如搜索和网页浏览日志等，将广告正确的投放给对其感兴趣的用户。传统的行为定向方式通过对用户行为进行建模，按照用户对广告的兴趣偏好输出成百上千的用户分段，且每个用户分段会被给予一个标签，如“体育”、“旅行”等，广告主会通过这些标签来判断是否够购买这些用户分段，以尽可能的将广告投放给对其产品感兴趣的受众。然而，这样的受众选择方法过于依赖人工经验，且用户分段中可能包含数百万的用户，一些长尾广告主由于预算有限无法负担起如此大量的用户。为了有效利用有限的预算，广告主希望选择更小范围的受众。根据用户对广告的潜在兴趣，并通过对广告与用户的相关性排序，广告主选择相关性排序靠前的固定数量的用户进行广告投放，从而获得更好的广告收益。该问题称为受众排序问题。受众排序依赖于传统的行为定向中用户行为历史与其对广告的偏好具有潜在相似性的假设。尽管用户的历史行为与其对广告的潜在兴趣有很强的关联性，但是同一用户不同的历史行为信息并不具有完全相同的潜在兴趣意图。例如，某用户的历史查询中包含较多的“牛仔裤”及“迁移学习”，但这两个查询与其对广告的兴趣意图具有不同层次的关联性。“牛仔裤”更有可能是是对“牛仔裤”服饰感兴趣，如果推荐给其“牛仔裤”的广告，其点击的概率较大；而对于查询“迁移学习”，可能用户只想获得与“迁移学习”的相关概念，而并不能认为其对“迁移学习”的广告感兴趣，何况几乎不存在关于“迁移学习”的广告。综上，本方法提出一种基于迁移学习的在线广告受众排序方法，该方法基于排序学习模型并根据用户对广告的潜在相关性对广告受众进行排序。与传统的行为定向假设不同，本方法假设用户历史行为与用户对广告的潜在兴趣是两个不同的域，存在于不同的特征空间内。通过定义一个转换矩阵建立两个域之间的关系，并提出一种改进的BM25相关性算法——TransferBM25用以减少非相关查询的影响。通过实验表明，本方法提出在线广告受众排序方法是有效的，并且在相同的学习排序模型下，引入迁移知识的TransferBM25在广告点击率提升方面优于传统的BM25相关性算法。
技术实现思路
本专利技术要解决的技术问题是：克服现有技术的不足，提出一种基于迁移学习的在线广告受众排序方法。首先，该方法提出基于排序学习模型，并按用户对广告的潜在相关性对广告受众进行排序。其次，与传统的行为定向假设不同，该方法假设用户历史行为与用户对广告的潜在偏好是两个不同的域，存在于不同的特征空间内。通过定义一个转换矩阵建立两个域之间的关系，并提出一个改进BM25相关性计算算法——TransferBM25，在刻画广告与用户之间的相关性的同时，减少非相关历史行为的影响。最后，该方法提出评价受众排序效果的指标，以验证本方法的正确性与有效性。本专利技术解决其技术问题所采用的技术方案：一种基于迁移学习的在线广告受众排序方法，包括数据预处理、特征抽取、模型训练、效果评测四部分。数据预处理过程如下：1.抽取广告标题及其描述信息；2.从互联网历史日志中，抽取用户长期的搜索引擎查询信息，并将其聚合在一起；特征抽取过程如下：1.提出引入迁移知识的改进BM25算法——TransferBM25，用于计算广告与用户的相关性分数；2.计算用于排序学习模型训练的特征值；模型训练过程如下：1.采用基于pairwise的SVM Ranking排序学习模型进行训练；实验评测过程如下：1.提出用于受众排序效果评价的指标；2.基于训练后的最优模型对测试数据集中的受众进行排序并对其效果进行评测；本专利技术与现有技术相比所具有的优点是：1.本专利技术所述的基于迁移学习的在线广告受众排序方法，基于排序学习模型按用户对广告的潜在相关性对广告受众进行排序，使得排序靠前的用户具有更高的广告点击概率，从而广告主能够有效利用预算，选择靠前的固定数量的用户进行广告投放，获得更好的广告收益。2.本专利技术所述的基于迁移学习的在线广告受众排序方法，与传统的行为定向假设不同，提出用户历史行为与用户对广告的潜在偏好是两个不同的域，存在于不同的特征空间内的假设，并根据该假设提出引入迁移知识的改进BM25相关性算法——TransferBM25，将用户历史行为作为辅助域知识迁移到用户对广告的潜在兴趣的目标域，从而减少非相关查询的影响，帮助排序算法更好地刻画用户对广告的相关性特征。通过实验表明，广告受众通过本方法进行排序后，排序靠前的用户具有更高的广告点击率，且引入迁移知识的TransferBM25算法比传统的BM25算法在该问题上有更好的效果提升。附图说明图1为本专利技术方法整体框架结构图；图2为同一排序模型下，TransferBM25与BM25在指标CTR @N ％a下的对比示意图；图3为同一排序模型下，TransferBM25与BM25在指标Impr@10a下的对比示意图。具体实施方式本专利技术的基于迁移学习的在线广告受众排序方法的整体流程图如图1所示。整体流程包括数据预处理、特征抽取、模型训练、效果评测四部分。(一)数据预处理1.抽取广告标题与描述信息在线广告通常提供广告标题和广告描述来呈现广告的具体内容，广告描述比较于广告标题是对广告内容更详尽的表达。广告标题属于简练的短文本信息，广告描述属于详细的长文本信息。本方法通过对广告标题与描述信息的抽取、分词，并用向量空间模型中的词袋模型来表征一幅在线广告。2.从互联网历史日志中，抽取用户长期的搜索引擎查询信息，并将其聚合在一起在互联网使用场景下，用户搜索查询行为大多发生在搜索引擎上，用户的历史查询内容与用户的兴趣意图有很强的关联，本方法通过对用户的长期历史查询内容进行合并汇总、分词，并用向量空间模型中的词袋模型来表示某一用户。(二)特征抽取1.提出引入迁移知识的改进BM25算法——TransferBM25，用于本文档来自技高网...

【技术保护点】
一种基于迁移学习的在线广告受众排序方法，其特征在于，包括如下步骤：数据预处理、特征抽取、模型训练和效果评测；步骤一：数据预处理过程如下：1)抽取广告标题及其描述信息；2)从互联网历史日志中，抽取用户长期的搜索引擎查询信息，并将其聚合在一起；步骤二：特征抽取过程如下：1)提出引入迁移知识的改进BM25算法——TransferBM25，用于计算广告与用户的相关性分数；2)计算用于排序学习模型训练的特征值；步骤三：模型训练过程如下：1)采用基于Pairwise的SVM Ranking排序学习模型进行训练；步骤四：实验评测过程如下：1)提出用于受众排序效果评价的指标；2)基于训练后的最优模型对测试数据集中的受众进行排序并对其效果进行评测。

【技术特征摘要】
1.一种基于迁移学习的在线广告受众排序方法，其特征在于，包括如下步骤：数据预处理、
特征抽取、模型训练和效果评测；
步骤一：数据预处理过程如下：
1)抽取广告标题及其描述信息；
2)从互联网历史日志中，抽取用户长期的搜索引擎查询信息，并将其聚合在一起；
步骤二：特征抽取过程如下：
1)提出引入迁移知识的改进BM25算法——TransferBM25，用于计算广告与用户的相关性
分数；
2)计算用于排序学习模型训练的特征值；
步骤三：模型训练过程如下：
1)采用基于Pairwise的SVM Ranking排序学习模型进行训练；
步骤四：实验评测过程如下：
1)提出用于受众排序效果评价的指标；
2)基于训练后的最优模型对测试数据集中的受众进行排序并对其效果进行评测。
2.根据权利要求1所述的基于迁移学习的在线广告受众排序方法，其特征在于步骤二：假
设用户历史行为域与其对广告的偏好域在不同特征空间里，并通过定义相关性转换矩阵建立两
者的关系，以减少非相关用户历史行为信息对其广告偏好的影响，定义R(a|q)来表示查询q与
广告a的相关性，其表达式为：
对于与广告相关性很差的查询，使用次数多，而召回的广告少，因此R(a|q)分值会很低；
而对于与广告相关性较强的查询而言，R(a|q)则会得到较高的分值；定义转换矩阵
T[i,j]＝R(aj|qi)，则引入迁移知识的用户查询矩阵为Utransfer＝Uquery*T，其中Uquery为原始用户
查询矩阵。
3.根据权利要求2所述的基于迁移学习的在线广告受众排序方法，其特征在于：步骤二中
所述的TransferBM25方法如下：
对于给定的广告A，用户U以及包含关键词q1...qn的广告查询Q，TransferBM25定义为：
TransferBM 25 ( A , U , Q ) = Σ i = 1 n IDF ( q i ) * R ( A | q i ) * f ( q i , U ) * ( k + 1 ) f ( q i , U ) + k * ( 1 - b + b * | U | avgdl ) ]]>其中f(qi,U)为qi在用户历史查询U中出现的词频，其计算方法为f(qi,U)＝|qi|/|q∈U|，
|U|为用户历史查询中包含的关键词个数，avgl为用户集合中所有用户历史查询中平均包含的

【专利技术属性】
技术研发人员：张立鑫，陈真勇，陈朋杰，熊璋，
申请(专利权)人：北京航空航天大学，
类型：发明
国别省市：北京;11