广告竞价方法、装置、电子装置及计算机可读介质制造方法及图纸

本公开提供一种广告竞价方法、装置、电子装置及计算机可读介质，该广告竞价方法包括：基于增强学习算法进行建模，得到竞价请求、出价与收益之间关系的竞价模型；对所述竞价模型进行优化，得到优化的出价策略；对于实时的竞价请求通过所述竞价模型以及所述优化的出价策略，给出与所述实时的竞价请求相对应的出价。基于增强学习算法进行建模，得到竞价请求、收益与出价之间的关系，无需进行大量的人工参数调整，降低复杂度。

【技术实现步骤摘要】
广告竞价方法、装置、电子装置及计算机可读介质
本公开总体涉及互联网
，具体而言，涉及一种广告竞价方法、装置、电子装置及计算机可读介质。
技术介绍
需求方平台(Demand-sideplatform，简称DSP)是一种服务于广告主的广告投放平台，接受广告主在多个广告交易平台(Adexchange，简称ADX)投放广告的请求，参与实时的广告竞价，购买目标受众。同付费搜索相似，DSP允许广告主基于关键绩效指标(PerformanceIndicator，简称KPI)优化广告投放策略，比如千次点击花费(effectiveCostPerClick，简称eCPC)等。实时竞价(Real-timebidding，简称RTB)是一种以单次展现为单位，买卖广告库存(媒体广告位)的程序化竞价方式。以常见的应用场景为例，广告投放平台购买媒体的展现机会，赢得本次竞价后，广告会展现在媒体的广告位，用户点击广告链接，带来流量，媒体对广告投放平台计费；用户点击广告主投放的广告并达到计费标准后，系统对广告主计费。因此，对于每次展现机会的出价策略，决定了广告主的投资回报率以及平台的盈利能力。基于上述，现有技术方案中至少存在如下问题：由于有各项人工干预系数，出价模型的优化目标与竞价系统的目标并不一致，系统效果需要大量人工调整参数才能实现最优。因此，现有技术中的技术方案还存在有待改进之处。在所述
技术介绍
部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。
技术实现思路
本公开提供一种广告竞价方法、装置、电子装置及计算机可读介质，解决上述技术问题。本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。根据本公开的一方面，提供一种竞价方法，包括：基于增强学习算法进行建模，得到竞价请求、出价与收益之间关系的竞价模型；对所述竞价模型进行优化，得到优化的出价策略；对于实时的竞价请求通过所述竞价模型以及所述优化的出价策略，给出与所述实时的竞价请求相对应的出价。在本公开的一个实施例中，所述基于增强学习算法进行建模包括：响应所述竞价请求进行竞价，得到所述出价；对所述出价进行离散化处理，得到多个出价离散值；如果竞价成功则根据所述多个出价离散值分别计算得到所述收益，其中所述收益为需求方平台对广告主的计费与广告交易平台对所述需求方平台的计费之差。在本公开的一个实施例中，响应所述竞价请求之前，还包括：将所述竞价请求变换为自然语言。在本公开的一个实施例中，得到多个出价离散值之后，还包括：当每一个所述出价离散值高于实际价格时，复制一次实时数据流；所述实时数据流为(x,b,r,p)，其中x为所述竞价请求，b为所述出价，r为所述收益，p为所述实际价格。在本公开的一个实施例中，在建模过程中，对曝光数据、点击日志以及计费日志按照时间顺序进行实时拼接，得到所述实时数据流，其中所述曝光数据为针对所述竞价请求竞价成功展现给用户的数据，所述点击日志为用户点击媒体广告位时生成的日志数据，所述计费日志为所述用户点击所述媒体广告位时需求方平台对广告主的计费以及广告交易平台对所述需求方平台的计费的日志数据。在本公开的一个实施例中，所述竞价模型建模之前还包括：基于已有的竞价信息优化得到初始出价策略。根据本公开的再一方面，提供一种广告竞价装置，包括：建模模块，用于基于增强学习算法进行建模，得到竞价请求、出价与收益之间关系的竞价模型；优化模块，用于对所述竞价模型进行优化，得到优化的出价策略；出价模块，用于对于实时的竞价请求通过所述竞价模型以及所述优化的出价策略，给出与所述实时的竞价请求相对应的出价。在本公开的一个实施例中，所述建模模块包括：响应子模块，用于响应所述竞价请求进行竞价，得到所述出价；离散子模块，用于对所述出价进行离散化处理，得到多个出价离散值；计算子模块，用于如果竞价成功则根据所述多个出价离散值分别计算得到所述收益，其中所述收益为需求方平台对广告主的计费与广告交易平台对所述需求方平台的计费之差。根据本公开的又一方面，提供一种电子装置，包括处理器；存储器，存储用于所述处理器控制如上所述的操作的指令。根据本公开的另一方面，提供一种计算机可读介质，其上存储有计算机可执行指令，其特征在于，所述可执行指令被处理器执行时实现如上所述的广告竞价方法。根据本公开实施例提供的广告竞价方法、装置、电子装置及计算机可读介质，其中广告竞价方法基于增强学习算法进行建模，得到竞价请求、收益与出价之间的关系，无需进行大量的人工参数调整，降低复杂度。应当理解的是，以上的一般描述和后文的细节描述仅是示例性的，并不能限制本公开。附图说明通过参照附图详细描述其示例实施例，本公开的上述和其它目标、特征及优点将变得更加显而易见。图1示出本公开一实施例中提供的一种广告竞价方法的步骤流程图。图2示出本公开一实施例中步骤S10的步骤流程图。图3示出本公开实施例中竞价过程请求转移示意图。图4示出本公开实施例中完成广告竞价的架构图。图5示出本公开实施例中用户与广告交易平台和需求方平台交互的示意图。图6示出本公开实施例中竞价模型和竞价环境逐步优化的过程示意图。图7示出本公开另一实施例中提供的一种广告竞价装置的示意图。图8示出本公开一实施例提供的适于用来实现本申请实施例的电子装置的计算机系统的结构示意图。具体实施方式现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本公开的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知结构、方法、装置、实现、材料或者操作以避免喧宾夺主而使得本公开的各方面变得模糊。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。以广告竞价为例，使用商品的平均每千次展现所需要的花费(effectivecostpermille，简称ECPM)作为出价。ECPM＝PCTR*ECPC，其中ECPC是商品的平均千次点击所带来的花费或预估花费，PCTR是商品在请求目标广告位的点击率预估值。在实际应用中，系统出价还会有其他人工干预可调节的系数，控制出价。使用增强学习预估目标商品在某一次请求的出价，例如SS-MDP(SponsoredSearchMDP，搜索引擎马尔科夫决策过程，微软提出的一种将搜索引擎账户优化抽象为MDP的方式)或RLB(Reinforcementtobid，一种基于增强学习的账户优化方法)，但是现有的增强学本文档来自技高网...

【技术保护点】
一种广告竞价方法，其特征在于，包括：基于增强学习算法进行建模，得到竞价请求、出价与收益之间关系的竞价模型；对所述竞价模型进行优化，得到优化的出价策略；对于实时的竞价请求通过所述竞价模型以及所述优化的出价策略，给出与所述实时的竞价请求相对应的出价。

【技术特征摘要】
1.一种广告竞价方法，其特征在于，包括：基于增强学习算法进行建模，得到竞价请求、出价与收益之间关系的竞价模型；对所述竞价模型进行优化，得到优化的出价策略；对于实时的竞价请求通过所述竞价模型以及所述优化的出价策略，给出与所述实时的竞价请求相对应的出价。2.根据权利要求1所述的广告竞价方法，其特征在于，所述基于增强学习算法进行建模包括：响应所述竞价请求进行竞价，得到所述出价；对所述出价进行离散化处理，得到多个出价离散值；如果竞价成功则根据所述多个出价离散值分别计算得到所述收益，其中所述收益为需求方平台对广告主的计费与广告交易平台对所述需求方平台的计费之差。3.根据权利要求2所述的广告竞价方法，其特征在于，响应所述竞价请求之前，还包括：将所述竞价请求变换为自然语言。4.根据权利要求2所述的广告竞价方法，其特征在于，得到多个出价离散值之后，还包括：当每一个所述出价离散值高于实际价格时，复制一次实时数据流；所述实时数据流为(x,b,r,p)，其中x为所述竞价请求，b为所述出价，r为所述收益，p为所述实际价格。5.根据权利要求4所述的广告竞价方法，其特征在于，在建模过程中，对曝光数据、点击日志以及计费日志按照时间顺序进行实时拼接，得到所述实时数据流，其中所述曝光数据为针对所述竞价请求竞价成功展现给用户的数据，所述点击日志为用户点击媒体广...

【专利技术属性】
技术研发人员：王玉，刘佳毅，刘宇翔，李满天，郝君，
申请(专利权)人：北京京东尚科信息技术有限公司，北京京东世纪贸易有限公司，
类型：发明
国别省市：北京,11