训练策略模型的方法、确定广告投放策略的方法和装置制造方法及图纸

本申请实施例提供一种训练策略模型的方法、确定广告投放策略的方法和装置，该训练策略模型的方法包括：获取与广告投放相关的样本信息和网络参数；根据第一时刻的状态、第二时刻的状态、第一时刻的广告投放策略、第一时刻的奖赏值和第一网络参数，计算评价网络的损失值；利用评价网络的损失值对第一网络参数进行更新，得到第三网络参数；根据第一时刻的状态、第一时刻的广告投放策略、第二网络参数和第三网络参数，计算第二网络参数的梯度；根据第二网络参数的梯度，对第二网络参数进行更新。本申请实施例通过上述方案训练得到的策略模型，能够精准地确定广告投放策略，从而能够提升广告投放效果。

【技术实现步骤摘要】
训练策略模型的方法、确定广告投放策略的方法和装置
本申请涉及广告投放
，尤其涉及一种训练策略模型的方法、确定广告投放策略的方法和装置。
技术介绍
商品(例如，零售商品等)的线上广告的投放是其营销活动中重要的组成部分，对线上渠道的销售有着巨大的影响。对于商品的品牌商来说，其通常与电商平台进行合作，从而在电商平台上以多种方式来投放广告。例如，在平台的不同位置的横幅处展示广告、促销活动广告、上下文推荐广告和/或以关键词进行搜索的广告等。在实现本专利技术的过程中，专利技术人发现现有技术中存在如下问题：目前广告投放策略大多是在数据分析的基础上，人工进行决策判断，但是由于影响广告投放效果的影响因子很多，且影响因子之间的关系复杂，从而可能会引起广告的投放效果不佳的问题。
技术实现思路
本申请实施例的目的在于提供一种训练策略模型的方法、确定广告投放策略的方法和装置，以解决现有技术中存在着的由于人工确定广告投放策略的方式导致的广告投放效果不佳的问题。第一方面，本申请实施例提供了一种训练策略模型的方法，策略模型包括本文档来自技高网...

【技术保护点】
1.一种训练策略模型的方法，其特征在于，所述策略模型包括评价网络和用于生成广告投放策略的行为网络，所述方法包括：/n获取与广告投放相关的样本信息和网络参数，其中，所述样本信息包括第一时刻的状态、第二时刻的状态、所述第一时刻的广告投放策略和所述第一时刻的奖赏值，所述网络参数包括所述评价网络的第一网络参数和所述行为网络的第二网络参数；/n根据所述第一时刻的状态、第二时刻的状态、所述第一时刻的广告投放策略、所述第一时刻的奖赏值和所述第一网络参数，计算所述评价网络的损失值；/n利用所述评价网络的损失值对所述第一网络参数进行更新，得到第三网络参数；/n根据所述第一时刻的状态、所述第一时刻的广告投放策略、...

【技术特征摘要】
1.一种训练策略模型的方法，其特征在于，所述策略模型包括评价网络和用于生成广告投放策略的行为网络，所述方法包括：
获取与广告投放相关的样本信息和网络参数，其中，所述样本信息包括第一时刻的状态、第二时刻的状态、所述第一时刻的广告投放策略和所述第一时刻的奖赏值，所述网络参数包括所述评价网络的第一网络参数和所述行为网络的第二网络参数；
根据所述第一时刻的状态、第二时刻的状态、所述第一时刻的广告投放策略、所述第一时刻的奖赏值和所述第一网络参数，计算所述评价网络的损失值；
利用所述评价网络的损失值对所述第一网络参数进行更新，得到第三网络参数；
根据所述第一时刻的状态、所述第一时刻的广告投放策略、所述第二网络参数和所述第三网络参数，计算所述第二网络参数的梯度；
根据所述第二网络参数的梯度，对所述第二网络参数进行更新。


2.根据权利要求1所述的方法，其特征在于，所述策略模型还包括目标评价网络和目标行为网络，所述网络参数还包括所述目标评价网络的第四网络参数和所述目标行为网络的第五网络参数；
所述根据所述第一时刻的状态、第二时刻的状态、所述第一时刻的广告投放策略、所述第一时刻的奖赏值和所述第一网络参数，计算所述评价网络的损失值，包括：
根据所述第四网络参数、所述第五网络参数、所述第二时刻的状态和所述第一时刻的奖赏值，计算与所述第一时刻的广告投放策略对应的目标Q值；
根据所述第一网络参数、所述第一时刻的状态、所述第一时刻的广告投放策略和所述与所述第一时刻的广告投放策略对应的目标Q值，计算所述损失值。


3.根据权利要求1所述的方法，其特征在于，所述第一时刻的奖赏值为所述第一时刻内的投资回报率ROI。


4.根据权利要求1所述的方法，其特征在于，所述第一时刻的状态包括以下信息中的至少一种信息：商品信息、所述第一时刻的时间信息和所述第一时刻内的广告投放信息。


5.根据权利要求1所述的方法，其特征在于，所述第二时刻的状态包括以下信息中的至少一种信息：商品信息、所述第二时刻的时间信息和所述第二时刻内的广告投放信息。


...

【专利技术属性】
技术研发人员：周鹏程，
申请(专利权)人：创新奇智西安科技有限公司，
类型：发明
国别省市：陕西;61