一种基于神经网络的广告精准投放方法技术

本发明专利技术涉及一种基于神经网络的广告精准投放方法，属于广告技术领域。方法包括以下步骤：获取目标广告对应的各样本潜在意向用户的各样本向量；利用样本向量对深度Q网络进行训练，得到训练好的目标广告对应的目标深度Q网络；获取目标广告对应的各潜在意向用户的目标向量；根据目标广告对应的各潜在意向用户的目标向量和目标深度Q网络，得到下一投放时刻目标广告进行投放的各目标潜在意向用户。本发明专利技术能够减少企业广告费用，还可以使得企业广告投放的效果较好。放的效果较好。放的效果较好。

【技术实现步骤摘要】
一种基于神经网络的广告精准投放方法


[0001]本专利技术涉及广告
，具体涉及一种基于神经网络的广告精准投放方法。

技术介绍

[0002]当前，网络广告已经成为市场营销的重要方式，受到了越来越多企业的关注，而广告的投入不当将导致企业广告费用的浪费和企业经济利益的下滑，因此广告精准投放至关重要；所述广告精准投放主要是指有针对性的投放用户感兴趣或者有用的广告。
[0003]现有的广告精准投放的方法一般是对重点的、有潜在购买意向的用户按照一定的规则进行频繁的沉浸式投放，直到达到营销目的或者长期毫无效果后才会停止投放，这种方式不仅广告投放的效果较差，还会造成企业广告费用的浪费，并且还可能会引起投放用户的厌烦或者使得投放用户觉得隐私被侵犯，因此这种广告投放的效果较差。

技术实现思路

[0004]本专利技术提供一种基于神经网络的广告精准投放方法，用于解决现有广告投放效果较差的问题，所采用的技术方案具体如下：
[0005]本专利技术一个实施例提供了一种基于神经网络的广告精准投放方法包括以下步骤：
[0006]获取目标广告对应的各样本潜在意向用户的各样本向量；
[0007]利用所述样本向量对深度Q网络进行训练，得到训练好的目标广告对应的目标深度Q网络；
[0008]获取目标广告对应的各潜在意向用户的目标向量；根据所述目标广告对应的各潜在意向用户的目标向量和所述目标深度Q网络，得到下一投放时刻目标广告进行投放的各目标潜在意向用户。
[0009]有益效果：本专利技术利用样本向量对深度Q网络进行训练，得到训练好的目标广告对应的目标深度Q网络；根据目标广告对应的各潜在意向用户的目标向量和目标深度Q网络，得到下一投放时刻目标广告进行投放的各目标潜在意向用户。本专利技术能够减少企业广告费用，还可以使得企业广告投放的效果较好。
[0010]优选的，利用协同过滤算法，得到目标广告对应的各潜在意向用户。
[0011]优选的，获取目标广告对应的各样本潜在意向用户的各样本向量的方法，包括：
[0012]获取样本历史时间段；
[0013]按照预设第一时间长度对所述样本历史时间段进行划分，得到各样本历史特征时间段；按照预设第二时间长度对所述样本历史特征时间段进行划分，得到各样本历史子时间段；
[0014]获取各样本潜在意向用户在各样本历史子时间段内浏览过的、点击过的、购买过的所有商品的类型标签；
[0015]根据各样本潜在意向用户在各样本历史子时间段内浏览过的、点击过的、购买过的所有商品的类型标签，构建得到各样本潜在意向用户在各样本历史子时间段对应的样本
向量；任一样本潜在意向用户对应的任一样本向量对应一个样本历史子时间段。
[0016]优选的，目标深度Q网络的训练过程，包括：
[0017]随机选取一个样本向量，记为第一样本向量；将所述第一样本向量输入到深度Q网络中，深度Q网络对应的智能体观测得到状态S1
t
并执行动作a1
t
，判断动作a1
t
是否为对第一样本向量对应的样本潜在意向用户进行目标广告投放，若是，则得到奖励值r1
t
和新的状态S1
t+1
；根据状态S1
t
、执行动作a1
t
、新的状态S1
t+1
以及r1
t
，构建得到转移向量T1，网络根据转移向量T1更新权重，得到更新后的权重W1；
[0018]再随机选取一个样本向量，记为第二样本向量；将所述第二样本向量输入到权重为W1的深度Q网络中，智能体观测得到状态S2
t
并执行动作a2
t
，判断动作a2
t
是否为对第二样本向量对应的样本潜在意向用户进行目标广告投放，若是，则得到奖励值r2
t
和新的状态S2
t+1
；根据状态S2
t
、执行动作a2
t
、新的状态S2
t+1
以及r2
t
，构建得到转移向量T2；网络根据转移向量T2更新权重，得到更新后的权重W2；以此类推，直到训练时间达到预设训练时长时停止网络训练，得到训练好的目标深度Q网络；所述转移向量存储在经验回放池中；任一样本向量对应一个样本潜在意向用户、一个样本历史子时间段以及一个样本历史特征时间段。
[0019]优选的，获得奖励值的方法，包括：
[0020]对于第一样本向量：
[0021]获取对该第一样本向量对应的样本潜在意向用户进行目标广告投放后的各行为状态，所述各行为状态类型包括用户的浏览行为、点击行为、收藏行为、尝试购买行为、购买行为以及购买之后的评价行为和退换货行为；
[0022]判断该第一样本向量对应的样本潜在意向用户是否出现点击行为，若没有出现点击行为，则获取该目标广告在该样本潜在意向用户的显示屏幕中心轴线上的停留总时长；将所述停留总时长与对应权重的乘积，记为第一特征值；获取目标广告单次投放的广告费与对应权重的乘积，记为第二特征值；将所述第一特征值与所述第二特征值的差值，记为对该第一样本向量对应的样本潜在意向用户进行目标广告投放后的奖励值；
[0023]若判断该第一样本向量对应的样本潜在意向用户出现了点击行为，则获取该样本潜在意向用户在进行点击行为之后浏览目标广告的总时长和浏览目标广告过程中输入设备接收到信号的持续总时长；将所述持续总时长与所述浏览目标广告的总时长的比值记为该第一样本向量对应的样本历史子时间段内该样本潜在意向用户的活跃度；根据该样本潜在意向用户出现了点击行为之后的各行为状态，得到该样本潜在意向用户出现了点击行为之后的各行为状态对应的影响值；将该样本潜在意向用户在进行点击行为之后浏览目标广告的总时长与对应权重的乘积，记为第三特征值；将所述各行为状态对应的影响值与对应权重相乘之后的累加和记为第四特征值；将所述该第一样本向量对应的样本历史子时间段内该样本潜在意向用户的活跃度与对应权重的乘积记为第五特征值；将所述第三特征值、所述第四特征值以及所述第五特征值的和，记为第六特征值；将所述第六特征值与所述第二特征值的差值记为对该第一样本向量对应的样本潜在意向用户进行目标广告投放后的奖励值。
[0024]优选的，根据该样本潜在意向用户出现了点击行为之后的各行为状态，得到该样本潜在意向用户出现了点击行为之后的各行为状态对应的影响值的方法，包括：
[0025]若该样本潜在意向用户出现了点击行为之后的收藏行为，则将收藏行为对应的影
响值记为1；若该样本潜在意向用户出现了点击行为之后的尝试购买行为，则将尝试购买行为对应的影响值记为1；若该样本潜在意向用户出现了点击行为之后的购买行为，则将购买行为对应的影响值记为1；若该样本潜在意向用户出现了购买行为之后的评价行为，则将对应的评价等级值记为评价行为对应的影响值；若该样本潜在意向用户出现了购买行为之后的退换货行为，则将退换货行为本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络的广告精准投放方法，其特征在于，该方法包括如下步骤：获取目标广告对应的各样本潜在意向用户的各样本向量；利用所述样本向量对深度Q网络进行训练，得到训练好的目标广告对应的目标深度Q网络；获取目标广告对应的各潜在意向用户的目标向量；根据所述目标广告对应的各潜在意向用户的目标向量和所述目标深度Q网络，得到下一投放时刻目标广告进行投放的各目标潜在意向用户。2.如权利要求1所述的一种基于神经网络的广告精准投放方法，其特征在于，利用协同过滤算法，得到目标广告对应的各潜在意向用户。3.如权利要求1所述的一种基于神经网络的广告精准投放方法，其特征在于，获取目标广告对应的各样本潜在意向用户的各样本向量的方法，包括：获取样本历史时间段；按照预设第一时间长度对所述样本历史时间段进行划分，得到各样本历史特征时间段；按照预设第二时间长度对所述样本历史特征时间段进行划分，得到各样本历史子时间段；获取各样本潜在意向用户在各样本历史子时间段内浏览过的、点击过的、购买过的所有商品的类型标签；根据各样本潜在意向用户在各样本历史子时间段内浏览过的、点击过的、购买过的所有商品的类型标签，构建得到各样本潜在意向用户在各样本历史子时间段对应的样本向量；任一样本潜在意向用户对应的任一样本向量对应一个样本历史子时间段。4.如权利要求3所述的一种基于神经网络的广告精准投放方法，其特征在于，目标深度Q网络的训练过程，包括：随机选取一个样本向量，记为第一样本向量；将所述第一样本向量输入到深度Q网络中，深度Q网络对应的智能体观测得到状态S1
t
并执行动作a1
t
，判断动作a1
t
是否为对第一样本向量对应的样本潜在意向用户进行目标广告投放，若是，则得到奖励值r1
t
和新的状态S1
t+1
；根据状态S1
t
、执行动作a1
t
、新的状态S1
t+1
以及r1
t
，构建得到转移向量T1，网络根据转移向量T1更新权重，得到更新后的权重W1；再随机选取一个样本向量，记为第二样本向量；将所述第二样本向量输入到权重为W1的深度Q网络中，智能体观测得到状态S2
t
并执行动作a2
t
，判断动作a2
t
是否为对第二样本向量对应的样本潜在意向用户进行目标广告投放，若是，则得到奖励值r2
t
和新的状态S2
t+1
；根据状态S2
t
、执行动作a2
t
、新的状态S2
t+1
以及r2
t
，构建得到转移向量T2；网络根据转移向量T2更新权重，得到更新后的权重W2；以此类推，直到训练时间达到预设训练时长时停止网络训练，得到训练好的目标深度Q网络；所述转移向量存储在经验回放池中；任一样本向量对应一个样本潜在意向用户、一个样本历史子时间段以及一个样本历史特征时间段。5.如权利要求4所述的一种基于神经网络的广告精准投放方法，其特征在于，获得奖励值的方法，包括：对于第一样本向量：获取对该第一样本向量对应的样本潜在意向用户进行目标广告投放后的各行为状态，所述各行为状态类型包括用户的浏览行为、点击行为、收藏行为、尝试购买行为、购买行为
以及购买之后的评价行为和退换货行为；判断该第一样本向量对应的样本潜在意向用户是否出现点击行为，若没有出现点击行为，则获取该目标广告在该样本潜在意向用户的显示屏幕中心轴线上的停留总时长；将所述停留总时长与对应权重的乘积，记为第一特征值；获取目标广告单次投放的广告费与对应权重的乘积，记为第二特征值；将所述第一特征值与所述第二特征值的差值，记为对该第一样本向量对应的样本潜在意向用户进行目标广告投放后的奖励值；若判断该第一样本向量对应的样本潜在意向用户出现了点击行为，则获取该样本潜在意向用户在进行点击行为之后浏览目标广告的总时长和浏览目标广告过程中输入设备接收到信...

【专利技术属性】
技术研发人员：华俊，
申请(专利权)人：浙江出海云技术有限公司，
类型：发明
国别省市：