基于自注意力机制的智能营销系统技术方案

本发明专利技术公开了一种基于自注意力机制的智能营销系统，包括消费者行为及营销序列建模模块、购物前置行为及有效营销策略挖掘模块、有效购物行为推理模块和营销策略决策模块；其使用基于自注意力机制的神经网络模型对消费者行为历程数据及营销历史数据进行关联性序列建模；进而挖掘消费者购物行为与历史营销策略的依赖关系，并依据这些信息进行消费行为序列的探索，从而设计高效的营销方案。相较于现有方法，本发明专利技术考虑了消费者行为的长期相关性，并通过自注意力机制挖掘有效营销策略，进而实现了精准、智能化的营销。智能化的营销。智能化的营销。

【技术实现步骤摘要】
基于自注意力机制的智能营销系统


[0001]本专利技术涉及数字化营销
，尤其是一种基于自注意力机制的智能营销系统。

技术介绍

[0002]随着互联网技术的迅猛发展，线上购物已成为消费活动的主要形式之一，各种电商平台也累积了海量的消费者线上行为数据。如何对这些数据进行深度挖掘，进而精准预测消费者偏好，从而指导电商优化营销策略，对改善消费者线上购物体验、提高商品购买转化率、降低商家营销成本，有着重要意义。针对这一需求，现有方法通常使用马尔科夫模型或者循环卷积网络，对消费者行为进行序列模型。然而，上述方法仅能考虑短时的消费者行为的相关性，无法建模复杂的行为规律。

技术实现思路

[0003]针对现有技术存在的问题，本专利技术提供一种基于自注意力机制的智能营销系统，其使用基于自注意力机制的神经网络模型对消费者行为历程数据及营销历史数据进行关联性序列建模；进而挖掘消费者购物行为与历史营销策略的依赖关系，并依据这些信息进行消费行为序列的探索，从而设计高效的营销方案。相较于现有方法，本专利技术考虑了消费者行为的长期相关性，并通过自注意力机制挖掘有效营销策略，进而实现了精准、智能化的营销。
[0004]本专利技术的技术方案是：基于自注意力机制的智能营销系统，包括消费者行为及营销序列建模模块、购物前置行为及有效营销策略挖掘模块、有效购物行为推理模块和营销策略决策模块；
[0005]所述消费者行为及营销序列建模模块是针对消费者行为历程及所经历的营销决策序列，使用基于自注意力机制的神经网络模型，进行有监督的训练，从而获得可预测消费者下一行为的序列预测模型；
[0006]所述购物前置行为及有效营销策略挖掘模块是基于历史数据，使用自注意力形成的热力图，搜索消费者购物行为所依赖的前置行为和对应的营销策略，从而形成购物前置行为集合和对应的营销策略备选集合；
[0007]所述有效购物行为推理模块通过使用序列预测模型，对消费者的行为历程进行延拓，直至出现购物行为或者延拓长度超过指定上限；其中以购物行为结束的延拓序列即为有效购物行为序列；在挖掘到有效购物行为序列时，该模块将计算采用不同营销策略时，能够引导消费者进行购物的概率，以及对应的营销成本；
[0008]所述营销策略决策模块是针对任一消费者u
n
，进行营销方式的权重分配，以期在不超过营销预算的前提下，最大化购物行为发生概率。
[0009]进一步的，所述消费者行为及营销序列建模模块的具体实现过程如下：
[0010]考虑一电商平台，其消费者集合为其中u
n
为任一消费者，N为消费者
总数；记所有可能的消费者行为的集合为其中M为可能行为的总数；记平台可采取的营销策略的集合为其中K为营销策略的总数；记消费者u
n
的行为及其所经历的营销策略序列为其中l
n
[j]＝(s
nj
,a
nj
)为用户u
n
的第j个行为s
nj
及其当时所经历的营销策略a
nj
，J
n
为消费者u
n
的行为历程的长度；
[0011]步骤11：将所要考察的消费者群体的行为历程及相应的营销策略数据随机划分为训练集和验证集；
[0012]步骤12：将行为历程序列和营销策略序列分别通过行为编码和策略编码，转换为向量形式，并进行拼接，以实现行为信息和策略信息的统合，得到行为和策略融合之后的序列；
[0013]步骤13：采用基于自注意力的神经网络构建模型读入行为和策略融合之后的序列，并预测消费者下一个行为的概率分布；其中所用到的神经网络模型由预设的P个自注意力模块堆叠而成；对消费者u
n
的历史序列经过p个自注意力模块后获得向量序列其中为(s
nj
,a
nj
)对应的向量；第p+1个自注意力模块将对上述向量做如下操作：
[0014](1)将向量映射为向量
[0015][0016][0017][0018]其中：和为待优化的参数矩阵；
[0019](2)通过自注意力层，将向量转变为
[0020][0021]其中：自注意力系数计算如下：
[0022][0023]其中：<
·
,
·
>为向量内积操作；
[0024](3)通过全连接层将向量转变为
[0025][0026]其中：和分别为线性变换参数和偏置参数，f(
·
)为非线性函数；
[0027]步骤14：以消费者的下一个行为作为标签，计算模型输出结果的交叉熵损失；以最小化该损失为优化目标，在训练集上采用随机梯度下降法更新模型参数；
[0028]步骤15：训练过程中每遍历一次训练集，在验证集上计算交叉熵损失；当验证集上的损失值不再发生超出第一阈值设定的变化或者出现超出第二阈值设定的上升时，终止模型训练。
[0029]进一步的，所述购物前置行为及有效营销策略挖掘模块的具体实现过程如下：
[0030]步骤21：对任一消费者u
n
，使用所述序列预测模型对其行为历程，提取最后一层自主力系数形成自注意力热力图矩阵
[0031]步骤22：若消费者u
n
进行过购物行为，在热力图矩阵A
n
中找到该购物行为对应的行，搜索该行中注意力系数高于预设阈值α的项，这些项对应的行为即为购物前置行为，亦即最有可能导致购物的前置行为；
[0032]步骤23：记购物前置行为集合为对中的每一个前置行为s，统计其对应的营销策略，形成营销策略备选集合这些营销策略即为行为s下，能够有效引导消费者进行购物的策略。
[0033]进一步的，所述有效购物行为推理模块的具体实现过程如下：
[0034]考虑对消费者u
n
的行为序列l
n
进行延拓，设延拓次数上限为T次；具体步骤如下：
[0035]步骤31：初始化集合为空，用于记录有效购物行为序列；初始化集合为空，用于记录有效购物序列行为对应的概率值；初始化集合为空，用于记录有效购物序列行为对应的营销成本；
[0036]步骤32：初始化延拓序列l
′
n
＝l
n
，序列概率值营销成本
[0037]步骤33：以l
′
n
为输入，使用序列模型预测用户的下一个行为的概率分布；
[0038]步骤34：以步骤33所述概率分布对下一个行为进行随机采样，记采样所得行为为s
next
，设其所对应的概率值为p
s
，更新序列似然值若s
next
是有效购物前置行为那么从其对应的营销策略备选集合中随机选取一个营销策略a
next
，更新营销成本其中c
next
为采用策略a本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于自注意力机制的智能营销系统，其特征在于：包括消费者行为及营销序列建模模块、购物前置行为及有效营销策略挖掘模块、有效购物行为推理模块和营销策略决策模块；所述消费者行为及营销序列建模模块是针对消费者行为历程及所经历的营销决策序列，使用基于自注意力机制的神经网络模型，进行有监督的训练，从而获得可预测消费者下一行为的序列预测模型；所述购物前置行为及有效营销策略挖掘模块是基于历史数据，使用自注意力形成的热力图，搜索消费者购物行为所依赖的前置行为和对应的营销策略，从而形成购物前置行为集合和对应的营销策略备选集合；所述有效购物行为推理模块通过使用序列预测模型，对消费者的行为历程进行延拓，直至出现购物行为或者延拓长度超过指定上限；其中以购物行为结束的延拓序列即为有效购物行为序列；在挖掘到有效购物行为序列时，该模块将计算采用不同营销策略时，能够引导消费者进行购物的概率，以及对应的营销成本；所述营销策略决策模块是针对任一消费者u
n
，进行营销方式的权重分配，以期在不超过营销预算的前提下，最大化购物行为发生概率。2.根据权利要求1所述的基于自注意力机制的智能营销系统，其特征在于：所述消费者行为及营销序列建模模块的具体实现过程如下：考虑一电商平台，其消费者集合为其中u
n
为任一消费者，N为消费者总数；记所有可能的消费者行为的集合为其中M为可能行为的总数；记平台可采取的营销策略的集合为其中K为营销策略的总数；记消费者u
n
的行为及其所经历的营销策略序列为其中l
n
[j]＝(s
nj
,a
nj
)为用户u
n
的第j个行为s
nj
及其当时所经历的营销策略a
nj
，J
n
为消费者u
n
的行为历程的长度；步骤11：将所要考察的消费者群体的行为历程及相应的营销策略数据随机划分为训练集和验证集；步骤12：将行为历程序列和营销策略序列分别通过行为编码和策略编码，转换为向量形式，并进行拼接，以实现行为信息和策略信息的统合，得到行为和策略融合之后的序列；步骤13：采用基于自注意力的神经网络构建模型读入行为和策略融合之后的序列，并预测消费者下一个行为的概率分布；其中所用到的神经网络模型由预设的P个自注意力模块堆叠而成；对消费者u
n
的历史序列经过p个自注意力模块后获得向量序列其中为(s
nj
,a
nj
)对应的向量；第p+1个自注意力模块将对上述向量做如下操作：(1)将向量映射为向量映射为向量映射为向量
其中：和为待优化的参数矩阵；(2)通过自注意力层，将向量转变为转变为其中：自注意力系数计算如下：其中：<
·
,
·
>为向量内积操作；(3)通过全连接层将向量转变为转变为其中：和分别为线性变换参数和偏置参数，f(
·
)为非线性函数；步骤14：以消费者的下一个行为作为标签，计算模型输出结果的交叉熵损失；以最小化该损失为优化目标，在训练集上采用随机梯度下降法更新模型参数；步骤15：训练过程中每遍历一次训练集，在验证集上计算交叉熵损失；当验证集上的损失值不再发生超出第一阈值设定的变化或者出现超出第二阈值设定的上升时，终止模型训...

【专利技术属性】
技术研发人员：赵硕，李昕，杨波，
申请(专利权)人：上海欣兆阳信息科技有限公司，
类型：发明
国别省市：