一种基于神经网络模型的用户流失预测方法技术

本发明专利技术公开了一种基于神经网络模型的用户流失预测方法，包括获取用户的评论文本；将所述评论文本输入预先构建的特征神经网络中，基于所述特征神经网络提取并聚合评论文本的语义特征；根据所述评论文本的语义特征进行用户流失预测，并输出用户流失预测结果。本发明专利技术结合BERT网络模型和NetVLAD网络模型，提取并聚合用户评论文本的语义特征，实现了语义特征细粒度的提取；通过对NetVLAD网络模型的输出结果进行对比学习，使评论文本语义特征有了明确的实际含义，增强了模型的可解释性；将评论文本语义特征和用户行为数据输入至分类器中，实现用户流失预测，提高了预测结果的真实性和准确性，便于电商企业更好地进行营销管理调整。整。整。

【技术实现步骤摘要】
一种基于神经网络模型的用户流失预测方法


[0001]本专利技术涉及人工智能
，具体涉及一种基于神经网络模型的用户流失预测方法。

技术介绍

[0002]流失用户，是指那些曾经访问过网站或注册过的用户，但由于对网站渐渐失去兴趣后逐渐远离网站，进而彻底脱离网站的那批用户。当前，电商企业在注重吸引和发展新用户的同时，更要重视现有的用户，而留住现有用户的前提是了解现有用户，预测用户流失的可能性，在用户体现出流失征兆之前采取相应的挽留措施。
[0003]在电商企业所采用的现有用户流失预测方法中，包括使用传统的BERT模型提取评论文本的语义特征，进而基于语义特征进行用户流失预测。但现有方法所提取的语义特征缺少评论文本的细粒度语义信息，容易造成预测结果不准确，且所提取的语义特征不具备明确的实际含义，导致所用神经网络模型的可解释性低。

技术实现思路

[0004]针对现有技术中的缺陷，本专利技术提供一种基于神经网络模型的用户流失预测方法，包括：
[0005]获取用户的评论文本；
[0006]将所述评论文本输入预先构建的特征神经网络中，基于所述特征神经网络提取并聚合评论文本的语义特征；
[0007]根据所述评论文本的语义特征进行用户流失预测，并输出用户流失预测结果。
[0008]进一步地，在获取用户的评论文本之前，还包括预先构建特征神经网络，所述特征神经网络包括BERT网络模型和NetVLAD网络模型；
[0009]所述BERT网络模型包括BPE分词模块和Self/>‑
Attention特征提取模块；
[0010]所述NetVLAD网络模型引入softmax函数。
[0011]进一步地，所述将所述评论文本输入预先构建的特征神经网络中，基于所述特征神经网络提取并聚合评论文本的语义特征，包括：
[0012]将所述评论文本输入至BERT网络模型中，通过所述BPE分词模块采用BPE算法将所述评论数据进行分词处理，生成维度为B
×
N的分词结果；
[0013]基于BERT预训练词表将所述维度为B
×
N的分词结果转换为B
×
N
×
D向量；
[0014]基于所述Self
‑
Attention特征提取模块对所述B
×
N
×
D向量进行语义特征提取；
[0015]其中，B表示评论文本数，N表示分词结果数，D表示每个分词结果的维度。
[0016]进一步地，所述基于所述Self
‑
Attention特征提取模块对所述B
×
N
×
D向量进行语义特征提取，具体为：
[0017]Self
‑
Attention特征提取模块加权融合所述B
×
N
×
D向量中所有分词结果的语义信息；
[0018]对所述加权融合后的B
×
N
×
D向量进行残差连接、层次标准化以及线性转换处理，得到并输出B
×
N
×
D语义增强向量。
[0019]进一步地，所述将所述评论文本输入预先构建的特征神经网络中，基于所述特征神经网络提取并聚合评论文本的语义特征，还包括：
[0020]将所述B
×
N
×
D语义增强向量输入至NetVLAD网络模型中，对所述B
×
N
×
D语义增强向量形成K个聚类中心；
[0021]计算所述B
×
N
×
D语义增强向量到K个聚类中心的距离，得到B
×
N
×
D语义增强向量与聚类中心差异的分布结果；
[0022]基于所述分布结果进行加权计算，将所述B
×
N
×
D语义增强向量转换为B
×
K
×
D向量，以进行语义特征的聚合。
[0023]进一步地，所述基于所述局部特征到K个聚类中心的距离进行加权计算，包括：采用softmax函数进行权重调整。
[0024]进一步地，所述将所述评论文本输入预先构建的特征神经网络中，基于所述特征神经网络提取并聚合评论文本的语义特征，还包括：
[0025]将所述B
×
K
×
D向量结合用户评论真实特征进行对比学习，以明确所述B
×
K
×
D向量的语义特征实际含义；
[0026]输出所述对比学习后的B
×
K
×
D向量。
[0027]进一步地，所述根据所述评论文本的语义特征进行用户流失预测，并输出用户流失预测结果，具体为：
[0028]获取用户行为数据；
[0029]将所述用户行为数据和对比学习后的B
×
K
×
D向量输入至分类器中，以进行用户流失预测；
[0030]输出用户流失预测结果。
[0031]进一步地，所述分类器包括全连接层、ReLU激活函数以及Dropout模块，所述全连接层与ReLU激活函数连接，ReLU激活函数与Dropout模块连接，Dropout模块与全连接层连接。
[0032]进一步地，所述用户行为数据包括但不限于购买频次、消费总金额以及最大消费金额。
[0033]本专利技术的有益效果体现在：结合BERT网络模型和NetVLAD网络模型，提取并聚合用户评论文本的语义特征，实现了语义特征细粒度的提取；通过对NetVLAD网络模型的输出结果进行对比学习，使评论文本语义特征有了明确的实际含义，增强了NetVLAD网络模型的可解释性；将评论文本语义特征和用户行为数据输入至分类器中，实现用户流失预测，提高了预测结果的真实性和准确性，便于电商企业更好地进行营销管理调整。
附图说明
[0034]为了更清楚地说明本专利技术具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。在所有附图中，类似的元件或部分一般由类似的附图标记标识。附图中，各元件或部分并不一定按照实际的比例绘制。
[0035]图1为本专利技术实施例提供的一种基于神经网络模型的用户流失预测方法的流程
图。
具体实施方式
[0036]下面将结合附图对本专利技术技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本专利技术的技术方案，因此只作为示例，而不能以此来限制本专利技术的保护范围。
[0037]需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本专利技术所属领域技术人员所理解的通常意义。
[0038]如图1所示，一种基于神经网络模型的用户流失预测方法，包括：
[0039]S1：获取用户的评论文本；...

【技术保护点】

【技术特征摘要】
1.一种基于神经网络模型的用户流失预测方法，其特征在于，包括：获取用户的评论文本；将所述评论文本输入预先构建的特征神经网络中，基于所述特征神经网络提取并聚合评论文本的语义特征；根据所述评论文本的语义特征进行用户流失预测，并输出用户流失预测结果。2.根据权利要求1所述的一种基于神经网络模型的用户流失预测方法，其特征在于，在获取用户的评论文本之前，还包括预先构建特征神经网络，所述特征神经网络包括BERT网络模型和NetVLAD网络模型；所述BERT网络模型包括BPE分词模块和Self
‑
Attention特征提取模块；所述NetVLAD网络模型引入softmax函数。3.根据权利要求2所述的一种基于神经网络模型的用户流失预测方法，其特征在于，所述将所述评论文本输入预先构建的特征神经网络中，基于所述特征神经网络提取并聚合评论文本的语义特征，包括：将所述评论文本输入至BERT网络模型中，通过所述BPE分词模块采用BPE算法将所述评论数据进行分词处理，生成维度为B
×
N的分词结果；基于BERT预训练词表将所述维度为B
×
N的分词结果转换为B
×
N
×
D向量；基于所述Self
‑
Attention特征提取模块对所述B
×
N
×
D向量进行语义特征提取；其中，B表示评论文本数，N表示分词结果数，D表示每个分词结果的维度。4.根据权利要求3所述的一种基于神经网络模型的用户流失预测方法，其特征在于，所述基于所述Self
‑
Attention特征提取模块对所述B
×
N
×
D向量进行语义特征提取，具体为：Self
‑
Attention特征提取模块加权融合所述B
×
N
×
D向量中所有分词结果的语义信息；对所述加权融合后的B
×
N
×
D向量进行残差连接、层次标准化以及线性转换处理，得到并输出B
×
N
×
D语义增强向量。5.根据权利要求4所述的一种基于神经网络模型的用户流失预测方法，其特征在于，所述将所述评论文本输入预先构建的特征神经网络中，基于所...

【专利技术属性】
技术研发人员：孙超，孙智，
申请(专利权)人：孙智，
类型：发明
国别省市：