一种基于产品评论分析用户情感倾向的方法及系统技术方案

本发明专利技术公开一种基于产品评论分析用户情感倾向的方法及系统，涉及自然语言处理技术领域，本方法的实现包括：定义爬虫工具，爬取产品评论，得到初始数据集；对初始数据集进行预处理；利用Text‑Rank算法对预处理后数据集进行关键词提取，并标记关键词的情感倾向；定义Bayesian LSTM训练模型和停止模型训练的训练停止函数，用大部分关键词训练Bayesian LSTM训练模型，得到情感倾向分析结果；将小部分关键词输入模型得到情感倾向分析结果，并与人为计算小部分关键词的情感倾向进行相似度比较，在相似度超过设定阈值时，模型通过验证并作为情感倾向预测模型，将剩余小部分关键词输入预测模型，预测分析产品评论的情感倾向。本发明专利技术通过获取产品评论得出用户对产品的情感倾向。

【技术实现步骤摘要】
一种基于产品评论分析用户情感倾向的方法及系统
本专利技术涉及自然语言处理
，具体的说是一种基于产品评论分析用户情感倾向的方法及系统。
技术介绍
互联网时代，各种社交媒体、电商网站、社会服务网站等快速兴起和发展，人们发表言论的途径日益增加，互联网上产生了大量的关于商品、服务、热点等的评论信息，这些评论信息表达了人们对这些事物不同的观点和态度，如喜欢、厌恶、赞同和反对等。从这些信息中，无论个人还是企业，都能从中挖掘出对自己有益的信息，对于个人，我们可以大概了解一件商品的性价比等信息以帮助我们决策这件商品是否值得购买；对于企业，可以从中看出客户对公司产品的满意度和忠诚度等信息以帮助企业更好地规划产品定位和营销群体等，对更好地服务客户有一个比较清晰的方向。
技术实现思路
基于此，本专利技术提供一种基于产品评论分析用户情感倾向的方法及系统，以通过产品评论分析用户的情感倾向，以帮助公司能更好地规划产品，更好地服务客户，提高客户对公司的满意度。首先，本专利技术的一种基于产品评论分析用户情感倾向的方法，解决上述技术问题采用的技术方案如下：一种基于产品评论分析用户情感倾向的方法，该方法的实现过程包括：步骤1、定义爬取产品评论的爬虫工具；步骤2、利用定义的爬虫工具爬取公司产品评论页的html页面并抽取出其中的评论相关信息，得到初始的数据集；步骤3、对初始数据集进行预处理，得到预处理后的数据集；步骤4、利用Text-Rank算法，对预处理后的数据集进行关键词提取，形成关键词数据集，并标记关键词的情感倾向；步骤5、定义BayesianLSTM训练模型和训练停止函数，用标记有情感倾向的关键词数据集训练BayesianLSTM训练模型，得到情感倾向的分析结果，训练停止函数在BayesianLSTM训练模型将要出现过拟合或欠拟合时及时停止BayesianLSTM训练模型的训练；步骤6、将剩余小部分标记有情感倾向的关键词数据集输入BayesianLSTM训练模型得到情感倾向的分析结果，人为计算剩余小部分标记有情感倾向的关键词数据集的情感倾向，比较前述两者的相似度，在相似度超过设定阈值时，BayesianLSTM训练模型通过验证并作为情感倾向预测模型，将剩余另一小部分关键词数据集输入情感倾向预测模型，预测分析得出产品评论包含的情感倾向。进一步的，步骤2中，对初始数据集进行预处理的过程依次包括：去除无用的符号，对文本进行分词，去除停用词，对类别数据进行量化处理，对文本数据进行序列化处理。进一步的，在执行步骤5之前，需要将步骤4处理后的关键词数据集随机划分成训练集和测试集，再将训练集随机划分成训练子集和验证子集，随后，利用训练子集包含的数据训练BayesianLSTM训练模型，在训练停止函数停止BayesianLSTM训练模型的训练时，利用验证子集包含的数据验证BayesianLSTM训练模型，验证通过后，再将测试集输入BayesianLSTM训练模型，预测分析产品评论包含的情感倾向。优选的，利用分割函数train_test_split()，将关键词数据集按照9:1或8:2或7:3的比例随机划分成训练集和测试集，再利用分割函数train_test_split()，将训练集按照9:1或8:2或7:3的比例随机划分成训练子集和验证子集。进一步的，用户情感倾向有五个满意度级别，五个满意度级别对应的区间分别是0-20％、20％-40％、40％-60％、60％-80％、80％-100％，BayesianLSTM训练模型根据关键词个数和所属情感倾向进行计算，根据计算结果所属区间，判定情感倾向的满意度级别。更进一步的，训练BayesianLSTM训练模型之前，先将训练子集、验证子集、测试集三者分别通过Embedding层转换为固定尺寸的稠密向量，随后利用转换为稠密向量的训练子集训练BayesianLSTM训练模型，利用转换为稠密向量的验证子集验证BayesianLSTM训练模型，将转换为稠密向量的测试集输入BayesianLSTM训练模型，来预测分析产品评论包含的情感倾向。更进一步的，执行步骤6的过程中，训练子集的全部数据训练BayesianLSTM训练模型后，即完成一个epoch，此时，用验证子集验证刚完成一个epoch训练的BayesianLSTM训练模型，将BayesianLSTM训练模型的分析结果和人为计算结果的相似度记录为验证损失；随着epoch次数的增加，记录的验证损失先逐渐降低后逐渐上升，至设定次数的epoch后，若记录的验证损失仍然处于上升趋势，训练停止函数及时停止BayesianLSTM训练模型的训练。更进一步的，执行步骤6的过程中，每一个epoch开始时，将训练子集的输出空间维度设定为1，激活函数设定为sigmoid函数，使用均方误差mse和自适应估计adam算法作为优化算法不断训练更新BayesianLSTM训练模型的参数。其次，本专利技术还提供一种基于产品评论分析用户情感倾向的系统，解决上述技术问题采用的技术方案如下：一种基于产品评论分析用户情感倾向的系统，其结构包括：爬取模块，用于爬取公司产品评论页的html页面并抽取出其中的评论相关信息，得到初始的数据集；预处理模块，用于对爬取模块得到的初始数据集进行预处理，得到预处理后的数据集，所述预处理过程包括去除无用的符号，对文本进行分词，去除停用词，对类别数据进行量化处理，对文本数据进行序列化处理；Text-Rank算法模块，用于对预处理后的数据集进行关键词提取，形成关键词数据集；标记模块，用于标记关键词数据集中任一关键词的情感倾向；划分模块，用于将关键词数据集随机划分成训练集和测试集，再将训练集随机划分成训练子集和验证子集；转换模块，用于将训练子集、验证子集、测试集三者分别通过Embedding层转换为固定尺寸的稠密向量；构建处理模块，用于构建BayesianLSTM训练模型和训练停止函数，并用标记有情感倾向且转换为稠密向量的训练子集训练BayesianLSTM训练模型，得到用户的情感倾向分析结果，其中，用户情感倾向有五个满意度级别，五个满意度级别对应的区间分别是0-20％、20％-40％、40％-60％、60％-80％、80％-100％，BayesianLSTM训练模型根据关键词个数和所属情感倾向进行计算，根据计算结果所属区间，判定情感倾向的满意度级别；训练停止函数在BayesianLSTM训练模型将要出现过拟合或欠拟合时及时停止BayesianLSTM训练模型的训练；验证判定模块，用于将标记有情感倾向且转换为稠密向量的验证子集输入BayesianLSTM训练模型得到情感倾向的分析结果，并与人为计算剩余小部分标记有情感倾向的关键词数据集得到的情感倾向进行相似度比较，在相似度超过设定阈值时，将BayesianLSTM训练模型作为情感倾向预测模型，将转换为稠密向量的测试集输入情感倾向预测模型，预测分析得出产品评论包含本文档来自技高网...

【技术保护点】
1.一种基于产品评论分析用户情感倾向的方法，其特征在于,该方法的实现过程包括：/n步骤1、定义爬取产品评论的爬虫工具；/n步骤2、利用定义的爬虫工具爬取公司产品评论页的html页面并抽取出其中的评论相关信息，得到初始的数据集；/n步骤3、对初始数据集进行预处理，得到预处理后的数据集；/n步骤4、利用Text-Rank算法，对预处理后的数据集进行关键词提取，形成关键词数据集，并标记关键词的情感倾向；/n步骤5、定义Bayesian LSTM训练模型和训练停止函数，用标记有情感倾向的关键词数据集训练Bayesian LSTM训练模型，得到情感倾向的分析结果，训练停止函数在BayesianLSTM训练模型将要出现过拟合或欠拟合时及时停止Bayesian LSTM训练模型的训练；/n步骤6、将剩余小部分标记有情感倾向的关键词数据集输入Bayesian LSTM训练模型得到情感倾向的分析结果，人为计算剩余小部分标记有情感倾向的关键词数据集的情感倾向，比较前述两者的相似度，在相似度超过设定阈值时，Bayesian LSTM训练模型通过验证并作为情感倾向预测模型，将剩余另一小部分关键词数据集输入情感倾向预测模型，预测分析得出产品评论包含的情感倾向。/n...

【技术特征摘要】
1.一种基于产品评论分析用户情感倾向的方法，其特征在于,该方法的实现过程包括：
步骤1、定义爬取产品评论的爬虫工具；
步骤2、利用定义的爬虫工具爬取公司产品评论页的html页面并抽取出其中的评论相关信息，得到初始的数据集；
步骤3、对初始数据集进行预处理，得到预处理后的数据集；
步骤4、利用Text-Rank算法，对预处理后的数据集进行关键词提取，形成关键词数据集，并标记关键词的情感倾向；
步骤5、定义BayesianLSTM训练模型和训练停止函数，用标记有情感倾向的关键词数据集训练BayesianLSTM训练模型，得到情感倾向的分析结果，训练停止函数在BayesianLSTM训练模型将要出现过拟合或欠拟合时及时停止BayesianLSTM训练模型的训练；
步骤6、将剩余小部分标记有情感倾向的关键词数据集输入BayesianLSTM训练模型得到情感倾向的分析结果，人为计算剩余小部分标记有情感倾向的关键词数据集的情感倾向，比较前述两者的相似度，在相似度超过设定阈值时，BayesianLSTM训练模型通过验证并作为情感倾向预测模型，将剩余另一小部分关键词数据集输入情感倾向预测模型，预测分析得出产品评论包含的情感倾向。


2.根据权利要求1所述的一种基于产品评论分析用户情感倾向的方法，其特征在于，步骤2中，对初始数据集进行预处理的过程依次包括：去除无用的符号，对文本进行分词，去除停用词，对类别数据进行量化处理，对文本数据进行序列化处理。


3.根据权利要求1所述的一种基于产品评论分析用户情感倾向的方法，其特征在于，在执行步骤5之前，需要将步骤4处理后的关键词数据集随机划分成训练集和测试集，再将训练集随机划分成训练子集和验证子集，随后，利用训练子集包含的数据训练BayesianLSTM训练模型，在训练停止函数停止BayesianLSTM训练模型的训练时，利用验证子集包含的数据验证BayesianLSTM训练模型，验证通过后，再将测试集输入BayesianLSTM训练模型，预测分析产品评论包含的情感倾向。


4.根据权利要求3所述的一种基于产品评论分析用户情感倾向的方法，其特征在于，利用分割函数train_test_split()，将关键词数据集按照9:1或8:2或7:3的比例随机划分成训练集和测试集，再利用分割函数train_test_split()，将训练集按照9:1或8:2或7:3的比例随机划分成训练子集和验证子集。


5.根据权利要求3所述的一种基于产品评论分析用户情感倾向的方法，其特征在于，所述用户情感倾向有五个满意度级别，五个满意度级别对应的区间分别是0-20％、20％-40％、40％-60％、60％-80％、80％-100％，BayesianLSTM训练模型根据关键词个数和所属情感倾向进行计算，根据计算结果所属区间，判定情感倾向的满意度级别。


6.根据权利要求3所述的一种基于产品评论分析用户情感倾向的方法，其特征在于，训练BayesianLSTM训练模型之前，先将训练子集、验证子集、测试集三者分别通过Embedding层转换为固定尺寸的稠密向量，随后利用转换为稠密向量的训练子集训练BayesianLSTM训练模型，利用转换为稠密向量的验证子集验证BayesianLSTM训练模型，将转换为稠密向量的测试集输入BayesianLSTM训练模型，来预测分析产品评论包含的情感倾向。


7.根据权利要求3所述的一种基于产品评论分析用户情感倾向的方法，其特征在于，执行...

【专利技术属性】
技术研发人员：王洪添，叶秋萍，方亚东，徐宏伟，宋设，姚民伟，
申请(专利权)人：山东浪潮云服务信息科技有限公司，
类型：发明
国别省市：山东;37