【技术实现步骤摘要】
本专利技术涉及一种基于bert模型和bilstm模型的文本情感分析方法、系统、设备及可读存储介质，属于数据挖掘领域。
技术介绍
1、情感分析是指利用数据挖掘算法对包含情感态度的文本进行自动化情感倾向性分析和判断，这种技术可以帮助人们更好地了解大众舆论对某一事件或产品的看法。近年来，随着信息技术的快速发展，用户通过网络平台表达和传递情绪，产生了大量用户参与的评论信息。这些信息中包含着人们的喜、怒、哀、乐等情感色彩和批评、赞扬等情感倾向。情感分析的应用非常广泛，可以用于商业、政治和社交等多个领域。计算机的介入可以帮助人们更快速地分析、挖掘信息中的潜在价值。通过数据挖掘算法，可以对大量的评论数据进行处理和分析，从而得到有用的信息和结论。
2、在进行情感分析时，需要面临着一系列挑战。首先，难易样本不平衡可能导致模型对某一类别的学习效果不佳，在情感分析任务中，正面和负面情感的样本分布可能存在明显差异，使得模型更容易学习频次较高的类别而对较少出现的类别学习不足。此外，情感分析中还面临情感词汇在不同语境中可能具有多义性的问题，导致歧义的发生。情感词在不同上下文中可能呈现出不同的含义，使得模型难以准确理解和判断文本的情感倾向。部分情感表达可能跨足多个句子的情况，这要求模型具备处理长文本和上下文关系的能力。有些情感信息可能不仅仅局限于单一句子，而是需要考虑多个句子之间的关系，以全面理解文本的情感趋势。
技术实现思路
1、为解决现有技术中存在的技术问题，本专利技术提出一种基于bert模型和
2、(1)接收原始文本后，分割原始文本，得到多个词汇或短语；
3、(2)将处理后的词汇或短语按照一定的比例分成训练集和测试集；
4、(3)采用bert模型对上述词汇或短语进行向量化处理；
5、(4)获取bert模型提供的文本向量化表示后，将数据传递给bilstm模型，捕捉到文本的双向上下文信息，提取和组合文本中的重要特征。
6、进一步地，步骤(4)中，带权重的损失函数其中αt为平衡正负样本的权重的系数，pt为解决难易样本不平衡问题的系数，pi为模型预测时概率；其中α为权重系数为降低或提高某一方样本过多或少对损失权重的贡献，θ≥0为关注度系数。
7、进一步地，步骤(4)中，在捕捉到文本的双向上下文信息，提取和组合文本中的重要特征时，bilstm模型分为输入层、前向层、后向层和输出层，lstm从前往后的更新公式为其中，f1、f2、f3为各层之间的激活函数，erf(x)为互补误差函数；xi表示各时刻对应所输入的数据；mi和ni分别为响应前向、后向迭代的lstm隐藏状态；yi为对应的输出数据；wi为每一层的对应权重。
8、本专利技术又提出一种基于bert模型和bilstm模型的文本情感分析系统，该系统包括：
9、(1)预处理模块，接收原始文本后，分割原始文本，得到多个词汇或短语；
10、(2)数据集划分模块，将处理后的词汇或短语按照一定的比例分成训练集和测试集；
11、(3)向量化处理模块，采用bert模型对上述词汇或短语进行向量化处理；
12、(4)特征提取模块，获取bert模型提供的文本向量化表示后，将数据传递给bilstm模型，捕捉到文本的双向上下文信息，提取和组合文本中的重要特征。
13、进一步地，特征提取模块中，带权重的损失函数其中αt为平衡正负样本的权重的系数，pt为解决难易样本不平衡问题的系数，pi为模型预测时概率；α为权重系数为降低或提高某一方样本过多或少对损失权重的贡献，θ≥0为关注度系数。
14、进一步地，特征提取模块中，在捕捉到文本的双向上下文信息，提取和组合文本中的重要特征时，bilstm模型分为输入层、前向层、后向层和输出层，lstm从前往后的更新公式为其中，f1、f2、f3为各层之间的激活函数，erf(x)为互补误差函数；xi表示各时刻对应所输入的数据；mi和ni分别为响应前向、后向迭代的lstm隐藏状态；yi为对应的输出数据；wi为每一层的对应权重。
15、本专利技术又提供了一种设备，所述设备包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行上述任一项方法。
16、本专利技术又提供了一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行上述任一项方法。
17、采用本专利技术后，带有权重的损失函数中增加系数αt平衡正负样本的权重，增加pt解决难易样本不平衡问题。标签为1时，模型预测为1的概率pi越接近1，损失函数的值越小。这是因为模型预测与真实标签越接近，模型性能越好；标签为1时，概率pi越接近0，损失越大，符合优化方向。本专利技术的损失函数中增添了平滑系数pt，在降低易分类样本损失权重贡献的基础上又重点关注了难分类样本。同时，通过添加权重系数α降低(提高)某一方样本过多(少)对损失权重的贡献。θ≥0是一个关注度系数，可以通过设置不同的θ减少或增强对难易样本的关注度，从而缓解难易样本不平衡所导致的模型识别较差问题。本专利技术可以更好地训练模型，提高其预测精度和鲁棒性。
18、该方法采用bert模型用于理解两个句子之间的语义信息、依赖结构以及文本的位置信息等。通过引入bilstm模型，更好地考虑句子之间的关系，帮助更精确地理解情感词汇在具体语境中的含义。这一步骤有助于改善模型对复杂语境的适应能力，特别是在情感分析中需要考虑多个句子的情况。本专利技术关注文本中不同位置的重要信息，可以更好地捕捉文本中的长距离依赖和上下文关系，能够更全面地理解整个文本，提高对情感表达的准确性。
本文档来自技高网...【技术保护点】
1.一种基于Bert模型和BiLSTM模型的文本情感分析方法，首先将预处理完成的文本输入Bert层模块中，获得可以融入文本语境的动态词向量，再通过双向长短期记忆神经网络BiLSTM捕捉文本过去和未来的上下文信息的重要部分，整体提取序列特征，最后利用CNN输出层进行最终情感分类，其特征在于：
2.如权利要求1所述的一种基于Bert模型和BiLSTM模型的文本情感分析方法，其特征在于：步骤(4)中，带权重的损失函数其中αt为平衡正负样本的权重的系数，pt为解决难易样本不平衡问题的系数，pi为模型预测时概率；α为权重系数为降低或提高某一方样本过多或少对损失权重的贡献，θ≥0为关注度系数。
3.如权利要求1所述的一种基于Bert模型和BiLSTM模型的文本情感分析方法，其特征在于：步骤(4)中，在捕捉到文本的双向上下文信息，提取和组合文本中的重要特征时，BiLSTM模型分为输入层、前向层、后向层和输出层，LSTM从前往后的更新公式为其中，f1、f2、f3为各层之间的激活函数，erf(x)为互补误差函数；Xi表示各时刻对应所输入的数据；Mi和Ni分别为响应前向、后向
4.一种基于Bert模型和BiLSTM模型的文本情感分析系统，其特征在于：该系统包括：
5.如权利要求4所述的一种基于Bert模型和BiLSTM模型的文本情感分析系统，其特征在于：特征提取模块中，带权重的损失函数其中αt为平衡正负样本的权重的系数，pt为解决难易样本不平衡问题的系数，pi为模型预测时概率；α为权重系数为降低或提高某一方样本过多或少对损失权重的贡献，θ≥0为关注度系数。
6.如权利要求4所述的一种基于Bert模型和BiLSTM模型的文本情感分析系统，其特征在于：特征提取模块中，在捕捉到文本的双向上下文信息，提取和组合文本中的重要特征时，BiLSTM模型分为输入层、前向层、后向层和输出层，LSTM从前往后的更新公式为其中，f1、f2、f3为各层之间的激活函数，erf(x)为互补误差函数；Xi表示各时刻对应所输入的数据；Mi和Ni分别为响应前向、后向迭代的LSTM隐藏状态；Yi为对应的输出数据；wi为每一层的对应权重。
7.一种设备，所述设备包括：数据采集装置、处理器和存储器；所述数据采集装置用于采集数据；所述存储器用于存储一个或多个程序指令；所述处理器，用于执行一个或多个程序指令，用以执行上述1-3任一项方法。
8.一种计算机可读存储介质，所述计算机存储介质中包含一个或多个程序指令，所述一个或多个程序指令用于执行上述1-3任一项方法。
...【技术特征摘要】
1.一种基于bert模型和bilstm模型的文本情感分析方法，首先将预处理完成的文本输入bert层模块中，获得可以融入文本语境的动态词向量，再通过双向长短期记忆神经网络bilstm捕捉文本过去和未来的上下文信息的重要部分，整体提取序列特征，最后利用cnn输出层进行最终情感分类，其特征在于：
2.如权利要求1所述的一种基于bert模型和bilstm模型的文本情感分析方法，其特征在于：步骤(4)中，带权重的损失函数其中αt为平衡正负样本的权重的系数，pt为解决难易样本不平衡问题的系数，pi为模型预测时概率；α为权重系数为降低或提高某一方样本过多或少对损失权重的贡献，θ≥0为关注度系数。
3.如权利要求1所述的一种基于bert模型和bilstm模型的文本情感分析方法，其特征在于：步骤(4)中，在捕捉到文本的双向上下文信息，提取和组合文本中的重要特征时，bilstm模型分为输入层、前向层、后向层和输出层，lstm从前往后的更新公式为其中，f1、f2、f3为各层之间的激活函数，erf(x)为互补误差函数；xi表示各时刻对应所输入的数据；mi和ni分别为响应前向、后向迭代的lstm隐藏状态；yi为对应的输出数据；wi为每一层的对应权重。
4.一种基于bert模型和bilstm模型的文本情感分析系统，其特征...
【专利技术属性】
技术研发人员：王伟斌，陈传凯，朱浩，
申请(专利权)人：北京新数科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。