基于BERT和xLSTM的情感分析方法、设备及介质技术

技术编号:44848456 阅读:29 留言:0更新日期:2025-04-01 19:43
本发明专利技术属于自然语言处理技术领域,尤其涉及基于BERT和xLSTM的情感分析方法、设备及介质,所述方法通过集成BERT与两层xLSTM形成文本特征提取模型,其中BERT使用对比自监督方法进行预训练,定义句子级别的任务目标,捕捉句子级别的语义;两层xLSTM分别关注经BERT处理后的前向和后向句子嵌入表示,全面捕捉文本中的深层次语义信息,并利用上述模型提取的高质量句级文本表示进行情感分析,从而显著提高句子级别情感分析的准确性。

【技术实现步骤摘要】

本专利技术涉及自然语言处理,具体涉及基于bert和xlstm的情感分析方法、设备及介质。


技术介绍

1、随着互联网的不断发展,情感分析技术在社交媒体和在线平台上得到了广泛应用。这些平台上的信息量巨大、传播速度快,内容风格多样,情感分析技术旨在通过分析文本数据来识别和提取其中的情感状态及主观信息。情感分析技术在这个背景下显得尤为重要,能够帮助企业和研究者更好地了解公众情绪、用户满意度以及市场趋势。

2、情感分析技术从最初的基于规则和词典的方法,逐步发展到基于机器学习和深度学习的方法,再到如今的预训练语言模型和结合图神经网络的方法,大大提升了文本情感识别的精度和适应性。然而,现有的情感分析技术仍面临一些挑战,例如语义理解不足、对大量标注数据的依赖性强,以及处理长文本的能力较弱。

3、综上所述,急需基于bert和xlstm的情感分析方法、设备及介质解决现有技术中的问题。


技术实现思路

1、本专利技术目的在于提供基于bert和xlstm的情感分析方法、设备及介质,具体技术方案如下:

...

【技术保护点】

1.基于BERT和xLSTM的情感分析方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的情感分析方法,其特征在于,在S100中,采用对比自监督学习预训练模块训练所述BERT句子嵌入提取模块,过程如下:

3.根据权利要求2所述的情感分析方法,其特征在于,在S200中,所述BERT句子嵌入提取模块包括嵌入层、Transformer结构和隐藏层,所述Transformer结构包括自注意力机制、前馈神经网络、残差连接和层归一化;在自注意力机制中,通过多头注意力层计算注意力分数。

4.根据权利要求3所述的情感分析方法,其特征在于,在S200中,通过BER...

【技术特征摘要】

1.基于bert和xlstm的情感分析方法,其特征在于,包括如下步骤:

2.根据权利要求1所述的情感分析方法,其特征在于,在s100中,采用对比自监督学习预训练模块训练所述bert句子嵌入提取模块,过程如下:

3.根据权利要求2所述的情感分析方法,其特征在于,在s200中,所述bert句子嵌入提取模块包括嵌入层、transformer结构和隐藏层,所述transformer结构包括自注意力机制、前馈神经网络、残差连接和层归一化;在自注意力机制中,通过多头注意力层计算注意力分数。

4.根据权利要求3所述的情感分析方法,其特征在于,在s200中,通过bert句子嵌入提取模块提取文本中句子级别的语义信息,得到第一句子嵌入表示,过程如下:

<...

【专利技术属性】
技术研发人员:毛星亮李柱好
申请(专利权)人:湖南工商大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1