一种利用大语言模型进行情感分类的方法、设备及介质技术

一种利用大语言模型进行情感分类的方法，涉及自然语言处理技术领域，对大语言模型的小部分底层参数进行微调，而不是对所有参数进行训练调整，这种方式以较低的成本，根据提供的数据集，使大语言模型得以在特定任务或某专业领域上的到效果的有效提升，较为高效的完成了大语言模型的微调，且模型回答原先通用问题时的能力保持不变。的能力保持不变。的能力保持不变。

【技术实现步骤摘要】
一种利用大语言模型进行情感分类的方法、设备及介质


[0001]本专利技术涉及自然语言处理
，具体涉及一种利用大语言模型进行情感分类的方法、设备及介质。

技术介绍

[0002]大语言模型(LLM)是指使用海量文本数据训练的深度学习模型，可以理解输入文本并做出相应回答，或生成自然语言文本。与以前的小语言模型相比，大语言模型在模型大小、预训练数据和总计算量上都进行了很大的扩展，对自然语言有了更好的理解，可联系上下文给出更好、更类人的回答。大语言模型可以处理多种自然语言处理任务，比如问答对话、文本摘要、文本润色、文本续写等。自然语言模型的发展从基于规则、基于统计到基于神经网络、与训练阶段，再到现在的大语言模型阶段，其参数达到了数千亿甚至更多，训练成本也异常昂贵。大语言模型是指使用海量文本数据训练的深度学习模型，主要方向为让模型听懂人的语言、理解人的意图，并根据人类的价值观给出相应的回答，所以大语言模型通用泛化能力较强，但在某些专业领域或特定任务上效果不是非常好，不如在专业领域或特定某一任务训练的自然语言处理模型。
[0003]由于大语言模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种利用大语言模型进行情感分类的方法，其特征在于，包括：对用户输入的一句语音进行语音识别，将语音转换为文字；选取大语言模型作为预训练模型；从情感分类数据集中选取M条数据作为微调任务，每一个数据中包含一情感标签，情感标签内容为积极或消极，将M条数据进行文本预处理；在预训练模型后添加Linear层后得到情感分类模型；对情感分类模型进行优化，得到优化后的情感分类模型；将预处理后的文本输入到优化后的情感分类模型中，输出得到积极或消极的情感分类。2.根据权利要求1所述的利用大语言模型进行情感分类的方法，其特征在于：大语言模型为Chinese
‑
Vicuna。3.根据权利要求1所述的利用大语言模型进行情感分类的方法，其特征在于：M取值大于6万。4.根据权利要求1所述的利用大语言模型进行情感分类的方法，其特征在于：从情感分类数据集中选取的数据内容为购物网站评价。5.根据权利要求1所述的利用大语言模型进行情感分类的方法，其特征在于：将选取的M条数据划分为训练集、验证集、测试集，训练集用于训练预训练模型，验证集用于调整预训练模型参数和超参数，测试集用于评估预训练模型的性能。6.根据权利要求5所述的利用大语言模型进行情感分类的方法，其特征在于：使用双向LSTM和注意力机制对用于出发或引导大语言模型生成内容的输入文本Prompt进行编码，得到编码后的Prompt，将编码后的Prompt与训练集中的预处理后的文本进行拼接后输入到预训练模型中，优化大语言模型的...

【专利技术属性】
技术研发人员：李晓瑜，冯落落，李沛，李志芸，张庆功，
申请(专利权)人：山东新一代信息产业技术研究院有限公司，
类型：发明
国别省市：