一种改进TinyLlama模型准确率的方法技术

本发明专利技术涉及自然语言处理技术领域，尤其是提供了一种改进TinyLlama模型准确率的方法。该方法包括获取对话数据集S，对数据集S进行数据预处理，得到预处理后的对话数据集I；构建改进的TinyLlama网络结构，改进的TinyLlama网络结构包括：输入层，改进的Transformer编码器，输出层，将所述预处理后的对话数据集I中的第i条数I<subgt;i</subgt;输入到改进的TinyLlama网络结构，得到输出文本，该方法加强了模型在低算力的条件下，对长文本和上下文语义的理解能力，提升了模型回复的准确率。

【技术实现步骤摘要】

本专利技术涉及自然语言处理，尤其涉及一种改进tinyllama模型准确率的方法。

技术介绍

1、轻量化的模型往往会伴随着准确率的大幅度降低，提升轻量化的模型回复的准确率，其有诸多方面的应用，比如说：问答系统，任务分类，情感分析等，是人工智能领域极具挑战的问题。

2、一些解决模型回复准确率代表性的工作是在模型中使用编码器和解码器的模型，通常由两个部分组成：编码器（encoder）负责将输入序列编码为上下文向量，解码器（decoder）则从该上下文向量生成输出序列。通常比仅编码器模型复杂，计算需求较高，尤其在处理长序列时。输入和输出可以是变长序列，解码器根据编码器的上下文输出每个步骤的生成结果。通常比仅编码器模型复杂，计算需求较高，尤其在处理长序列时。由于使用的是轻量化的模型，所以编码器-解码器的高计算需求是非常不利的。

3、另外，在特征融合方面，大部分是通过跳跃连接机制，将编码器与解码器相同尺度的特征图进行连接，帮助模型将浅层信息与深层信息进行融合，以实现粗粒度特征与细粒度特征的有效融合。但这一过程对提高高分辨率特征图的表征能力是有限本文档来自技高网...

【技术保护点】

1.一种改进TinyLlama模型准确率的方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述步骤1包括：

3.根据权利要求1所述的方法，其特征在于，所述步骤2包括：

4.根据权利要求3所述的方法，其特征在于，所述步骤21包括：

5.根据权利要求3所述的方法，其特征在于，所述步骤22包括：

6.根据权利要求3所述的方法，其特征在于，所述步骤23包括：

7.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在执行权利要...

【技术特征摘要】

1.一种改进tinyllama模型准确率的方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述步骤1包括：

3.根据权利要求1所述的方法，其特征在于，所述步骤2包括：

4.根据权利要求3所述的方法，其特征在于，所述步骤21包括：

5.根据权利要求3所述的方法，其特征在于，所述步骤22包括：

6.根据权利要求3所述的方法，其特征在于，所述步骤23包括：

7.一种计算机可读存储介质，...

【专利技术属性】
技术研发人员：李志慧，苗继浦，吴泞宇，贺劲，石明，蔡立林，乔一梁，陈文娜，
申请(专利权)人：齐鲁工业大学山东省科学院，
类型：发明
国别省市：