基于流体力学自然语言问答模型的微调方法技术

一种基于流体力学自然语言问答模型的微调方法，由收集问答语料数据集、预处理数据集、构建动态压力自适应网络、训练动态压力自适应网络、测试动态压力自适应网络、参数调优步骤组成。本发明专利技术提出的动态压力自适应网络，基于流体力学原理构建网络结构，用于模拟信息在神经网络中的动态流动、分布与调节过程，通过模拟流体在受压环境中路径调整规律，实现对特征信息流的自适应控制与压缩，提升了模型的表达效率。所构建的动态压力自适应网络在自然语言处理场景，表现出优异的性能。通过将高维特征表示进行低秩建模和动态压缩，减小了模型参数体积，缩短了训练时间，降低了GPU显存，提高了运算速度，可用于自然语言问答。

【技术实现步骤摘要】

本专利技术属于计算机，具体涉及到自然语言模型。

技术介绍

0、技术背景

1、语言模型微调是指在已有预训练模型的基础上，通过少量领域或任务相关数据进行再训练，以提升模型在特定任务上的性能。大语言模型具有数十亿级别参数和极强的语义理解与生成能力，已被广泛应用于自然语言处理中的文本生成、问答系统、情感分析、翻译中。大规模参数所带来的训练成本高、迁移适应能力弱、微调效率低等技术问题，成为当前模型优化中的关键技术瓶颈。

2、随着人工智能的发展，深度学习技术不断演进，模型结构趋于复杂，训练数据规模不断增长，对模型在有限计算资源条件下的可调性与压缩性能提出了更高的要求。为了解决预训练模型在迁移过程中面临的参数规模大、计算资源消耗大、微调成本高等技术问题，近年来出现了以参数高效微调为代表的技术方法。该类方法通过冻结大部分原始模型参数，仅对部分结构进行低秩适配，在保持原模型性能的同时，降低了微调费用。

3、目前，高效参数微调方法有以下几种：

4、增量式方法，是通过增加额外的参数或层来增强现有的预训练模型，仅训练新添加的参数。选本文档来自技高网...

【技术保护点】

1.一种基于流体力学自然语言问答模型的微调方法，其特征在于它是由下述步骤组成：

2.根据权利要求1所述的基于流体力学自然语言问答模型的微调方法，其特征在于：在步骤(3)构建动态压力自适应网络中，所述的流体注意力层由流体注意力子层1与流体注意力子层2、流体注意力子层3并联构成。

3.根据权利要求2所述的基于流体力学自然语言问答模型的微调方法，其特征在于：所述的流体注意力子层1由线性层2与降维层1、激活函数层1、升维层1依次串联构成；所述的流体注意力子层2由线性层3与降维层2、激活函数层2、升维层2依次串联构成；所述的流体注意力子层4由线性层3与降维层3、激活函数层3...

【技术特征摘要】

1.一种基于流体力学自然语言问答模型的微调方法，其特征在于它是由下述步骤组成：

2.根据权利要求1所述的基于流体力学自然语言问答模型的微调方法，其特征在于：在步骤(3)构建动态压力自适应网络中，所述的流体注意力层由流体注意力子层1与流体注意力子层2、流体注意力子层3并联构成。

3.根据权利要求2所述的基于流体力学自然语言问答模型的微调方法，其特征在于：所述的流体注意力子层1由线性层2与降维层1、激活函数层1、升维层1依次串联构成；所述的流体注意力子层2由线性层3与降维层2、激活函数层2、升维层2依次串联构成；所述的流体注意力子层4由线性层3与降维层3、激活函数层3、升维层3依次串联构成。

4.根据权利要求3所述的基于流体力学自然语言问答模型的微调方法，其...

【专利技术属性】
技术研发人员：张玉梅，周榆琳，韩旭旭，董俊强，陈章杰，杨红红，杜泽星，吴晓军，
申请(专利权)人：陕西师范大学，
类型：发明
国别省市：