【技术实现步骤摘要】
本专利技术涉及医疗健康，特别涉及一种自适应参数高效微调方法、装置、设备及存储介质。
技术介绍
1、预训练模型是指在大规模数据上进行无监督学习训练得到的模型。这些模型通常学习得到了通用的语言知识，语义表示和语法结构等。预训练模型在自然语言处理的众多任务中，如文本分类、情感分析、机器翻译等方面，取得了显著的效果。随着预训练语言模型的发展，越来越多的语言模型参数超过了3亿或者10亿，这使得企业无法再针对一个任务部署一个模型，于是参数高效微调方法就显得非常重要。
2、对每个不同的任务(数据集)的参数高效微调，只需要微调几百万的参数，就可以将比较大的预训练模型适配到任务上，获得与直接采用整个模型的全部参数进行一个任务微调的基本相同或者非常接近的表现。这在医疗场景有非常重要的作用。在医疗场景中，一个大模型主干需要支持体检报告抽取、病例理解、知识问答、病患管理等多个场景，所以参数高效微调这种节省显存的模型微调-推理方案是很重要的。
3、但是现有技术中，在对各种不同的参数高效微调方案进行结合使用时，一般采用某种人工规定的策略，没...
【技术保护点】
1.一种自适应参数高效微调方法，特征在于，包括：
2.根据权利要求1所述的自适应参数高效微调方法，其特征在于，所述获取参数高效微调超网络，包括：
3.根据权利要求2所述的自适应参数高效微调方法，其特征在于，所述获取训练参数，将所述训练参数参与所述多个参数微调模块的参数训练，获取各参数微调模块的权重值，并根据所述权重值获取选择因子，利用所述选择因子对所述参数高效微调超网络中的多个参数微调模块进行筛选，得到目标参数微调模块，包括：
4.根据权利要求2所述的自适应参数高效微调方法，其特征在于，所述获取训练参数，将所述训练参数参与所述多个参...
【技术特征摘要】
1.一种自适应参数高效微调方法，特征在于，包括：
2.根据权利要求1所述的自适应参数高效微调方法，其特征在于，所述获取参数高效微调超网络，包括：
3.根据权利要求2所述的自适应参数高效微调方法，其特征在于，所述获取训练参数，将所述训练参数参与所述多个参数微调模块的参数训练，获取各参数微调模块的权重值，并根据所述权重值获取选择因子，利用所述选择因子对所述参数高效微调超网络中的多个参数微调模块进行筛选，得到目标参数微调模块，包括：
4.根据权利要求2所述的自适应参数高效微调方法，其特征在于，所述获取训练参数，将所述训练参数参与所述多个参数微调模块的参数训练，获取各参数微调模块的权重值，并根据所述权重值获取选择因子，利用所述选择因子对所述参数高效微调超网络中的多个参数微调模块进行筛选，得到目标参数微调模块，包括：
5.根据权利要求4所述的自适应参数高效微调方法，其特征在于，所述利用伯努利随机数对所述训练参数进行加权，将加权后的训练参数作为第二选择因子，包括：
【专利技术属性】
技术研发人员：朱威，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。