基于低秩分解的人力资源大模型参数微调方法、系统及设备技术方案

本发明专利技术提出一种基于低秩分解的人力资源大模型参数微调方法、系统及设备，该方法先根据人力资源大模型中的参数结构选定需要进行参数微调的层，然后对选定的层的参数矩阵进行低秩分解，再从低秩分解后的参数矩阵中选取对模型输出结果影响最大的若干参数作为关键参数，最后对各关键参数按照重要度进行学习率分配，并基于调整后的学习率对模型参数进行优化调整。本发明专利技术实现了对大模型的高效微调。

【技术实现步骤摘要】

本专利技术属于深度学习领域，具体涉及一种基于低秩分解的人力资源大模型参数微调方法、系统及设备。

技术介绍

1、随着自然语言处理(nlp)和深度学习技术的快速发展，基于大模型(如gpt、bert等)的方法在文本理解和知识整合方面取得了显著进展。大模型通过预训练学习到丰富的语言表达和知识推理能力，为各行业的人力资源管理提供了新型智能化解决方案。在人力资源管理中，大模型可通过其强大的语义理解和知识推理能力，帮助企业实现智能化配置和管理，包括简历筛选、岗位匹配、员工绩效评估和培训需求分析等关键环节。特别是在电力行业这样的多层级组织中，人员的多样性和岗位的复杂性对人力资源配置的精准性提出了更高要求。

2、随着大模型的广泛应用，模型微调技术成为了适应特定应用场景的关键方法。目前，主流的微调技术主要包括全参数微调和冻结部分参数微调方法。现有的全参数微调方法需要强大的硬件支持，其计算资源需求巨大，特别是在处理人力资源配置这样复杂的任务时，所需的硬件设备(如gpu、tpu等)和计算成本都非常高。这使得许多组织难以负担大规模的全参数微调成本，限制了模型在行业应用中本文档来自技高网...

【技术保护点】

1.一种基于低秩分解的人力资源大模型参数微调方法，其特征在于，

2.根据权利要求1所述的一种基于低秩分解的人力资源大模型参数微调方法，其特征在于，

3.根据权利要求1所述的一种基于低秩分解的人力资源大模型参数微调方法，其特征在于，

4.根据权利要求1所述的一种基于低秩分解的人力资源大模型参数微调方法，其特征在于，

5.一种基于低秩分解的人力资源大模型参数微调系统，其特征在于，

6.根据权利要求5所述的一种基于低秩分解的人力资源大模型参数微调系统，其特征在于，

7.根据权利要求5所述的一种基于低秩分解的人力资源大模型参...

【技术特征摘要】

1.一种基于低秩分解的人力资源大模型参数微调方法，其特征在于，

2.根据权利要求1所述的一种基于低秩分解的人力资源大模型参数微调方法，其特征在于，

3.根据权利要求1所述的一种基于低秩分解的人力资源大模型参数微调方法，其特征在于，

4.根据权利要求1所述的一种基于低秩分解的人力资源大模型参数微调方法，其特征在于，

5.一种基于低秩分解的人力资源大模型参数微调系统，其特征在于，

【专利技术属性】
技术研发人员：邹雨馨，段志强，童雅芳，张雅薇，胡平，明月，
申请(专利权)人：国网湖北省电力有限公司经济技术研究院，
类型：发明
国别省市：