一种大模型超参数优化方法及装置制造方法及图纸

技术编号:40711603 阅读:21 留言:0更新日期:2024-03-22 11:13
本发明专利技术提供一种大模型超参数优化方法及装置,涉及数据处理技术领域。该方法包括获取大模型输入数据,进行基于因素调整的输出结果分析,形成输入相关性数据;根据输入相关性数据,进行基于单一超参数的调整分析,形成超参数结果相关性数据;结合超参数结果相关性数据,对大模型超参数进行优化分析,形成超参数优化分析结果数据。该方法通过基于大模型的输入和输出数据对超参数进行合理且贴合模型实际情况的优化分析实现对超参数更加准确且合理的优化。

【技术实现步骤摘要】

本专利技术涉及数据处理,特别是指一种大模型超参数优化方法及装置


技术介绍

1、在机器学习的上下文中,超参数是在开始学习过程之前设置值的参数,而不是通过训练得到的参数数据。通常情况下,需要对超参数进行优化,给学习机选择一组最优超参数,以提高学习的性能和效果。所以,对于超参数的优化分析在机器学习中显得尤为重要,甚至超参数的选择确定直接决定了模型进行数据处理的优劣。

2、目前,对于超参数的优化分析主要是一些简单的网络搜索、基于梯度化的优化、贝叶斯优化等,并不能贴合模型实际情况进行超参数的合理优化。如何保证超参数的选择确定能够更加贴合对应的模型成为重要的超参数分析方向。

3、因此,设计一种大模型超参数优化方法及系统,通过基于大模型的输入和输出数据对超参数进行合理且贴合模型实际情况的优化分析实现对超参数更加准确且合理的优化,是目前亟待解决的问题。


技术实现思路

1、为了解决现有技术存在的不能贴合模型实际情况进行超参数的合理优化,如何保证超参数的选择确定能够更加贴合对应的模型的技术问题,本专利技本文档来自技高网...

【技术保护点】

1.一种大模型超参数优化方法,其特征在于,包括:

2.根据权利要求1所述的大模型超参数优化方法,其特征在于,所述获取大模型输入数据,对所述大模型输入数据进行基于因素调整的输出结果分析,形成输入相关性数据,包括:

3.根据权利要求2所述的大模型超参数优化方法,其特征在于,所述获取大模型输入数据,并对所述大模型输入数据中的参数进行基于关联性的分组,形成关联参数组集,包括:

4.根据权利要求3所述的大模型超参数优化方法,其特征在于,所述对除所述对象参数外的所有其他参数的所述参数参量变化率进行分组分析,确定关联参数组,包括:

5.根据权利要求4所述...

【技术特征摘要】

1.一种大模型超参数优化方法,其特征在于,包括:

2.根据权利要求1所述的大模型超参数优化方法,其特征在于,所述获取大模型输入数据,对所述大模型输入数据进行基于因素调整的输出结果分析,形成输入相关性数据,包括:

3.根据权利要求2所述的大模型超参数优化方法,其特征在于,所述获取大模型输入数据,并对所述大模型输入数据中的参数进行基于关联性的分组,形成关联参数组集,包括:

4.根据权利要求3所述的大模型超参数优化方法,其特征在于,所述对除所述对象参数外的所有其他参数的所述参数参量变化率进行分组分析,确定关联参数组,包括:

5.根据权利要求4所述的大模型超参数优化方法,其特征在于,所述对所述关联参数组集中的每个关联参数组进行基于输出结果的因素调整分析,形成关联参数组的输入相关性数据,包括:

6.根据权利要求5所述的大模型超参数优化方法,其特征在于,所...

【专利技术属性】
技术研发人员:屠静王亚赵策颉彬万晶晶李伟伟周勤民雷媛媛孙岩
申请(专利权)人:卓世智星成都科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1