自动化大模型融合处理方法、装置、存储介质和电子设备制造方法及图纸

本申请提供一种自动化大模型融合处理方法、装置、存储介质和电子设备，属于人工智能和机器学习领域。该方法包括：获取每个基础模型的初始融合参数和CMAES（Covariance Matrix Adaptation Evolution Strategy，协方差矩阵自适应进化策略）模型；计算基于基础模型和初始融合参数形成的待优化融合模型针对训练集的初始适应度值；循环执行基于最新适应度值对CMAES模型中的算法参数进行迭代更新，形成当前迭代下的融合参数；计算基于基础模型和当前迭代下的融合参数生成的待优化融合模型针对训练集的适应度值；当满足迭代终止条件时，根据每次迭代下的适应度值确定出基础模型的最终融合参数，根据最终融合参数和基础模型形成最终融合模型。本申请可以提高模型融合的通用性、实用性和全面性。

【技术实现步骤摘要】

本申请涉及人工智能和机器学习领域，尤其涉及一种自动化大模型融合处理方法、装置、存储介质和电子设备。

技术介绍

1、当前，模型融合作为一种新兴趋势，在大型语言模型（llm，large languagemodel，简称“大模型”）开发中展现出巨大潜力。模型融合技术通过将多个作为基础模型的大模型组合成一个更强大的融合模型来提高性能并降低过拟合风险。模型融合的过程中需要确定所融合的基础模型在形成的融合模型中的权重。

2、现有的方法，一种是如专利cn117436029a所公开的，通常是采用加权平均多个模型的预测结果来得到更准确的预测。这一过程高度依赖于模型开发者对模型选择与融合策略的直觉判断，且通常需要对目标领域的深入了解。鉴于开放源代码模型和评估基准的多样性，传统的人工融合方法难以全面探索所有可能的组合，限制了其发展潜力。

3、另一种是采用混合专家模型（moe），如专利cn117669652a中所公开的，moe是一种集成学习策略，它通过一系列门控机制（通常基于输入特征），动态选择最适合当前输入的一组基础模型进行处理。每个专家模型专注于数据的本文档来自技高网...

【技术保护点】

1.一种自动化大模型融合处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，所述基于最新适应度值对所述CMAES模型中的算法参数进行迭代更新，形成当前迭代下的融合参数，包括：基于所述相关性矩阵和/或所述执行性能向量和所述最新适应度值对所述CMAES模型中的算法参数进行迭代更新，形成当前迭代下的融合参数。

4.根据权利要求3所述的方法，其特征在于，所述基于所述相关性矩阵和/或所述执行性能向量和所述最新适应度值对所述CMAES模型中的算法参数进行迭代更新，形成当前迭代下...

【技术特征摘要】

1.一种自动化大模型融合处理方法，其特征在于，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

3.根据权利要求2所述的方法，其特征在于，所述基于最新适应度值对所述cmaes模型中的算法参数进行迭代更新，形成当前迭代下的融合参数，包括：基于所述相关性矩阵和/或所述执行性能向量和所述最新适应度值对所述cmaes模型中的算法参数进行迭代更新，形成当前迭代下的融合参数。

4.根据权利要求3所述的方法，其特征在于，所述基于所述相关性矩阵和/或所述执行性能向量和所述最新适应度值对所述cmaes模型中的算法参数进行迭代更新，形成当前迭代下的融合参数，包括：

5.根据权利要求...

【专利技术属性】
技术研发人员：刘维炜，刘景强，王慧竹，纪志强，张涛，
申请(专利权)人：北京晟世天安科技有限公司，
类型：发明
国别省市：