【技术实现步骤摘要】
本专利技术涉及人工智能，尤其涉及一种基于混合专家系统的参数高效微调方法、图像分割方法及装置。
技术介绍
1、随着深度学习的发展，预训练模型在自然语言处理和计算机视觉任务中取得了显著的成果。尽管预训练模型具有很强的泛化能力，但为了最大程度地适应特定任务的需求，通常需要在预训练模型的基础上进行微调。
2、目前，通常通过增加特定领域的多类型数据对预训练模型进行参数高效微调训练，以实现微调训练的模型在特定领域的任务处理能力。然而，一方面，这些特定领域的数据在采集过程中不可避免地受到外界干扰使得其质量难以保证，导致基于现有的参数高效微调方法微调训练的模型难以应对这种复杂场景，鲁棒性差；另一方面，专业领域数据类型的增加不可避免地带来了训练过程中的任务间干扰问题，导致基于现有参数高效微调方法微调训练的模型的任务处理性能差。
3、因此，亟需一种基于混合专家系统的参数高效微调方法、图像分割方法及装置来解决上述技术问题。
技术实现思路
1、本专利技术提供一种基于混合专家系统的参数高效微...
【技术保护点】
1.一种基于混合专家系统的参数高效微调方法，其特征在于，包括：
2.根据权利要求1所述的基于混合专家系统的参数高效微调方法，其特征在于，所述基于自适应低秩适应模块中改进的敏感度约束函数和低秩矩阵约束函数，获取预训练分割模型中待训练网络层的待训练模型参数对应的目标低秩矩阵，包括：
3.根据权利要求2所述的基于混合专家系统的参数高效微调方法，其特征在于，所述根据所述改进的敏感度约束函数，计算所述待训练网络层的待训练模型参数对应的三元组的重要性，包括：
4.根据权利要求1-3任一项所述的基于混合专家系统的参数高效微调方法，其特征在于，所述...
【技术特征摘要】
1.一种基于混合专家系统的参数高效微调方法，其特征在于，包括：
2.根据权利要求1所述的基于混合专家系统的参数高效微调方法，其特征在于，所述基于自适应低秩适应模块中改进的敏感度约束函数和低秩矩阵约束函数，获取预训练分割模型中待训练网络层的待训练模型参数对应的目标低秩矩阵，包括：
3.根据权利要求2所述的基于混合专家系统的参数高效微调方法，其特征在于，所述根据所述改进的敏感度约束函数，计算所述待训练网络层的待训练模型参数对应的三元组的重要性，包括：
4.根据权利要求1-3任一项所述的基于混合专家系统的参数高效微调方法，其特征在于，所述根据所述目标低秩矩阵、混合专家系统的路由决策值以及样本图像，获取所述待训练网络层的输出结果，包括：
5.根据权利要求1-3任一项所述的基于混合专家系统的参...
【专利技术属性】
技术研发人员：袁烨，张永，彭亚飞，兰儒恺，朱文鹏，
申请(专利权)人：元始智能科技南通有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。