【技术实现步骤摘要】
本公开的实施方式涉及计算机,更具体地,本公开的实施方式涉及一种优化语言模型的经验的方法,以及执行前述方法的电子设备和计算机可读存储介质。
技术介绍
1、本部分旨在为权利要求书中陈述的本公开的实施方式提供背景或上下文。此处的描述可包括可以探究的概念,但不一定是之前已经想到或者已经探究的概念。因此,除非在此指出,否则在本部分中描述的内容对于本申请的说明书和权利要求书而言不是现有技术,并且并不因为包括在本部分中就承认是现有技术。
2、目前,大语言模型在特定任务上的表现仍然不够理想。为了提高大语言模型在特定任务上的性能,可以采用微调大语言模型的方式来实现。然而,这种微调方式不仅需要昂贵的计算资源,并且当大语言模型是闭源的或者仅能通过特定api访问时,这种微调方式很难实施或者根本无法落地。因此,如何提高大语言模型在特定任务上的性能已经成为难题。
3、有研究表明,大语言模型可以从有用的经验中获益,从而能够在不更新参数的情况下提高其性能。其中,可以通过人工方式来设置经验。但是,由于有用的经验通常特定于具体模型,并且人工也很难为
...【技术保护点】
1.一种优化大语言模型的经验的方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述每次更新验证操作包括:
3.根据权利要求2所述的方法,其特征在于,对所述初始经验和所述更新经验进行随机验证处理包括:
4.根据权利要求3所述的方法,其特征在于,评估所述初始经验和所述更新经验分别在所述大语言模型上的性能变化结果包括:
5.根据权利要求4所述的方法,其特征在于,根据所述比较结果确定所述本次更新验证操作所得到的最佳候选经验包括:
6.根据权利要求2所述的方法,其特征在于,其中获取所述大语言
...【技术特征摘要】
1.一种优化大语言模型的经验的方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述每次更新验证操作包括:
3.根据权利要求2所述的方法,其特征在于,对所述初始经验和所述更新经验进行随机验证处理包括:
4.根据权利要求3所述的方法,其特征在于,评估所述初始经验和所述更新经验分别在所述大语言模型上的性能变化结果包括:
5.根据权利要求4所述的方法,其特征在于,根据所述比较结果确定所述本次更新验证操作所得到的最佳候选经验包括:
6.根据权利要求2所述的方...
【专利技术属性】
技术研发人员:徐冀韬,沈磊,黄瑾,段亦涛,
申请(专利权)人:网易有道信息技术北京有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。