基于微调的阅读领域大模型优化方法及伴读文稿生成方法技术

技术编号:42973893 阅读:34 留言:0更新日期:2024-10-15 13:13
本申请公开了一种基于微调的阅读领域大模型优化方法及伴读文稿生成方法,方法包括:获取伴读文稿的文稿生成需求和本地语料库,文稿生成需求用于表征生成伴读文稿的要求,本地语料库是基于少儿语言领域的伴读文本数据进行构建的;根据文稿生成需求,从大语言模型中确定待微调参数,待微调参数为大语言模型中适用于文稿生成需求的部分参数;根据本地语料库中的训练语料和待微调参数,微调并优化大语言模型,得到预先训练的伴读文稿生成模型。因此,采用本申请实施例,可以使得生成的伴读文稿能够准确捕捉少儿语境的需求,同时在处理复杂语法结构和文学修饰时不会出现误解,从而保证了生成风格一致的文稿内容。

【技术实现步骤摘要】

本申请涉及机器学习,特别涉及一种基于微调的阅读领域大模型优化方法及伴读文稿生成方法


技术介绍

1、在人工智能领域,特别是在自然语言处理的子领域中,伴读文稿生成任务是一项关键应用。这项任务旨在通过自动化手段,根据书籍内容和相关提示,生成辅助儿童阅读的伴读文稿。伴读文稿不仅需要梳理书籍内容结构,还需激发儿童的思考,归纳知识点,以提升阅读能力和兴趣。

2、相关技术中,通常依赖于大语言模型,这些模型经过大量文本数据的训练,展现出卓越的文本生成和理解能力。然而,在特定于少儿语言领域的伴读文稿生成任务中,缺乏专门针对少儿故事的独特语言风格和表达方式的训练语料库,导致生成的伴读文稿无法准确捕捉少儿语境的需求;同时书籍内容的复杂性和丰富性导致现有技术在处理复杂语法结构和文学修饰时会出现误解,无法保证生成风格一致的文稿内容。


技术实现思路

1、本申请实施例提供了一种基于微调的阅读领域大模型优化方法及伴读文稿生成方法。为了对披露的实施例的一些方面有一个基本的理解,下面给出了简单的概括。该概括部分不是泛泛评述,也不是本文档来自技高网...

【技术保护点】

1.一种基于微调的阅读领域大模型优化方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述本地语料库中的训练语料和所述待微调参数,微调并优化所述大语言模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述训练数据集、所述第一参数矩阵和第二参数矩阵,对所述大语言模型进行微调,包括:

4.根据权利要求3所述的方法,其特征在于,所述前向传播结果的计算公式为:

5.根据权利要求2-4任一项所述的方法,其特征在于,所述根据所述测试数据集,对微调后的大语言模型进行优化,包括:

<p>6.根据权利要求...

【技术特征摘要】

1.一种基于微调的阅读领域大模型优化方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述本地语料库中的训练语料和所述待微调参数,微调并优化所述大语言模型,包括:

3.根据权利要求2所述的方法,其特征在于,所述根据所述训练数据集、所述第一参数矩阵和第二参数矩阵,对所述大语言模型进行微调,包括:

4.根据权利要求3所述的方法,其特征在于,所述前向传播结果的计算公式为:

5.根据权利要求2-4任一项所述的方法,其特征在于,所述根据所述测试数据集,对微调...

【专利技术属性】
技术研发人员:张芳林进培高峰高昂任爱娜张辰
申请(专利权)人:北京奇趣万物科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1