文本生成方法、文本生成模型的训练方法及装置制造方法及图纸

技术编号:42006107 阅读:24 留言:0更新日期:2024-07-12 12:27
本公开提供了一种文本生成方法、文本生成模型的训练方法及装置,涉及人工智能技术领域,尤其涉及自然语言处理、深度学习、强化学习等领域。实现方案为:获取第一问题文本;将历史步骤序列文本初始化为预设值;以及基于第一问题文本,对历史步骤序列文本进行至少一次更新,以得到目标步骤序列文本,每一次更新包括:基于第一问题文本和当前的历史步骤序列文本,生成当前的步骤文本,当前的步骤文本表示第一问题的当前解答步骤;响应于当前的步骤文本不是预设的终止文本,将当前的历史步骤序列文本与当前的步骤文本进行拼接,以得到更新后的历史步骤序列文本;响应于当前的步骤文本是终止文本,将当前的历史步骤序列文本确定为目标步骤序列文本。

【技术实现步骤摘要】

本公开涉及人工智能,尤其涉及自然语言处理、深度学习、强化学习等,具体涉及一种文本生成方法及装置、文本生成模型的训练方法及装置、电子设备、计算机可读存储介质和计算机程序产品。


技术介绍

1、人工智能(artificial intelligence,ai)是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考、规划等)的学科,既有硬件层面的技术也有软件层面的技术。人工智能硬件技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理等技术;人工智能软件技术主要包括计算机视觉技术、语音识别技术、自然语言处理技术以及机器学习/深度学习、大数据处理技术、知识图谱技术等几大方向。

2、大语言模型(large language model,llm,又称大模型)是使用大量文本数据训练的深度学习模型,其可以生成自然语言文本或理解自然语言文本的含义。大语言模型可以处理多种自然语言任务,例如文本分类、文本生成、问答、对话等,是通向人工智能的一条重要途径。

3、在此部分中描述的方法不一定是之前已经设想到或采用的方法。除非另有指明,否本文档来自技高网...

【技术保护点】

1.一种文本生成方法,包括:

2.根据权利要求1所述的方法,其中,所述基于所述第一问题文本和当前的历史步骤序列文本,生成当前的步骤文本包括:

3.根据权利要求2所述的方法,其中,所述文本生成模型为预训练的第二语言模型,所述至少一次更新中的每一次更新还包括:

4.根据权利要求3所述的方法,其中,所述执行所述当前的步骤文本所表示的当前解答步骤,以得到所述当前解答步骤的当前执行结果文本包括:

5.根据权利要求1-4中任一项所述的方法,还包括:

6.根据权利要求5所述的方法,其中,所述基于所述第一问题文本和所述第一解答文本,优化第三语言...

【技术特征摘要】

1.一种文本生成方法,包括:

2.根据权利要求1所述的方法,其中,所述基于所述第一问题文本和当前的历史步骤序列文本,生成当前的步骤文本包括:

3.根据权利要求2所述的方法,其中,所述文本生成模型为预训练的第二语言模型,所述至少一次更新中的每一次更新还包括:

4.根据权利要求3所述的方法,其中,所述执行所述当前的步骤文本所表示的当前解答步骤,以得到所述当前解答步骤的当前执行结果文本包括:

5.根据权利要求1-4中任一项所述的方法,还包括:

6.根据权利要求5所述的方法,其中,所述基于所述第一问题文本和所述第一解答文本,优化第三语言模型的输出包括:

7.根据权利要求5或6所述的方法,其中,所述第三语言模型与用于生成所述当前的步骤文本的经训练的文本生成模型相同。

8.一种文本生成装置,包括:

9.根据权利要求8所述的...

【专利技术属性】
技术研发人员:姜文斌郝洋冯知凡吕雅娟吴华王海峰
申请(专利权)人:北京百度网讯科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1