文本生成方法、装置、电子设备和存储介质制造方法及图纸

技术编号:40223419 阅读:20 留言:0更新日期:2024-02-02 22:28
本发明专利技术提供一种文本生成方法、装置、电子设备和存储介质,其中方法包括:确定起始文本;基于扩散模型,以所述起始文本为起始生成候选字符串;基于大语言模型,并行计算所述候选字符串中每个候选字符的第一生成概率;基于所述每个候选字符的第一生成概率,生成衔接在所述起始文本之后的续写文本。本发明专利技术提供的方法、装置、电子设备和存储介质,基于扩散模型和大语言模型进行文本生成,在提高文本效率的同时保证了文本生成质量。其中,大语言模型能够并行计算候选字符串中每个候选字符的第一生成概率,由此快速在扩散模型生成的候选字符串的基础上选取候选字符以生成续写文本,兼顾生成效率和生成质量。

【技术实现步骤摘要】

本专利技术涉及自然语言处理,尤其涉及一种文本生成方法、装置、电子设备和存储介质


技术介绍

1、随着人工智能技术的发展,基于模型的文本生成技术应运而生。

2、目前的文本生成技术,通常可以分为两类,一类是基于自回归方法的大语言模型的文本生成技术,另一类是基于扩散模型的文本生成技术。其中,基于自回归方法的大语言模型能够通过大量文本数据的学习,来预测下一个单词或字符的概率分布。扩散模型则是通过逐步去噪的方式来逐步形成所需的文本。基于自回归的大语言模型虽然能够实现准确性较高的文本,但是生成速度较慢;而基于扩散模型虽然能够较快地生成文本,但是生成文本效果较差。

3、基于此,如何在保证生成文本效果的同时,提高文本生成效率,依然是本领域技术人员亟待解决的问题。


技术实现思路

1、本专利技术提供一种文本生成方法、装置、电子设备和存储介质,用以解决现有技术中文本生成效率和效果无法兼顾的缺陷。

2、本专利技术提供一种文本生成方法,包括:

3、确定起始文本;>

4、基于扩散本文档来自技高网...

【技术保护点】

1.一种文本生成方法,其特征在于,包括:

2.根据权利要求1所述的文本生成方法,其特征在于,所述基于大语言模型,并行计算所述候选字符串中每个候选字符的第一生成概率,包括:

3.根据权利要求1所述的文本生成方法,其特征在于,所述基于所述每个候选字符的第一生成概率,生成衔接在所述起始文本之后的续写文本,包括:

4.根据权利要求3所述的文本生成方法,其特征在于,所述基于所述每个候选字符的第一生成概率,以及所述每个候选字符的第二生成概率,生成衔接在所述起始文本之后的续写文本,包括:

5.根据权利要求4所述的文本生成方法,其特征在于,所述在所述当前字...

【技术特征摘要】

1.一种文本生成方法,其特征在于,包括:

2.根据权利要求1所述的文本生成方法,其特征在于,所述基于大语言模型,并行计算所述候选字符串中每个候选字符的第一生成概率,包括:

3.根据权利要求1所述的文本生成方法,其特征在于,所述基于所述每个候选字符的第一生成概率,生成衔接在所述起始文本之后的续写文本,包括:

4.根据权利要求3所述的文本生成方法,其特征在于,所述基于所述每个候选字符的第一生成概率,以及所述每个候选字符的第二生成概率,生成衔接在所述起始文本之后的续写文本,包括:

5.根据权利要求4所述的文本生成方法,其特征在于,所述在所述当前字符的字符小于等于所述预设阈值的情况下,中断所述续写文本的生成,之后还包括:

6.根据权利要求1至5中任一项所述的文本生成方法,其特征在于,所述基于大语言模型,并行计算所述候...

【专利技术属性】
技术研发人员:请求不公布姓名
申请(专利权)人:上海壁仞科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1