中文通用语言的生成方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及自然语言处理技术领域，公开了一种中文通用语言的生成方法、装置、设备及存储介质。该方法包括：获取用户输入的风格提示符、中文文本前缀和文本生成长度；将用户输入的风格提示符、中文文本前缀和文本生成长度输入至预训练的目标语言模型，获取目标语言模型输出的续写文本；其中，目标语言模型基于生成式预训练网络建立；对续写文本进行展示。本实施例的技术方案，通过基于生成式预训练网络建立可以生成中文通用语言的语言模型，可以基于单一语言模型实现对不同风格的中文语言的自动生成，可以提升中文语言生成的多样性和通用性。性。性。

【技术实现步骤摘要】
中文通用语言的生成方法、装置、设备及存储介质


[0001]本专利技术涉及自然语言处理
，尤其涉及一种中文通用语言的生成方法、装置、设备及存储介质。

技术介绍

[0002]随着机器学习技术的不断发展，其已被广泛应用于语言识别、机器翻译和文本生成等场景。通过预训练的机器学习模型，可以在不同任务场景下实现对中文语言的高效处理。
[0003]目前，现有的中文语言的处理方法，通常是针对不同风格的中文语言，例如，小说、古诗词、散文等，分别生成对应的语言模型，从而由不同的语言模型分别执行对应风格中文语言的生成任务。然而，随着中文语言生成的任务场景的不断丰富，现有技术中语言模型可适用的语言生成任务比较单一，通用性较差。

技术实现思路

[0004]本专利技术提供了一种中文通用语言的生成方法、装置、设备及存储介质，可以基于单一语言模型实现对不同风格的中文语言的自动生成，可以提升中文语言生成的多样性和通用性。
[0005]根据本专利技术的一方面，提供了一种中文通用语言的生成方法，包括：
[0006]获取用户输入的风格提示本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种中文通用语言的生成方法，其特征在于，包括：获取用户输入的风格提示符、中文文本前缀和文本生成长度；将所述用户输入的风格提示符、中文文本前缀和文本生成长度输入至预训练的目标语言模型，获取所述目标语言模型输出的续写文本；其中，所述目标语言模型基于生成式预训练网络建立；对所述续写文本进行展示。2.根据权利要求1所述的方法，其特征在于，在将所述用户输入的风格提示符、中文文本前缀和文本生成长度输入至预训练的目标语言模型之前，还包括：获取不同文本类型的中文语料文本，并基于预设文本长度对各所述中文语料文本进行分割，以获取至少一个子语料文本；若检测到目标子语料文本的文本长度小于所述预设文本长度，则采用预设字符对所述目标子语料文本进行填充，以使所述目标子语料文本的文本长度等于所述预设文本长度；根据各所述中文语料文本对应的文本类型，获取各所述子语料文本对应的风格提示符，并根据各所述子语料文本和对应的风格提示符，生成各训练文本；对各所述训练文本进行文本标注，以获取标注完成的各所述训练文本；基于生成式预训练网络建立初始语言模型，并基于标注完成的各所述训练文本对所述初始语言模型进行训练，以获取训练完成的目标语言模型。3.根据权利要求2所述的方法，其特征在于，所述对各所述训练文本进行文本标注，以获取标注完成的各所述训练文本，包括：在当前训练文本中，判断当前文本字符是否为最后一个文本字符；若确定所述当前文本字符不为最后一个文本字符，则获取所述当前文本字符对应的标签值为相邻的下一文本字符；若确定所述当前文本字符为最后一个文本字符，则获取所述当前文本字符对应的标签值为相邻的下一训练文本的第二文本字符；获取标注完成的所述当前训练文本。4.根据权利要求3所述的方法，其特征在于，基于标注完成的各所述训练文本对所述初始语言模型进行训练，以获取训练完成的目标语言模型，包括：判断当前训练次数是否小于或者等于预设次数阈值；若是，则获取当前训练文本对应的标签向量，并判断所述标签向量的各标签值是否为预设字符或者风格提示符；根据所述标签向量的各标签值是否为预设字符或者风格提示符的判断结果，对预设标识向量进行更新，以获取所述当前训练文本对应的更新标识向量；获取所述当前训练文本对应的原始损失向量，并采用所述更新标识向量对所述原始损失向量进行更新，以获取所述当前训练文本对应的更新损失向量；根据所述当前训练文本对应的更新损失向量，获取所述...

【专利技术属性】
技术研发人员：屈鑫，张亚林，高笑天，叶永青，
申请(专利权)人：上海燧原科技有限公司，
类型：发明
国别省市：