用于认知实体合成的生成性角色引擎制造技术

公开了一种用于认知实体合成的生成性角色引擎。其首先收集文本数据作为训练语料库，接着，构建大语言模型，以预测下一个词的概率分布，然后，对所述大语言模型进行初始参数设定以得到预训练完成的大语言模型，最后，对所述预训练完成的大语言模型进行训练。这样，可以保持高质量的输出并确保对话符合角色设定。以保持高质量的输出并确保对话符合角色设定。以保持高质量的输出并确保对话符合角色设定。

【技术实现步骤摘要】
用于认知实体合成的生成性角色引擎


[0001]本公开涉及角色引擎领域，且更为具体地，涉及一种用于认知实体合成的生成性角色引擎
。

技术介绍

[0002]随着人工智能技术的发展，越来越多的应用场景需要生成具有认知实体的角色，例如游戏
、
教育
、
娱乐等
。
这些角色不仅需要具有丰富的语言表达能力，还需要具有一定的个性
、
情感和知识
。
[0003]生成性角色引擎是一种用于认知实体合成的技术引擎，可以通过特定的训练数据对轻量级语言模型进行微调以生成角色设定的对话
。
然而，当下所有的大语言模型或多或少都存在幻觉问题
。
为了保持高质量的输出并确保对话符合角色设定，期待一种解决方案
。

技术实现思路

[0004]有鉴于此，本公开提出了一种用于认知实体合成的生成性角色引擎，其可以保持高质量的输出并确保对话符合角色设定
。
[0005]根据本公开的一方面，提供了一种用于认知实体合成的生成性角色引擎，其包括：数据准备模块，用于收集文本数据作为训练语料库；模型构建模块，用于构建大语言模型，以预测下一个词的概率分布；预训练模块，用于对所述大语言模型进行初始参数设定以得到预训练完成的大语言模型；以及训练模块，用于对所述预训练完成的大语言模型进行训练
。
[0006]根据本公开的实施例，其首先收集文本数据作为训练语料库，接着，构建大语言模型，以预测下一个词的概率分布，然后，对所述大语言模型进行初始参数设定以得到预训练完成的大语言模型，最后，对所述预训练完成的大语言模型进行训练
。
这样，可以保持高质量的输出并确保对话符合角色设定
。
[0007]根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚
。
附图说明
[0008]包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例
、
特征和方面，并且用于解释本公开的原理
。
[0009]图1示出根据本公开的实施例的用于认知实体合成的生成性角色引擎的框图
。
[0010]图2示出根据本公开的实施例的用于认知实体合成的生成性角色引擎中所述训练模块的框图
。
[0011]图3示出根据本公开的实施例的用于认知实体合成的生成性角色引擎中所述模型训练单元的框图
。
[0012]图4示出根据本公开的实施例的用于认知实体合成的生成性角色引擎的方法的流程图
。
[0013]图5示出根据本公开的实施例的用于认知实体合成的生成性角色引擎的应用场景图
。
具体实施方式
[0014]下面将结合附图对本公开实施例中的技术方案进行清楚
、
完整地描述，显而易见地，所描述的实施例仅仅是本公开的部分实施例，而不是全部的实施例
。
基于本公开实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，也属于本公开保护的范围
。
[0015]如本公开和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和
/
或“该”等词并非特指单数，也可包括复数
。
一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其他的步骤或元素
。
[0016]以下将参考附图详细说明本公开的各种示例性实施例
、
特征和方面
。
附图中相同的附图标记表示功能相同或相似的元件
。
尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图
。
[0017]另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节
。
本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施
。
在一些实例中，对于本领域技术人员熟知的方法
、
手段
、
元件和电路未作详细描述，以便于凸显本公开的主旨
。
[0018]本公开提供了一种用于认知实体合成的生成性角色引擎，图1示出根据本公开的实施例的用于认知实体合成的生成性角色引擎的框图示意图
。
如图1所示，根据本公开实施例的用于认知实体合成的生成性角色引擎
100
，包括：数据准备模块
110
，用于收集文本数据作为训练语料库；模型构建模块
120
，用于构建大语言模型，以预测下一个词的概率分布；预训练模块
130
，用于对所述大语言模型进行初始参数设定以得到预训练完成的大语言模型；以及，训练模块
140
，用于对所述预训练完成的大语言模型进行训练
。
[0019]其中，为保持高质量的输出并确保对话符合角色设定，本公开的技术构思为：通过训练模块，对模型进行针对性训练
。
也就是，使用特定角色的训练数据对模型进行个性化定制，使其生成的对话内容更加符合特定角色设定的要求
。
[0020]基于此，在本公开的技术方案中，首先，获取针对于特定角色的训练语料库，以及，预训练完成的大语言模型
。
[0021]接着，对所述训练语料库进行数据预处理与输入序列提取以得到输入训练文本词嵌入向量的序列
。
也就是，通过数据预处理，将文本数据转化为结构化的向量表示，以便于计算机的读取与识别
。
[0022]在本公开的一个具体示例中，对所述训练语料库进行数据预处理与输入序列提取以得到输入训练文本词嵌入向量的序列的编码过程，包括：先对所述训练语料库进行数据预处理和文本向量化以得到训练文本词嵌入向量的序列；再从所述训练文本词嵌入向量的序列中提取输入训练文本词嵌入向量的序列
。
[0023]然后，将所述输入训练文本词嵌入向量的序列通过所述预训练完成的大语言模型
以得到交叉熵损失函数值
。
在本公开的一个具体示例中，将所述输入训练文本词嵌入向量的序列通过所述预训练完成的大语言模型以得到交叉熵损失函数值的编码过程，包括
:
先将所述输入训练文本词嵌入向量的序列通过所述预训练完成的大语言模型以得到下一个词的概率分布；再计算所述下一个词的概率分布与真实的下一个词之间的交叉熵损失函数值
。
[0024]进一步地，以所述交叉熵损失函数值作为损失函数值对所述预训练完成的大语言模型进行训练
。
[0025]为了便于说明，以一个简单的例子说明：假设训练语料库中的文字内容是
"apple banana cat dog elephant"。
在本公本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种用于认知实体合成的生成性角色引擎，其特征在于，包括：数据准备模块，用于收集文本数据作为训练语料库；模型构建模块，用于构建大语言模型，以预测下一个词的概率分布；预训练模块，用于对所述大语言模型进行初始参数设定以得到预训练完成的大语言模型；以及训练模块，用于对所述预训练完成的大语言模型进行训练
。2.
根据权利要求1所述的用于认知实体合成的生成性角色引擎，其特征在于，所述训练模块，包括：训练语料库获取单元，用于获取针对于特定角色的所述训练语料库；大语言模型获取单元，用于获取所述预训练完成的大语言模型；以及模型训练单元，用于基于所述训练语料库对所述预训练完成的大语言模型进行训练
。3.
根据权利要求2所述的用于认知实体合成的生成性角色引擎，其特征在于，所述模型训练单元，包括：预处理和提取子单元，用于对所述训练语料库进行数据预处理与输入序列提取以得到输入训练文本词嵌入向量的序列；损失函数值获取子单元，用于将所述输入训练文本词嵌入向量的序列通过所述预训练完成的大语言模型以得到交叉熵损失函数值；以及损失训练子单元，用于以所述交叉熵损失函数值作为损失函数值对所述预训练完成的大语言模型进行训练
。4.
根据权利要求3所述的用于认知实体合成的生成性角色引擎，其特征在于，所述预处理和提取子单元，包括：文本向量化二级子单元，用于对所述训练语料库进行数据预处理和文本向量化以得到训练文本词嵌入向量的序列；以及输入向量提取二级子单元，用于从所述训练文本词嵌入向量的序列中提取所述输入训练文本词嵌入向量的序列

【专利技术属性】
技术研发人员：王金鹏，贾新宇，李玉全，
申请(专利权)人：杭州谦贞数字科技有限公司，
类型：发明
国别省市：