【技术实现步骤摘要】
本专利技术涉及自然语言识别处理领域，尤其涉及一种基于t5神经网络的智能nlp系统的生成方法及其系统和系统执行方法。
技术介绍
1、一直以来，如何赋予机器理解人类语言的能力是自然语言处理(na turallanguage processing，nlp)研究领域的热点，同时也是自然语言处理研究中的重点以及难点。
2、参见cn 115129819 a一种文本摘要模型生产方法及其装置、设备、介质，所述方法包括：获取训练集，所述训练集包括多个样本数据，所述样本数据包括段落文本及其对应的摘要文本；以所述样本数据中的段落文本中非核心语句的关键词序列作为训练样本，以所述非核心语句作为监督标签，对预设的生成器实施自监督训练；以等效语句替换所述样本数据中的段落文本中对应的非核心语句且遮盖所述段落文本中的部分核心语句作为训练样本，以所述核心语句作为监督标签，对文本摘要模型实施预训练至收敛；以所述段落文本作为训练样本，以所述段落文本相对应的摘要文本作为监督标签，对文本摘要模型实施微调训练至收敛。但是该方法生产的文本摘要模型功能单一，无法适应复杂的工作环境。
技术实现思路
1、为此，需要提供一种基于t5神经网络的智能nlp系统的生成方法解决目前nlp系统的生成方法所生成的nlp系统功能单一，无法适应复杂的工作环境的问题。
2、为实现上述目的，本专利技术提供了一种基于t5神经网络的智能nlp系统的生成方法，其包括以下步骤：
3、获得数据集；
4、建立t5神经网络
5、将所述数据集输入t5神经网络模型中，并基于不同文本任务对同一头部预训练模型同时进行多个相关文本任务训练，实现多文本任务学习；
6、更新头部预训练模型的参数，获得的目标头部模型；
7、获得基于t5神经网络的智能nlp系统。
8、进一步地，所述获得数据集包括以下步骤：
9、获得文本集；
10、所述文本集根据针对不同的文本任务生成多个样本数据集；
11、每个样本数据集中的文本根据该数据集中的文本任务获得答案标签；
12、将样本数据集与对应的答案标签关联形成数据集。
13、进一步地，所述头部预训练模型包括textcnn预训练模型、bert+bilstm预训练模型和t5corrector预训练模型。
14、进一步地，所述textcnn预训练模型进行文本分类任务和情感分析任务训练；所述bert+bilstm预训练模型进行词性标注任务、实体识别任务、关系抽取任务和关键词抽取任务训练；所述t5corrector预训练模型进行文本纠错和自动补全训练。
15、进一步地，所述更新头部预训练模型的参数，获得的目标头部模型，包括以下步骤：
16、在训练过程中，使用交叉熵损失函数，并引入正则化项；利用自适应的优化算法adam，调节学习率和动量参数，获得的目标头部模型。
17、进一步地，还包括将基于t5神经网络的智能nlp系统采用模型蒸馏技术进行模型压缩。
18、进一步地，将基于t5神经网络的智能nlp系统采用模型蒸馏技术进行模型压缩包括以下步骤：
19、将数据集中的样本数据集输入基于t5神经网络的智能nlp系统中，获得基于t5神经网络的智能nlp系统的真实标签，将样本数据集和真实标签关联获得辅助数据集；
20、将基于t5神经网络的智能nlp系统作为教师模型，使用教师模型对辅助数据集进行推理，并记录教师模型的输出结果作为软目标；
21、将t5神经网络删除相应的层数，构成学生模型；
22、使用辅助数据集和教师模型的软目标对学生模型进行训练；结合真实标签和教师模型的软目标来计算综合的损失函数；
23、通过反向传播算法更新学生模型的权重；
24、获得目标学生模型，所述目标学生模型即为采用模型蒸馏技术进行模型压缩后的基于t5神经网络的智能nlp系统。
25、进一步地，还包括构建知识图谱任务，所述bert+bilstm预训练模型的对输入文本进行实体识别任务处理，获取实体和事件；bert+bilstm预训练模型的对输入文本进行关系抽取任务处理，获取实体与实体之间的关联关系，以及实体与事件之间的属性信息；以实体作为节点，关联关系和属性信息作为边，构建知识图谱，并将知识图谱以结构化的形式存储到图数据库中。
26、一种基于t5神经网络的智能nlp系统，应用上述基于t5神经网络的智能nlp系统的生成方法生成，其还包括前端，所述前端用于输入文本和选择文本任务，以及返回执行后的结果。
27、一种基于t5神经网络的智能nlp系统的执行方法，上述基于t5神经网络的智能nlp系统，其包括以下步骤：
28、在前端输入文本和选择文本任务；
29、t5神经网络模型的编码器根据文本任务将文本和文本任务传输到与处理文本任务对应的目标头部模型中；
30、目标头部模型执行文本任务后，在前端返回执行后的结果。
31、区别于现有技术，上述技术方案通过在t5神经网络模型(t5神经网络模型全称为text-to-text transfer transformer)架构中添加多个头部预训练模型(任务头(taskhead))，同时对每个头部预训练模型训练多个相关任务，实现多任务学习；这样能够共享模型的表示能力，提供更好的泛化性能，集成了多功能智能nlp系统，基于t5神经网络的智能nlp系统的多功能性和高效性使其在文本分析和自然语言处理领域具有广泛的应用前景，可以应用在诸多复杂的环境中。
本文档来自技高网...【技术保护点】
1.一种基于T5神经网络的智能NLP系统的生成方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种基于T5神经网络的智能NLP系统的生成方法，其特征在于：所述获得数据集包括以下步骤：
3.根据权利要求1所述的一种基于T5神经网络的智能NLP系统的生成方法，其特征在于：所述头部预训练模型包括textCNN预训练模型、BERT+BiLSTM预训练模型和T5Corrector预训练模型。
4.根据权利要求3所述的一种基于T5神经网络的智能NLP系统的生成方法，其特征在于：所述textCNN预训练模型进行文本分类任务和情感分析任务训练；所述BERT+BiLSTM预训练模型进行词性标注任务、实体识别任务、关系抽取任务和关键词抽取任务训练；所述T5Corrector预训练模型进行文本纠错和自动补全训练。
5.根据权利要求1所述的一种基于T5神经网络的智能NLP系统的生成方法，其特征在于：所述更新头部预训练模型的参数，获得的目标头部模型，包括以下步骤：
6.根据权利要求1所述的一种基于T5神经网络的智能NLP系统的生成方法，
7.根据权利要求5所述的一种基于T5神经网络的智能NLP系统的生成方法，其特征在于：将基于T5神经网络的智能NLP系统采用模型蒸馏技术进行模型压缩包括以下步骤：
8.根据权利要求4所述的一种基于T5神经网络的智能NLP系统的生成方法，其特征在于：还包括构建知识图谱任务，所述BERT+BiLSTM预训练模型的对输入文本进行实体识别任务处理，获取实体和事件；BERT+BiLSTM预训练模型的对输入文本进行关系抽取任务处理，获取实体与实体之间的关联关系，以及实体与事件之间的属性信息；以实体作为节点，关联关系和属性信息作为边，构建知识图谱，并将知识图谱以结构化的形式存储到图数据库中。
9.一种基于T5神经网络的智能NLP系统，应用权利要求1到8任意一项所述一种基于T5神经网络的智能NLP系统的生成方法生成，其特征在于：还包括前端，所述前端用于输入文本和选择文本任务，以及返回执行后的结果。
10.一种基于T5神经网络的智能NLP系统的执行方法，应用权利要求9所述的一种基于T5神经网络的智能NLP系统，其特征在于：包括以下步骤：
...【技术特征摘要】
1.一种基于t5神经网络的智能nlp系统的生成方法，其特征在于：包括以下步骤：
2.根据权利要求1所述的一种基于t5神经网络的智能nlp系统的生成方法，其特征在于：所述获得数据集包括以下步骤：
3.根据权利要求1所述的一种基于t5神经网络的智能nlp系统的生成方法，其特征在于：所述头部预训练模型包括textcnn预训练模型、bert+bilstm预训练模型和t5corrector预训练模型。
4.根据权利要求3所述的一种基于t5神经网络的智能nlp系统的生成方法，其特征在于：所述textcnn预训练模型进行文本分类任务和情感分析任务训练；所述bert+bilstm预训练模型进行词性标注任务、实体识别任务、关系抽取任务和关键词抽取任务训练；所述t5corrector预训练模型进行文本纠错和自动补全训练。
5.根据权利要求1所述的一种基于t5神经网络的智能nlp系统的生成方法，其特征在于：所述更新头部预训练模型的参数，获得的目标头部模型，包括以下步骤：
6.根据权利要求1所述的一种基于t5神经网络的智能nlp系统的生成方法，其特征在于：还包括将基于t5神经网...
【专利技术属性】
技术研发人员：罗建新，沈强，池毓成，李嘉炎，
申请(专利权)人：福建正孚软件有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。