一种多模型融合的语料生成方法及装置制造方法及图纸

本发明专利技术适用于自然语言处理技术领域，提供了一种多模型融合的语料生成方法及装置，通过首先采集待处理问题的训练文本集，接着构建unilm预训练数据集，然后通过Bert‑encoder获取sentence embedding计算相似度，并把相似度最高的问题的提供给人工标注，对人工标注数据集使用随机采样、分层采样，基于Transformer和unilm调整参数，然后接收的用户输入的问题并对预测出待扩充语料，根据模型的效果BLEAURT，获得待扩充的语料，最后生成多样性的扩充语料，获得最终语料扩充结果，本发明专利技术通过使用多种模型生成的方法融合，既保证了模型生成语料的语义连贯，又提高了生成语料的多样性，我们使用前沿的Transformers、UNILM算法，并基于理财教育行业的数据训练了预训练模型。

【技术实现步骤摘要】
一种多模型融合的语料生成方法及装置
本专利技术属于自然语言处理的
，尤其涉及一种多模型融合的语料生成方法及装置。
技术介绍
理财教育行业人工智能领域落地情况并不多，主要原因是自身行业数据缺少，又私密不方便开源，所以在理财教育行业文本生成或语料扩充上提出了要求。近年来NLP领域发展迅速，但是能落地到理财教育并取得较好效果的并不多，最前沿的文本生成算法在理财教育领域落地情况并不好。文本生成的难度相对其他NLP任务较大，既要保证语义的连贯，又要保证生成语料的多样性。
技术实现思路
本专利技术提供一种多模型融合的语料生成方法及装置，旨在解决现有技术存在的问题。本专利技术是这样实现的，一种多模型融合的语料生成方法，包括以下步骤：S1、采集待处理问题的训练文本集；S2、构建unilm预训练数据集；S3、通过Bert-encoder获取sentenceembedding计算相似度，并把相似度最高的前300个问题的提供给人工标注，标注待扩充问题的对应的相似问题，所述相似问题作为待补充问题的对应的扩充语料；S4、对人工标注数据集使用随机采样、分层采样，基于Transformer和unilm调整参数；S5、接收的用户输入的问题并对预测出待扩充语料，根据模型的效果BLEAURT，取BLEAURT大于预设数值的前30个的语料，获得待扩充的语料；S6、根据待扩充的语料生成对应的多样性的扩充语料，获得最终语料扩充结果。优选的，所述unilm预训练数据集包括1/3的BidirectionLM、1/3的L-to-R或R-to-LLM，1/3的Seq-to-SeqLM。优选的，所述预设数值为0.7。本专利技术还提供一种多模型融合的语料生成装置，包括：理财教育语料数据库，其用于储存预输入的FAQ语料数据，并生成训练文本集，根据训练文本集构建可用于unilm预训练的数据集；相似度计算模块，其用于通过Bert-encoder获取sentenceembedding计算相似度，并把相似度最高的300条问题输出；人工标注模块，其用于人工标注300条问题中的待扩充问题，并标注待扩充问题的对应的相似问题，所述相似问题作为待补充问题的对应的扩充语料；预测模块，其用于对人工标注数据集使用随机采样、分层采样，基于Transformer和unilm调整参数，还用于接收的用户输入的问题并对预测出待扩充语料，根据模型的效果BLEAURT，取BLEAURT大于预设数值的前30个的语料，获得待扩充的语料，生成多样性的扩充语料，获得最终语料扩充结果。优选的，所述unilm预训练数据集包括1/3的BidirectionLM、1/3的L-to-R或R-to-LLM，1/3的Seq-to-SeqLM。优选的，所述预设数值为0.7。与现有技术相比，本专利技术的有益效果是：本专利技术的一种多模型融合的语料生成方法及装置，通过首先采集待处理问题的训练文本集，接着构建unilm预训练数据集，然后通过Bert-encoder获取sentenceembedding计算相似度，并把相似度最高的问题的提供给人工标注，对人工标注数据集使用随机采样、分层采样，基于Transformer和unilm调整参数，然后接收的用户输入的问题并对预测出待扩充语料，根据模型的效果BLEAURT，获得待扩充的语料，最后生成多样性的扩充语料，获得最终语料扩充结果，本专利技术通过使用多种模型生成的方法融合，既保证了模型生成语料的语义连贯，又提高了生成语料的多样性，我们使用前沿的Transformers、UNILM算法，并基于理财教育行业的数据训练了预训练模型。附图说明图1为本专利技术的一种多模型融合的语料生成方法的系统流程示意图。图2为本专利技术的unilm预训练的数据集示意图。具体实施方式为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。请参阅图1，本专利技术提供一种技术方案：一种多模型融合的语料生成方法及装置，多模型融合的语料生成方法包括以下步骤：S1、获得待处理问题的训练文本集。S2、构建unilm预训练数据集。unilm预训练数据集包括1/3的BidirectionLM、1/3的L-to-R或R-to-LLM，1/3的Seq-to-SeqLM。S3、通过Bert-encoder获取sentenceembedding计算相似度，并把相似度最高的前300个问题的提供给人工标注。S4、对人工标注数据集使用随机采样、分层采样，基于Transformer和unilm调整参数。S5、接收的用户输入的问题并对预测出待扩充语料，根据模型的效果BLEAURT，取BLEAURT大于0.7的前30个的语料，获得待扩充的语料。S6、根据待扩充的语料生成对应的多样性的扩充语料，获得最终语料扩充结果。本专利技术的一种多模型融合的语料生成装置，包括理财教育语料数据库、相似度计算模块、人工标注模块、预测模块。理财教育语料数据库用于储存预输入的FAQ语料数据，并生成训练文本集，根据训练文本集构建可用于unilm预训练的数据集。数据集如图2所示，相似度计算模块用于通过Bert-encoder获取sentenceembedding计算相似度，并把相似度最高的300条问题输出。人工标注模块用于人工标注300条问题中的待扩充问题，标注待扩充问题的对应的相似问题，相似问题作为待补充问题的对应的扩充语料。预测模块用于对人工标注数据集使用随机采样、分层采样，基于Transformer和unilm调整参数，训练或微调多个模型，以保障后面预测结果的多样性。预测模块还用于接收的用户输入的问题并对预测出待扩充语料，根据模型的效果BLEAURT，取BLEAURT大于预设数值的前30个的语料，获得待扩充的语料，生成多样性的扩充语料，获得最终语料扩充结果。本专利技术的一种多模型融合的语料生成方法及装置，通过首先采集待处理问题的训练文本集，接着构建unilm预训练数据集，然后通过Bert-encoder获取sentenceembedding计算相似度，并把相似度最高的问题的提供给人工标注，对人工标注数据集使用随机采样、分层采样，基于Transformer和unilm调整参数，然后接收的用户输入的问题并对预测出待扩充语料，根据模型的效果BLEAURT，获得待扩充的语料，最后生成多样性的扩充语料，获得最终语料扩充结果。本专利技术使用理财教育行业的数据，自己训练了UNILM预训练模型，通过使用多种模型生成的方法融合，既保证了模型生成语料的语义连贯，又提高了生成语料的多样性，我们使用前沿的Transformers、UNILM算法，并基于理财教育行业的数据训练了预训练模型。本专利技术通过Transformer,Bert，U本文档来自技高网...

【技术保护点】
1.一种多模型融合的语料生成方法及装置，其特征在于：包括以下步骤：/nS1、采集待处理问题的训练文本集；/nS2、构建unilm预训练数据集；/nS3、通过Bert-encoder获取sentence embedding计算相似度，并把相似度最高的前300个问题的提供给人工标注，标注待扩充问题的对应的相似问题，所述相似问题作为待补充问题的对应的扩充语料；/nS4、对人工标注数据集使用随机采样、分层采样，基于Transformer和unilm调整参数；/nS5、接收的用户输入的问题并对预测出待扩充语料，根据模型的效果BLEAURT，取BLEAURT大于预设数值的前30个的语料，获得待扩充的语料；/nS6、根据待扩充的语料生成对应的多样性的扩充语料，获得最终语料扩充结果。/n

【技术特征摘要】
1.一种多模型融合的语料生成方法及装置，其特征在于：包括以下步骤：
S1、采集待处理问题的训练文本集；
S2、构建unilm预训练数据集；
S3、通过Bert-encoder获取sentenceembedding计算相似度，并把相似度最高的前300个问题的提供给人工标注，标注待扩充问题的对应的相似问题，所述相似问题作为待补充问题的对应的扩充语料；
S4、对人工标注数据集使用随机采样、分层采样，基于Transformer和unilm调整参数；
S5、接收的用户输入的问题并对预测出待扩充语料，根据模型的效果BLEAURT，取BLEAURT大于预设数值的前30个的语料，获得待扩充的语料；
S6、根据待扩充的语料生成对应的多样性的扩充语料，获得最终语料扩充结果。


2.如权利要求1所述的一种多模型融合的语料生成方法，其特征在于：所述unilm预训练数据集包括1/3的BidirectionLM、1/3的L-to-R或R-to-LLM，1/3的Seq-to-SeqLM。


3.如权利要求1所述的一种多模型融合的语料生成方法，其特征在于：所述预设数值为0.7。


4.一种多模型融合的语料...

【专利技术属性】
技术研发人员：田东坡，巩乐，朱燕青，闵宇翔，
申请(专利权)人：上海昌投网络科技有限公司，
类型：发明
国别省市：上海;31