一种基于BERT模型的文本风格迁移方法及系统技术方案

本申请公开了一种基于BERT模型的文本风格迁移方法及系统，所述方法包括：对不同平台进行语料抽取，筛选出合格语料；使用所述合格语料对基于BERT的模型进行训练；使用训练好的所述模型对文本进行改写，得到符合要求的风格文本。通过本申请，可使用特定风格的语料训练模型，对文本的风格进行转换，将生成的文本迁移到需要的风格。移到需要的风格。移到需要的风格。

【技术实现步骤摘要】
一种基于BERT模型的文本风格迁移方法及系统


[0001]本专利技术涉及计算机应用，自然语言处理领域。更具体的说，本专利技术涉及一种基于BERT模型的文本风格迁移方法及系统。

技术介绍

[0002]目前，机器自动生成文本成为了一项很热门且很方便的技术。但是机器本身生成的文本僵硬而且无趣，为了让机器自动生成的文本更具趣味和积极，需要控制生成文本的风格。由于风格本身是抽象的，要想直接控制生成的文本的风格无疑具备很大的难度，但是从一种风格转变成另一种风格难度就降低了。因此，研究文本风格迁移技术在学术界和工业界具有很高的应用价值。
[0003]文本风格迁移在文本生成和数据增强等领域具有十分广泛的应用前景。例如当某个风格的语料不足以支撑训练好一个文本生成模型的时候，可以使用足够的通用语料训练文本生成模型来生成文本，然后再使用较少量的样本训练模型，将生成的文本迁移到需要的风格。目前大部分工作是将句子映射到一个隐藏的语义空间中去，然后再将其转换到目标风格的语义空间，但是仍存在以下问题：
[0004]1、这种转换方式很难剥离句子的文本信息和风格信息；
[0005]2、难以控制生成文本的生成质量，可能造成句子不通顺，甚至上下文语义冲突；
[0006]3、需要人工标注的对齐语料，然而标注成本高昂，且文本风格迁移任务缺乏平行的语料库。例如对于情感风格而言，拥有很多积极的情感语料和很多消极的情感语料，但是它们并不是一一对应的关系。也就是说，对于一句话缺少同时具备积极情感和消极情感的两种表达。
专利技术内容
[0007]本申请实施例提供了一种基于BERT模型的文本风格迁移方法，以至少解决相关技术中主观因素影响的问题。
[0008]本专利技术提供了一种基于BERT模型的文本风格迁移方法，所述方法包括以下步骤：
[0009]抽取步骤：对不同平台进行语料抽取，筛选出合格语料；
[0010]模型训练步骤：使用所述合格语料对基于BERT的模型进行训练；
[0011]改写步骤：使用训练好的所述模型对文本进行改写，得到符合要求的风格文本。
[0012]作为本专利技术的进一步改进，所述模型训练步骤具体包括以下步骤：
[0013]第一训练步骤：使用所述合格语料对Mask LM模型进行训练；
[0014]第二训练步骤：使用所述合格语料对Next Sentence Prediction模型进行训练。
[0015]作为本专利技术的进一步改进，所述改写步骤具体包括以下步骤：
[0016]分句步骤：对所述文本进行分句处理；
[0017]第一替换步骤：使用所述Next Sentence Prediction模型对所述分句处理后的文本进行语句替换，获取替换文本；
[0018]分词步骤：对所述替换文本进行分词处理；
[0019]第二替换步骤：使用所述Mask LM模型对所述分词处理后的替换文本进行词语替换，得到所述风格文本。
[0020]作为本专利技术的进一步改进，所述第一替换步骤具体包括以下步骤：
[0021]第一选取步骤：选取需要替换的语句；
[0022]第二选取步骤：在目标风格的文本库中选取符合替换条件的替换语句集合；
[0023]第三选取步骤：使用所述Next Sentence Prediction模型在所述替换语句集合中选取出替换语句。
[0024]作为本专利技术的进一步改进，所述替换条件包括语句长度和语句相似度。
[0025]作为本专利技术的进一步改进，所述第二替换步骤具体包括以下步骤：
[0026]代替步骤：选取需要替换的词语，使用[MASK]代替；
[0027]输入步骤：将所述使用[MASK]代替后的文本输入到所述Mask LM模型中；
[0028]预测步骤：使用所述Mask LM模型预测出替换词语。
[0029]基于相同专利技术思想，本专利技术还基于任一项专利技术创造所揭示的基于BERT模型的文本风格迁移方法，揭示了一种基于BERT模型的文本风格迁移系统，
[0030]所述基于BERT模型的文本风格迁移系统包括：
[0031]抽取模块，对不同平台进行语料抽取，筛选出合格语料；
[0032]模型训练模块，使用所述合格语料对基于BERT的模型进行训练；
[0033]改写模块，使用训练好的所述模型对文本进行改写，得到符合要求的风格文本。
[0034]作为本专利技术的进一步改进，所述模型训练模块具体包括：
[0035]第一训练单元，使用所述合格语料对Mask LM模型进行训练；
[0036]第二训练单元，使用所述合格语料对Next Sentence Prediction模型进行训练。
[0037]作为本专利技术的进一步改进，所述改写模块具体包括：
[0038]分句单元，对所述文本进行分句处理；
[0039]第一替换单元，使用所述Next Sentence Prediction模型对所述分句处理后的文本进行语句替换，获取替换文本；
[0040]分词单元，对所述替换文本进行分词处理；
[0041]第二替换单元，使用所述Mask LM模型对所述分词处理后的替换文本进行词语替换，得到所述风格文本。
[0042]作为本专利技术的进一步改进，所述第一替换单元具体包括：
[0043]第一选取单元，选取需要替换的语句；
[0044]第二选取单元，在目标风格的文本库中选取符合替换条件的替换语句集合；
[0045]第三选取单元，使用所述Next Sentence Prediction模型在所述替换语句集合中选取出替换语句。
[0046]与现有技术相比，本专利技术的有益效果如下：
[0047]1、提出了一种基于BERT模型的文本风格迁移方法，使用特定风格的语料训练模型，对文本的风格进行转换，训练模型对文本中的一些词语和句子进行文本改写，经过文本改写后，文本通畅，同时可以达到文本风格迁移的效果；
[0048]2、剥离句子的文本信息和风格信息，模型能够理解上下文的语义，在文本迁移时
不改变文本的基本语义，使得转化风格后的文本上下文通顺；
[0049]3、模型训练过程中无需人工标注的平行语料，减少人工标注成本，生成的风格迁移的句子更加贴近真实的句子；
[0050]4、实现词粒度上的改写，在预测改写词的时候能够做到不改写原文的意思，但同时又实现了文本风格的迁移。
[0051]本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
[0052]此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
[0053]图1是本专利技术实施例提供的一种基于BERT模型的文本风格迁移方法整体流程图；
[0054]图2是本实施本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于BERT模型的文本风格迁移方法，其特征在于，包括如下步骤：抽取步骤：对不同平台进行语料抽取，筛选出合格语料；模型训练步骤：使用所述合格语料对基于BERT的模型进行训练；改写步骤：使用训练好的所述模型对文本进行改写，得到符合要求的风格文本。2.如权利要求1所述的基于BERT模型的文本风格迁移方法，其特征在于，所述模型训练步骤具体包括以下步骤：第一训练步骤：使用所述合格语料对Mask LM模型进行训练；第二训练步骤：使用所述合格语料对Next Sentence Prediction模型进行训练。3.如权利要求1所述的基于BERT模型的文本风格迁移方法，其特征在于，所述改写步骤具体包括以下步骤：分句步骤：对所述文本进行分句处理；第一替换步骤：使用所述Next Sentence Prediction模型对所述分句处理后的文本进行语句替换，获取替换文本；分词步骤：对所述替换文本进行分词处理；第二替换步骤：使用所述Mask LM模型对所述分词处理后的替换文本进行词语替换，得到所述风格文本。4.如权利要求3所述的基于BERT模型的文本风格迁移方法，其特征在于，所述第一替换步骤具体包括以下步骤：第一选取步骤：选取需要替换的语句；第二选取步骤：在目标风格的文本库中选取符合替换条件的替换语句集合；第三选取步骤：使用所述Next Sentence Prediction模型在所述替换语句集合中选取出替换语句。5.如权利要求4所述的基于BERT模型的文本风格迁移方法，其特征在于，所述替换条件包括语句长度和语句相似度。6.如权利要求3所述的基于BERT模型的文本风格迁移方法，其特征在于，所述第二替换步骤...

【专利技术属性】
技术研发人员：王东海，卫海天，
申请(专利权)人：北京明略昭辉科技有限公司，
类型：发明
国别省市：