文本处理方法和装置制造方法及图纸

本申请实施例公开了一种文本处理方法和装置，属于数据处理技术领域。其中，该方法包括：获取源语言文本；利用翻译模型对源语言文本进行处理，得到第一目标语言文本；基于第一目标语言文本，确定第一词语和第二词语；利用翻译模型对源语言文本、第一词语和第二词语进行处理，得到第二目标语言文本，其中，第二目标语言文本存在第一词语但不存在第二词语。因此，本申请实施例可以获取高质量的单语复述语料，解决了通过现有技术生成的单语复述语料复述多样性不足和语义漂移技术的问题。述多样性不足和语义漂移技术的问题。述多样性不足和语义漂移技术的问题。

【技术实现步骤摘要】
文本处理方法和装置


[0001]本申请涉及数据处理领域，具体而言，涉及一种文本处理方法和装置。

技术介绍

[0002]单语复述语料指的是语义一致，用词不同的单语平行语料，可用于复述判别，数据增强，复述生成等多个任务，但是目前已有的复述语料数量有限，尤其是中文复述语料，相当短缺，而且已有的复述语料质量也欠佳。
[0003]虽然单语复述语料短缺，但是网络上却存在大量用于翻译任务的双语平行语料。目前使用双语语料获取单语复述语料的通常做法是回译以及Beam Search方法，回译是指通过源语言A翻译为目标语言B，然后再通过目标语言B回译为源语言A
’
，从而把A与A
’
作为最终的复述语料；Beam Search方法是指通过解码端解码出多个句子，把这多个句子互相作为彼此的复述，从而得到复述语料。但是这样得到的结果往往有语义偏移以及多样性不足的问题。
[0004]针对上述的问题，目前尚未提出有效的解决方案。

技术实现思路

[0005]本申请实施例提供了一种文本处理方法和装置，以至少解决通过现本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种文本处理方法，其特征在于，包括：获取源语言文本；利用翻译模型对所述源语言文本进行处理，得到第一目标语言文本；基于所述第一目标语言文本，确定第一词语和第二词语；利用所述翻译模型对所述源语言文本、所述第一词语和所述第二词语进行处理，得到第二目标语言文本，其中，所述第二目标语言文本存在所述第一词语但不存在所述第二词语。2.根据权利要求1所述的方法，其特征在于，基于所述第一目标语言文本，确定第一词语包括如下至少之一：对所述第一目标语言文本中的词语进行筛选，得到所述第一词语；获取所述第一目标语言文本中选中的目标词语，并获取所述目标词语的同义词，得到所述第一词语。3.根据权利要求2所述的方法，其特征在于，对所述第一目标语言文本中的词语进行筛选，得到所述第一词语包括：生成所述第一目标语言文本中多个词语对应的词向量，以及所述第一目标语言文本对应的句向量；获取所述句向量与每个词向量之间的余弦相似度，得到多个相似度；确定相似度大于或等于第一阈值的词语为所述第一词语。4.根据权利要求1所述的方法，其特征在于，基于所述第一目标语言文本，确定第二词语包括：生成所述第一目标语言文本中每个词语对应的词向量，以及所述第一目标语言文本对应的句向量；获取所述句向量与每个词向量之间的余弦相似度，得到多个相似度；确定相似度小于或等于第二阈值的词语为所述第二词语。5.根据权利要求3或4所述的方法，其特征在于，生成所述第一目标语言文本对应的句向量包括：对所述多个词语对应的词向量进行处理，得到所述句向量。6.根据权利要求1所述的方法，其特征在于，在利用所述翻译模型对所述源语言文本、所述第一词语和所述第二词语进行处理，得到第二目标语言文本之后，所述方法还包括：获取所述第二目标语言文本的文本数量；在所述文本数量未达到预设数量的情况下，将所述第二目标语言文本作为所述第一目标语言文本，并重复执行基于所述第一目标语言...

【专利技术属性】
技术研发人员：王鹏，
申请(专利权)人：广州视源人工智能创新研究院有限公司，
类型：发明
国别省市：