数据增强方法和装置制造方法及图纸

本公开涉及数据增强方法和装置。提供了一种用于增强语料库中的数据对象的数据增强方法，包括：针对所述语料库中的至少一部分数据对象中的每个数据对象：将所述数据对象分解成多个词语；计算所述多个词语中的每个词语的重要性得分，所述重要性得分表示该词语是所述数据对象的主题词的概率；基于所述重要性得分，按特定概率对所述多个词语进行抽取，使得所述重要性得分越高的词语被抽取到的概率越小；以及针对抽取到的每个词语进行替换、删除以及插入中的至少一个的处理，从而获得所述数据对象的增强数据对象。的增强数据对象。的增强数据对象。

【技术实现步骤摘要】
数据增强方法和装置


[0001]本公开涉及用于自然语言处理的数据增强方法和装置的


技术介绍

[0002]自然语言处理包括许多类型的处理，作为一个示例，文本分类是自然语言处理中的最基本、应用最广泛的一种处理。然而，在通信、金融等领域中，与诸如文本分类之类的处理相关的应用场景常常面临缺少数据样本的问题。这是因为，一方面，可搜集的数据量少，数据收集时间成本高；另一方面，数据的人工标注成本高。
[0003]因此，需要提出一种新的技术来解决上述现有技术中的一个或多个问题。

技术实现思路

[0004]根据本公开的一个实施例，提供了一种用于增强语料库中的数据对象的数据增强方法，包括：针对所述语料库中的至少一部分数据对象中的每个数据对象：将所述数据对象分解成多个词语；计算所述多个词语中的每个词语的重要性得分，所述重要性得分表示该词语是所述数据对象的主题词的概率；基于所述重要性得分，按特定概率对所述多个词语进行抽取，使得所述重要性得分越高的词语被抽取到的概率越小；以及针对抽取到的每个词语进行替换、删除以及插入中的至少一个的处理，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于增强语料库中的数据对象的数据增强方法，包括：针对所述语料库中的至少一部分数据对象中的每个数据对象：将所述数据对象分解成多个词语；计算所述多个词语中的每个词语的重要性得分，所述重要性得分表示该词语是所述数据对象的主题词的概率；基于所述重要性得分，按特定概率对所述多个词语进行抽取，使得所述重要性得分越高的词语被抽取到的概率越小；以及针对抽取到的每个词语进行替换、删除以及插入中的至少一个的处理，从而获得所述数据对象的增强数据对象。2.根据权利要求1所述的数据增强方法，其中，通过以下步骤计算每个词语的重要性得分：统计所述语料库的主题-词共现频率矩阵；根据所述矩阵计算p(topic)和p(word|topic)，其中p(topic)表示所述数据对象所属的主题在所述语料库中出现的概率，p(word|topic)表示在所述主题中出现所述词语的概率；以及计算p(topic)与p(word|topic)之积，作为所述重要性得分。3.根据权利要求2所述的数据增强方法，其中，通过以下公式计算所述特定概率：T＝min(a(C-score),1)，其中，T表示所述特定概率，运算符min表示取括号中的数值中的较小数值，score＝p(topic)*p(word|topic)，即，表示所述重要性得分，C＝max(score)，表示所述数据对象中的各个词语的重要性得分中的最高重要性得分，以及a为超参数，取值为大于0的实数。4.根据权利要求1所述的数据增强方法，还包括：对所述增强数据对象或所述数据对象进行回译，并将回译结果作为新的增强数据对象。5.根据权利要求4所述的数据增强方法，所述回译包括：将所述增强数据对象或所述数据对象从原始语言翻译成一种或多种其他语言，然后翻译回所述增强数据对象或所述数据对象的原始语言。6.根据权利要求4或5所述的数据增强方法，所述回译包括以下中的一者或两者：使用翻译模型和集束搜索算法进行回译；和使用翻译工具进行回译。7.一种用于增强语料库中的数据对象的装置，包括：一个或多个处理器；和存储器，其上存储有可执行指令，所述可执行指令在由所述一个或多个处理器执行时使得所述一个或多个处理...

【专利技术属性】
技术研发人员：刘珮，项超，贾丹，王学敏，孟维业，王建秀，
申请(专利权)人：中国电信股份有限公司，
类型：发明
国别省市：