一种文本增广处理方法、装置及存储介质制造方法及图纸

本公开提供了一种文本增广处理方法、装置及存储介质，该方法包括：获取待处理的原始文本并对所述原始文本进行增广处理，以得到初始增广文本集合；得到初始增广文本集合后再对所述初始增广文本集合进行优化处理，以得到最终增广文本集合。通过上述设置，本公开可以有效地过滤掉在增广处理过程中产生的噪声数据和相似度过高的数据，从而解决了训练模型过拟合和不够健壮的问题。

A text augmentation processing method, device and storage medium

【技术实现步骤摘要】
一种文本增广处理方法、装置及存储介质
本公开涉及文本处理
，特别涉及一种文本增广处理方法、装置及存储介质。
技术介绍
在深度学习中，尤其是在自然语言处理(NLP)领域，我们经常会遇到一些由于训练数据集的太小导致的过拟合(Overfitting)现象，其中，过拟合也称为过学习，它的直观表现是算法在训练集上表现好，但在测试集上表现不好，泛化性能差。过拟合是在模型参数拟合过程中由于训练数据包含抽样误差，在训练时复杂的模型将抽样误差也进行了拟合导致的。通俗一点地来说过拟合就是模型把数据学习的太彻底，以至于把噪声数据的特征也学习到了，这样就会导致在后期测试的时候不能够很好地识别数据，不能进行正确的分类，且模型泛化能力也差。于是需要使用到数据的增广，来增大模型的训练量。
技术实现思路
本公开提供了一种文本增广处理方法、装置及存储介质，以解决在数据进行增广处理后由于数据不合理以及相似度过高而导致训练模型过拟合的问题。为实现上述目的，本公开实施例的第一方面，提供一种文本增广处理方法：获取待处理的原始文本；将所述本文档来自技高网...

【技术保护点】
1.一种文本增广处理方法，其特征在于，包括：/n获取待处理的原始文本；/n将所述原始文本进行增广处理，以得到初始增广文本集合；/n对所述初始增广文本集合进行优化处理，以得到最终增广文本集合。/n

【技术特征摘要】
1.一种文本增广处理方法，其特征在于，包括：
获取待处理的原始文本；
将所述原始文本进行增广处理，以得到初始增广文本集合；
对所述初始增广文本集合进行优化处理，以得到最终增广文本集合。


2.根据权利要求1所述的文本增广处理方法，其特征在于，所述对所述初始增广文本集合进行优化处理，包括：
对所述初始增广文本集合中的每一条文本进行语法分析处理，以去掉所述初始增广文本集合中不符合语法的文本。


3.根据权利要求1所述的文本增广处理方法，其特征在于，对所述初始增广文本集合进行优化处理，包括：
对所述初始增广文本集合中的每两条文本进行相似度计算，以得到两条文本的相似度值；
当两条文本的相似度值高于预设值时，去掉其中一条文本。


4.根据权利要求1所述的文本增广处理方法，其特征在于，将所述原始文本进行增广处理，以得到初始增广文本集合，包括：
利用分词工具对所述原始文本进行分词处理，以得到包括了停用词和非停用词的分词文本；
去掉所述分词文本中的所有停用词，以得到非停用词文本；
对所述非停用词文本进行预设处理，以得到所述初始增广文本集合。


5.根据权利要求4所述的文本增广处理方法，其特征在于，对所述非停用词文本进行预设处理，以得到所述初始增广文本集合，包括：
从所述非停用词文本中选取n个非停用词，其中，n为大于1并且小于m的自然数，m是所述非停用文本中所述非停用词的总个数；
对选取的n个非停用词中的每个非停用词进行同义词匹配，以得到与每个非停用词对应的同义词集合；
从所述同义词集合中选取一个同义词作为替补词，将所述非停用词文本中与所述替补词对应的非停用词替换为所述替补词，以得到替换后的非停用词文本；
根据...

【专利技术属性】
技术研发人员：胡天云，李明杰，秦子宁，黄姿荣，蒋朵拉，谢俊杰，
申请(专利权)人：珠海格力电器股份有限公司，珠海联云科技有限公司，
类型：发明
国别省市：广东;44