数据扩充混合策略生成方法、装置和计算机设备制造方法及图纸

本申请涉及人工智能技术领域，提供一种数据扩充混合策略生成方法、装置和计算机设备。所述方法包括：获取当前时间的策略反馈数据和训练数据，将当前时间的策略反馈数据输入至预设混合策略搜索模型，得到数据扩充混合策略，根据数据扩充混合策略扩充训练数据，得到扩充后的训练数据，将扩充后的训练数据输入至预设循环神经网络进行训练，得到数据扩充混合策略对应的策略反馈数据，将数据扩充混合策略对应的策略反馈数据作为当前时间的策略反馈数据，返回将当前时间的策略反馈数据输入至预设混合策略搜索模型的步骤，直至预设混合策略搜索模型的训练次数达到预设训练次数，得到最优的数据扩充混合策略。采用上述方法能提高数据扩充效率。

【技术实现步骤摘要】
数据扩充混合策略生成方法、装置和计算机设备
本申请涉及人工智能
，特别是涉及一种数据扩充混合策略生成方法、装置、计算机设备和存储介质。
技术介绍
随着人工智能的不断发展，深度学习算法和机器学习也迎来了发展热潮。深度学习算法比如神经网络模型需要大量的训练数据，以保证模型的泛化能力。数据增强(数据扩充)是机器学习和深度学习中常见的数据处理手段，其能让有限的数据产生更多的数据，增加训练样本的数量以及多样性(噪声数据)，提升模型鲁棒性。在自然语言处理任务中，常见的数据扩充的方式包括同义词替换和反向翻译。目前，在自然语言处理任务中，标注数据的采集需要花费大量的人力成本，且收集的数据具有局限性，数据扩充混合策略通常是人为设计的，往往会出现策略与数据集不适合、或扩充量太大，使得训练的模型产生过拟合现象，使得自然语言数据扩充效率较低。
技术实现思路
基于此，有必要针对上述技术问题，提供一种能够提高自然语言数据扩充效率的数据扩充混合策略生成方法、装置、计算机设备和存储介质。一种数据扩充混合策略生成方法，方法包括：获取当前时间的策略反馈数据和训练数据；将当前时间的策略反馈数据输入至预设混合策略搜索模型，得到当前时间的数据扩充混合策略；根据数据扩充混合策略扩充训练数据，得到扩充后的训练数据；将扩充后的训练数据输入至预设循环神经网络进行训练，得到数据扩充混合策略对应的策略反馈数据；将数据扩充混合策略对应的策略反馈数据作为当前时间的策略反馈数据，返回将当前时间的策略反馈数据输入至预设混合策略搜索模型的步骤，以更新数据扩充混合策略，直至预设混合策略搜索模型的训练次数达到预设训练次数，得到最优的数据扩充混合策略。在其中一个实施例中，根据数据扩充混合策略扩充训练数据，得到扩充后的训练数据包括：使用已训练的MLM模型将训练数据中句子中的任一字符替换为掩码字符；根据预训练的语言模型，预测掩码字符所对应的字符，得到预测字符；若预测字符的置信度大于预设阈值，则将包含预测字符的训练数据作为扩充后的训练数据。在其中一个实施例中，根据数据扩充混合策略扩充训练数据，得到扩充后的训练数据包括：将训练数据中的词语表示为词向量；随机将训练数据中任一句子的字节片段表示为目标向量；计算目标向量与词向量的相似度、并基于相似度查找出目标向量的同义词向量；将字节片段替换为同义词向量对应的词语，得到扩充后的训练数据。在其中一个实施例中，根据数据扩充混合策略扩充训练数据，得到扩充后的训练数据包括：基于训练数据，使用预训练的生成模型生成新的训练数据，得到扩充后的训练数据，预训练的生成模型基于历史句子数据训练得到。在其中一个实施例中，基于训练数据，使用预训练的生成模型生成新的训练数据，得到扩充后的训练数据包括：随机去除训练数据中任一句子的字节片段，得到目标句子；针对目标句子中去除的字节片段，采用预训练的生成模型预测出对应的新字符，得到扩充后的训练数据。在其中一个实施例中，将当前时间的策略反馈数据输入至预设混合策略搜索模型的步骤，以更新数据扩充混合策略包括：将当前时间的反馈数据作为回报数据再次输入至预设混合策略搜索模型，更新预设混合策略搜索模型的参数；基于参数更新后的混合策略搜索模型，生成新的数据扩充混合策略。在其中一个实施例中，更新预设混合策略搜索模型的参数包括：根据REINFORCE策略梯度算法，更新预设混合策略搜索模型的参数。一种数据扩充混合策略生成装置，装置包括：数据获取模块，用于获取当前时间的策略反馈数据和训练数据；混合策略获取模块，用于将当前时间的策略反馈数据输入至预设混合策略搜索模型，得到当前时间的数据扩充混合策略；数据扩充模块，用于根据数据扩充混合策略扩充训练数据，得到扩充后的训练数据；策略反馈数据更新模块，用于将扩充后的训练数据输入至预设循环神经网络进行训练，得到数据扩充混合策略对应的策略反馈数据；混合策略更新模块，用于将数据扩充混合策略对应的策略反馈数据作为当前时间的策略反馈数据，唤醒混合策略获取模块执行将当前时间的策略反馈数据输入至预设混合策略搜索模型的操作，以更新数据扩充混合策略，直至预设混合策略搜索模型的训练次数达到预设训练次数，得到最优的数据扩充混合策略。一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现以下步骤：获取当前时间的策略反馈数据和训练数据；将当前时间的策略反馈数据输入至预设混合策略搜索模型，得到当前时间的数据扩充混合策略；根据数据扩充混合策略扩充训练数据，得到扩充后的训练数据；将扩充后的训练数据输入至预设循环神经网络进行训练，得到数据扩充混合策略对应的策略反馈数据；将数据扩充混合策略对应的策略反馈数据作为当前时间的策略反馈数据，返回将当前时间的策略反馈数据输入至预设混合策略搜索模型的步骤，以更新数据扩充混合策略，直至预设混合策略搜索模型的训练次数达到预设训练次数，得到最优的数据扩充混合策略。一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现以下步骤：获取当前时间的策略反馈数据和训练数据；将当前时间的策略反馈数据输入至预设混合策略搜索模型，得到当前时间的数据扩充混合策略；根据数据扩充混合策略扩充训练数据，得到扩充后的训练数据；将扩充后的训练数据输入至预设循环神经网络进行训练，得到数据扩充混合策略对应的策略反馈数据；将数据扩充混合策略对应的策略反馈数据作为当前时间的策略反馈数据，返回将当前时间的策略反馈数据输入至预设混合策略搜索模型的步骤，以更新数据扩充混合策略，直至预设混合策略搜索模型的训练次数达到预设训练次数，得到最优的数据扩充混合策略。上述数据扩充混合策略生成方法、装置、计算机设备和存储介质，将策略反馈数据输入至预设混合策略搜索模型，初步生成数据扩充混合策略，再根据生成的数据扩充混合策略扩充训练数据，进一步将扩充后的训练数据输入至预设循环神经，以更新策略反馈数据，循环上述步骤，将更新后的策略反馈数据输入至预设混合策略搜索模型，以更新混合策略搜索模型的参数，使模型趋于成熟，进而得到最优的数据扩充混合策略。上述方案能够减少策略搜索耗时，且能够根据训练数据，自动构建最优的数据扩充混合策略，提升模型的精度和鲁棒性，进而提高自然语言数据扩充的效率，节省人力成本和算力成本。附图说明图1为一个实施例中数据扩充混合策略生成方法的应用环境图；图2为一个实施例中数据扩充混合策略生成方法的流程示意图；图3为一个实施例中根据数据扩充混合策略扩充训练数据步骤的流程示意图；图4为另一个根据数据扩充混合策略扩充训练数据步骤的流程示意图；图5为一个实施例中数据扩充混合策略生成装置的结构框图；图6为一个实施例中计本文档来自技高网...

【技术保护点】
1.一种数据扩充混合策略生成方法，其特征在于，所述方法包括：/n获取当前时间的策略反馈数据和训练数据；/n将所述当前时间的策略反馈数据输入至预设混合策略搜索模型，得到当前时间的数据扩充混合策略；/n根据所述数据扩充混合策略扩充所述训练数据，得到扩充后的训练数据；/n将扩充后的训练数据输入至预设循环神经网络进行训练，得到数据扩充混合策略对应的策略反馈数据；/n将所述数据扩充混合策略对应的策略反馈数据作为当前时间的策略反馈数据，返回将当前时间的策略反馈数据输入至预设混合策略搜索模型的步骤，以更新数据扩充混合策略，直至所述预设混合策略搜索模型的训练次数达到预设训练次数，得到最优的数据扩充混合策略。/n

【技术特征摘要】
1.一种数据扩充混合策略生成方法，其特征在于，所述方法包括：
获取当前时间的策略反馈数据和训练数据；
将所述当前时间的策略反馈数据输入至预设混合策略搜索模型，得到当前时间的数据扩充混合策略；
根据所述数据扩充混合策略扩充所述训练数据，得到扩充后的训练数据；
将扩充后的训练数据输入至预设循环神经网络进行训练，得到数据扩充混合策略对应的策略反馈数据；
将所述数据扩充混合策略对应的策略反馈数据作为当前时间的策略反馈数据，返回将当前时间的策略反馈数据输入至预设混合策略搜索模型的步骤，以更新数据扩充混合策略，直至所述预设混合策略搜索模型的训练次数达到预设训练次数，得到最优的数据扩充混合策略。


2.根据权利要求1所述的方法，其特征在于，所述根据所述数据扩充混合策略扩充所述训练数据，得到扩充后的训练数据包括：
使用已训练的MLM模型将所述训练数据中句子中的任一字符替换为掩码字符；
根据预训练的语言模型，预测所述掩码字符所对应的字符，得到预测字符；
若所述预测字符的置信度大于预设阈值，则将包含所述预测字符的训练数据作为扩充后的训练数据。


3.根据权利要求1所述的方法，其特征在于，所述根据所述数据扩充混合策略扩充所述训练数据，得到扩充后的训练数据包括：
将所述训练数据中的词语表示为词向量；
随机将所述训练数据中任一句子的字节片段表示为目标向量；
计算所述目标向量与所述词向量的相似度、并基于相似度查找出所述目标向量的同义词向量；
将所述字节片段替换为所述同义词向量对应的词语，得到扩充后的训练数据。


4.根据权利要求1所述的方法，其特征在于，所述根据所述数据扩充混合策略扩充所述训练数据，得到扩充后的训练数据包括：
基于所述训练数据，使用预训练的生成模型生成新的训练数据，得到扩充后的训练数据，所述预训练的生成模型基于历史句子数据训练得到。


5.根据权利要求4所述的方法，其特征在于，所述基于所述训练数据，使用预训练的生成模型生成新的训练数据，...

【专利技术属性】
技术研发人员：朱威，李恬静，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东;44