一种对抗样本的生成方法及装置制造方法及图纸

本发明专利技术公开了一种对抗样本的生成方法及装置，涉及数据分析技术领域，主要目的在于结合训练模型的参数生成具有训练针对性的对抗样本，以提升训练模型的鲁棒性。本发明专利技术主要的技术方案为：获取一组训练样本，所述训练样本至少包含输入数据以及对应的标签值；利用随机梯度下降算法和所述训练样本更新训练模型的模型参数；根据所述模型参数以及训练模型的超参数确定对抗扰动值，所述超参数为所述训练模型初始化时随机生成的；根据所述对抗扰动值生成所述训练样本对应的对抗样本。本发明专利技术用于训练样本的扩充以及模型训练。

【技术实现步骤摘要】
一种对抗样本的生成方法及装置
本专利技术涉及数据分析
，尤其涉及一种对抗样本的生成方法及装置。
技术介绍
随着人工智能的飞速发展，智能语音交互已经成为了各种智能产品最直接的入口。深度学习在语音识别领域的成功应用，加速了智能语音交互在各种智能产品和应用场景中的落地。基于神经网络的声学模型，需要大量的带有标注的语音数据来进行训练，才能达到实用的效果。目前，被各大平台采用的商用语音识别模型，都是采用了上万小时的带有人工标注的语音数据进行训练。然而，语音训练数据的采集，成本高，需要考虑各种不同的应用场景、口音覆盖等因素，才能保证声学模型的泛化和推广能力，达到实用的标准。目前，大量的数据采集和录制过程，都是在相对安静的场景下进行的，数据的噪声较小。采用这种数据训练的模型，在实际应用中，会出现对噪声不鲁棒的问题。用户在实际应用语音识别功能时，周围的声学环境往往较为复杂，背景噪声、混响，以及各种干扰声，都会增加语音识别的难度，导致识别率的下降。为了提高声学模型在有带噪声真实环境下的效果，可以在训练数据中，增加大量的带噪语音，以提高模型的鲁棒性。但是，由于录制大量的真实的带噪语音代价较高，数据仿真，成为了广泛采用的一中扩充训练数据的方法，该方法是通过对干净数据添加噪声来仿真带噪语音，然后将仿真的语音加入到训练数据中，以实现有效地提高模型对噪声的鲁棒性。然而，这种方式所扩充的训练数据只是基于数据本身进行的简单加噪处理，并为考虑对于添加噪声大小的控制以及噪声对训练模型的影响，导致这些扩充的训练数据应用在不同的训练模型中时很难达到有针对性的训练模型鲁棒性的效果。专利技术内容鉴于上述问题，本专利技术提出了一种对抗样本的生成方法及装置，主要目的在于结合训练模型的参数生成具有训练针对性的对抗样本，以提升训练模型的鲁棒性。为达到上述目的，本专利技术主要提供如下技术方案：一方面，本专利技术提供一种对抗样本的生成方法，具体包括：获取一组训练样本，所述训练样本至少包含输入数据以及对应的标签值；利用随机梯度下降算法和所述训练样本更新训练模型的模型参数；根据所述模型参数以及训练模型的超参数确定对抗扰动值，所述超参数为所述训练模型初始化时随机生成的；根据所述对抗扰动值生成所述训练样本对应的对抗样本。优选的，所述方法还包括：利用随机梯度下降算法和所述对抗样本更新训练模型的模型参数；根据所述模型参数判断所述训练模型是否收敛；若未收敛，则利用另一个训练样本生成新的对抗样本更新所述训练模型的模型参数，直至所述训练模型收敛。优选的，根据所述模型参数以及训练模型的超参数确定对抗扰动值包括：设置损失函数J(θ,x,y)，其中，θ为所述模型参数，x为训练样本的输入数据，y为所述训练样本的标签值；利用快速梯度符号法计算所述损失函数对应的对抗扰动值，所述快速梯度符号法的计算表达式为：其中，δFGSM为对抗扰动值，ε为所述超参数，为损失函数在输入数据上的梯度，的取值为1或-1。优选的，根据所述对抗扰动值生成所述训练样本对应的对抗样本包括：对抗样本的输入数据为：其中，xm为一组训练样本中第m个训练样本的输入数据，为第m个训练样本的对抗扰动值；所述对抗样本为其中ym为第m个训练样本的标签值。另一方面，本专利技术提供一种对抗样本的生成装置，具体包括：获取单元，用于获取一组训练样本，所述训练样本至少包含输入数据以及对应的标签值；更新单元，用于利用随机梯度下降算法和所述获取单元获取的训练样本更新训练模型的模型参数；确定单元，用于根据所述更新单元得到的模型参数以及训练模型的超参数确定对抗扰动值，所述超参数为所述训练模型初始化时随机生成的；生成单元，用于根据所述确定单元确定的对抗扰动值生成所述训练样本对应的对抗样本。优选的，所述装置还包括：对抗训练单元，用于利用随机梯度下降算法和所述生成单元生成的对抗样本更新训练模型的模型参数；判断单元，用于根据所述对抗训练单元得到的模型参数判断所述训练模型是否收敛；若所述训练模型未收敛，则利用另一个训练样本生成新的对抗样本更新所述训练模型的模型参数，直至所述训练模型收敛。优选的，所述确定单元包括：设置模块，用于设置损失函数J(θ,x,y)，其中，θ为所述模型参数，x为训练样本的输入数据，y为所述训练样本的标签值；计算模块，用于利用快速梯度符号法计算所述设置模块设置的损失函数对应的对抗扰动值，所述快速梯度符号法的计算表达式为：其中，δFGSM为对抗扰动值，ε为所述超参数，为损失函数在输入数据上的梯度，的取值为1或-1。优选的，所述生成单元包括：第一生成模块，用于生成对抗样本的输入数据为：其中，xm为一组训练样本中第m个训练样本的输入数据，为第m个训练样本的对抗扰动值；第二生成模块，用于根据所述第一生成模块得到的输入数据生成所述对抗样本为其中ym为第m个训练样本的标签值。另一方面，本专利技术提供一种存储介质，所述存储介质用于存储的计算机程序，其中，所述计算机程序运行时控制所述存储介质所在设备执行上述的对抗样本的生成方法。另一方面，本专利技术提供一种处理器，所述处理器用于运行计算机程序，其中，所述计算机程序运行时执行上述的对抗样本的生成方法。借由上述技术方案，本专利技术提供的一种对抗样本的生成方法及装置，通过使用一批训练样本和随机梯度下降算法对训练模型进行训练，得到该训练模型的模型参数，并基于该模型参数确定出针对该训练模型的对抗扰动值，再以该对抗扰动值生成对应于这批训练样本的对抗样本。可见，以该方式得到的对抗样本是针对具体的训练模型而计算得到的，即所得到的对抗样本中含有的噪声是容易让当前的训练模型得到错误输出的。因此，使用这些对抗样本来训练该训练模型就可以更有效的优化该训练模型，使其具有更佳的鲁棒性，即不会由于加入的噪声而影响训练模型的输出值。上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的、特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式。附图说明通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：图1示出了本专利技术实施例提出的一种对抗样本的生成方法的流程图；图2示出了本专利技术实施例提出的另一种对抗样本的生成方法的流程图；图3示出了本专利技术实施例提出的一种对抗样本的生成装置的组成框图；图4示出了本专利技术实施例提出的另一种对抗样本的生成装置的组成框图。具体实施方式下面将参照附图更详细地描述本专利技术的示例性实施例。虽然附图中显示了本专利技术的示例性实施例，然而应当理解，可以以各种形式实现本专利技术而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本专利技术，并且能够将本专利技术的范围完整的传达给本领域的技术人员。本专利技术实施例提供了一种对抗样本的生成方法，该方法所生成的对抗样本是针对具体训练模型的模型参数而得到的。在说明本实施例之前，首先对所要生成的对抗样本的概念进行简要说明：对抗样本的提出，是为了扰乱现有已经训练好的模型。许多研究发现，即使现在非常流行的深度神经网络模型，也显示出来的脆弱性。在机器学习领域，对抗样本本文档来自技高网...

【技术保护点】
1.一种对抗样本的生成方法，其特征在于，所述方法包括：获取一组训练样本，所述训练样本至少包含输入数据以及对应的标签值；利用随机梯度下降算法和所述训练样本更新训练模型的模型参数；根据所述模型参数以及训练模型的超参数确定对抗扰动值，所述超参数为所述训练模型初始化时随机生成的；根据所述对抗扰动值生成所述训练样本对应的对抗样本。

【技术特征摘要】
1.一种对抗样本的生成方法，其特征在于，所述方法包括：获取一组训练样本，所述训练样本至少包含输入数据以及对应的标签值；利用随机梯度下降算法和所述训练样本更新训练模型的模型参数；根据所述模型参数以及训练模型的超参数确定对抗扰动值，所述超参数为所述训练模型初始化时随机生成的；根据所述对抗扰动值生成所述训练样本对应的对抗样本。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：利用随机梯度下降算法和所述对抗样本更新训练模型的模型参数；根据所述模型参数判断所述训练模型是否收敛；若未收敛，则利用另一个训练样本生成新的对抗样本更新所述训练模型的模型参数，直至所述训练模型收敛。3.根据权利要求1或2所述的方法，其特征在于，根据所述模型参数以及训练模型的超参数确定对抗扰动值包括：设置损失函数J(θ,x,y)，其中，θ为所述模型参数，x为训练样本的输入数据，y为所述训练样本的标签值；利用快速梯度符号法计算所述损失函数对应的对抗扰动值，所述快速梯度符号法的计算表达式为：δFGSM＝εsign(▽xJ(θ,x,y))，其中，δFGSM为对抗扰动值，ε为所述超参数，▽xJ(θ,x,y)为损失函数在输入数据上的梯度，sign(▽xJ(θ,x,y))的取值为1或-1。4.根据权利要求3所述的方法，其特征在于，根据所述对抗扰动值生成所述训练样本对应的对抗样本包括：对抗样本的输入数据为：其中，xm为一组训练样本中第m个训练样本的输入数据，为第m个训练样本的对抗扰动值；所述对抗样本为其中ym为第m个训练样本的标签值。5.一种对抗样本的生成装置，其特征在于，所述装置包括：获取单元，用于获取一组训练样本，所述训练样本至少包含输入数据以及对应的标签值；更新单元，用于利用随机梯度下降算法和所述获取单元获取的训练样本更新训练模型的模型参数；确定单元，用于根据所述更新单元得到的模型参数...

【专利技术属性】
技术研发人员：孙思宁，
申请(专利权)人：出门问问信息科技有限公司，
类型：发明
国别省市：北京,11