具有鲁棒深度生成模型的系统和方法技术方案

一种机器学习系统包括编码器和解码器网络。所述机器学习系统被配置成获得输入数据，所述输入数据包括传感器数据和可容许扰动的

【技术实现步骤摘要】
【国外来华专利技术】具有鲁棒深度生成模型的系统和方法


[0001]本公开总体上涉及机器学习系统，并且更具体地，涉及对对抗式攻击鲁棒的深度生成模型。

技术介绍

[0002]一般来说，机器学习系统（诸如，深度神经网络）容易受到对抗式攻击。例如，机器学习系统可能会经由其输入而被攻击。这种对抗式攻击包括对输入的扰动，这种扰动引起机器学习系统的输出中的改变。例如，当对抗式攻击涉及传感器数据时，对该传感器数据的扰动可能例如通过提供不正确的输出数据而引起机器学习系统以非期望的方式做出行为，从而导致负面后果和影响。虽然在分类设置中、并且在较小程度上在诸如对象检测或图像分割之类的其他监督设置中有一些与对抗式攻击相关的工作，但是在向生成模型提供对对抗式攻击的防御解决方案方面，似乎没有太多的工作。

技术实现思路

[0003]以下内容是下面详细描述的某些实施例的概述。呈现所描述的方面仅仅是为了向读者提供这某些实施例的简要概述，并且对这些方面的描述并不意图限制本公开的范围。实际上，本公开可以涵盖下面可能没有明确阐述的各种方面。
[0004]根据至少一个方面，一种计算本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种用于将机器学习系统训练成对扰动鲁棒的计算机实现方法，所述方法包括：获得输入数据，所述输入数据包括传感器数据和可容许扰动的
ℓ
p
范数球的半径；基于所述输入数据来生成输入边界数据；通过在编码器网络的第一输出上传播所述输入边界数据来生成第一边界数据；通过在编码器网络的第二输出上传播所述输入边界数据来生成第二边界数据；基于第一和第二边界数据来生成与隐变量相关联的第三边界数据；通过在解码器网络的输出上传播第三边界数据来生成第四边界数据；通过基于第一边界数据、第二边界数据、第三边界数据和第四边界数据来生成证据下边界（ELBO）的下边界从而关于所述输入数据来建立鲁棒性凭证；以及基于所述鲁棒性凭证来更新所述编码器网络和所述解码器网络，使得包括所述编码器网络和所述解码器网络的所述机器学习系统在针对可容许扰动进行防御方面是鲁棒的。2.根据权利要求1所述的计算机实现方法，其中：所述ELBO包括条件对数似然函数；以及更新所述编码器网络和所述解码器网络的步骤包括优化所述ELBO的下边界。3.根据权利要求1所述的计算机实现方法，其中更新所述编码器网络和所述解码器网络的步骤包括：基于所述ELBO的下边界来更新所述编码器网络和所述解码器网络的参数，以使所述ELBO的下边界最大化。4.根据权利要求1所述的计算机实现方法，其中：所述机器学习系统包括变分自编码器，所述变分自编码器包括所述编码器网络和所述解码器网络；以及隐变量与所述变分自编码器相关联。5.根据权利要求1所述的计算机实现方法，其中：所述编码器网络包括用于产生所述编码器网络的第一输出的第一编码组件和用于产生所述编码器网络的第二输出的第二编码组件；生成第一边界数据的步骤包括生成第一编码组件的第一上边界数据和第一下边界数据；以及生成第二边界数据的步骤包括生成第二编码组件的第二上边界数据和第二下边界数据。6.根据权利要求1所述的计算机实现方法，其中所述鲁棒性凭证生成所述ELBO的下边界，以确保对于满足的所有δ，，其中x表示传感器数据，δ表示扰动数据，L(x+δ)表示基于被扰动数据所扰动的传感器数据的ELBO，表示所述ELBO的下边界，以及
ϵ
train
表示可容许扰动的
ℓ
p
范数球的半径。7.根据权利要求1所述的计算机实现方法，其中：所述输入边界数据包括所述输入数据的上边界数据和下边界数据；
第一边界数据包括所述编码器网络的第一编码组件的第一输出的第一上边界数据和第一下边界数据；第二边界数据包括所述编码器网络的第二编码组件的第二输出的第二上边界数据和第二下边界数据；第三边界数据包括与隐变量相关联的第三上边界数据和第三下边界数据；以及第四边界数据包括所述解码器网络的输出的第四上边界数据和第四下边界数据。8.一种系统，包括：致动器；传感器系统，其包括至少一个传感器；非暂时性计算机可读介质，其存储具有编码器网络和解码器网络的机器学习系统，所述编码器网络和解码器网络是基于形成所述机器学习系统的损失函数的下边界的鲁棒性凭证来训练的；以及控制系统，其基于与所述传感器系统和所述机器学习系统的通信来控制所述致动器，所述控制系统包括至少一个电子处理器，所述电子处理器可操作以：获得输入数据，所述输入数据包括来自所述传感器系统的传感器数据和来自干扰的扰动数据，其中所述传感器数据被所述扰动数据所扰动；经由所述机器学习系统来处理所述输入数据；以及经由所述机器学习系统来生成输出数据，其中所述输出数据是所述传感器数据的重建，所述输出数据与未被所述扰动数据所扰动的似然性相关联；其中：所述传感器数据和所述输出数据是分布内数据，所述分布内数据对应于与所述机器学习系统相关联的模型分布；以及即使所述扰动数据被构造成使所述机器学习系统将所述输入数据标识和处理为在模型分布之外的分布外数据，所述机器学习系统也将所述输入数据标识和处理为在分布内数据的范围内。9.根据权利要求8所述的系统，其中：所述控制系统可操作以在对所述输出数据进行分类后生成分类数据；所述控制系统可操作以基于所述分类数据来生成对所述致动器的控制数据；以及所述致动器响应于所述控制数据来执行动作。10.根据权利要求8所述的系统，其中所述机器学习系统包括变分自编码器，所述变分自编码器被训练成对扰动是鲁棒的，并且包括所述编码器网络和所述解码器网络。11.根据权利要求10所述的系统，其中，在与所述控制系统的通信之前，通过训练过程来训练所述变分自编码...

【专利技术属性】
技术研发人员：J，
申请(专利权)人：罗伯特，
类型：发明
国别省市：