通过替代编码用于鲁棒性的神经网络约束制造技术

本公开涉及通过替代编码用于鲁棒性的神经网络约束。神经网络被扩增以针对对手攻击提高鲁棒性。在该方法中，完全连接的附加层与神经网络的最后一层相关联。附加层具有比至少一个或多个中间层低的维度。在适当地调整附加层的大小之后，应用向量位编码。编码包括用于每个输出类的编码向量。优选地，编码是n热点编码，其中n表示超参数。然后训练所得神经网络以鼓励网络将特征与每个热点位置相关联。以此方式，网络学习表示包含关于每个输出类的大量信息的那些特征的减小的特征集，和/或学习那些特征和输出类之间的约束。经训练的神经网络用于执行针对对手示例鲁棒的分类。于执行针对对手示例鲁棒的分类。于执行针对对手示例鲁棒的分类。

【技术实现步骤摘要】
通过替代编码用于鲁棒性的神经网络约束


[0001]本公开一般地涉及信息安全，并且具体地涉及保护神经网络免受对手攻击。

技术介绍

[0002]作为最先进的人工智能(AI)服务的关键组件的机器学习技术在为诸如图像识别、语音识别和自然语言处理等各种任务提供人类级能力方面已经显示出很大成功。大多数主要技术公司正以深度学习模型(例如，深度神经网络(DNN))作为关键组件来构建他们的AI产品和服务。构建生产级深度学习模型不是一件简单的任务，其需要大量的训练数据、强大的计算资源和人类专业知识。例如，针对图像分类设计的卷积神经网络(CNN)的创建在图像数据集具有数百万个图像的情况下可能在多个GPU上花费从几天到几周。此外，设计深度学习模型需要大量的机器学习专业知识和许多试错迭代来定义模型架构和选择模型超参数。
[0003]深度学习已经在各种现实世界应用(诸如计算机视觉、自然语言处理和语音识别)中显示出是有效的。它还已经在临床信息学中显示了巨大潜力，如医学诊断和调节决策，包括患者记录的学习表示、支持疾病表型分型和进行预测。然而，最近的研究显示，这些模型易本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种约束和操作神经网络以针对对手攻击提高鲁棒性的方法，所述神经网络包括第一层、最后一层和一个或多个中间层，所述方法包括：将完全连接的附加层与所述最后一层相关联，其中所述附加层具有比至少一个中间层低的维度；将编码应用于所述附加层，其中所述编码包括用于每一输出类的编码向量；训练具有所述附加层和所应用的编码的所述神经网络以学习减小的特征集，所述减小的特征集表示包含关于至少一个输出类的大量信息的一个或多个特征；以及使用经训练的神经网络来执行针对对手示例鲁棒的分类。2.根据权利要求1所述的方法，其中，所述编码是包括一组位向量的向量位编码方案，并且其中，所述一组位向量中的第i个编码向量表示所述神经网络的第i个输出类。3.根据权利要求2所述的方法，进一步包括：关联用于所述附加层与所述输出层之间的连接的一组固定编码权重；以及通过所述训练保持所述固定编码权重不变。4.根据权利要求1所述的方法，其中，所述训练还在所述一个或多个特征与所述输出层之间添加一个或多个约束。5.根据权利要求1所述的方法，其中，所述附加层使用sigmoid激活被完全连接并且被定位在最后的中间层与所述最后一层之间，其中，所述最后一层是对数函数层。6.根据权利要求1所述的方法，其中，所述训练将所述至少一个输出类的所述一个或多个特征与所述编码向量中的特定位位置相关联。7.根据权利要求1所述的方法，进一步包括调整所述附加层的大小以包括足以编码用于所述神经网络的每个输出类的唯一标记的神经元的数量。8.根据权利要求1所述的方法，其中，所述训练对于一组类别使用多个损失函数的加权和。9.一种装置，包括：处理器；保存计算机程序指令的计算机存储器，所述计算机程序指令由所述处理器执行来约束和操作神经网络以针对对手攻击提高鲁棒性，所述计算机程序指令被配置为：将完全连接的附加层与所述最后一层相关联，其中所述附加层具有比至少一个中间层低的维度；将编码应用于所述附加层，其中所述编码包括用于每一输出类的编码向量；训练具有所述附加层和所应用的编码的所述神经网络以学习减小的特征集，所述减小的特征集表示包含关于至少一个输出类的大量信息的一个或多个特征；以及使用经训练的神经网络来执行针对对手示例鲁棒的分类。10.根据权利要求9所述的装置，其中，所述编码是包括一组位向量的向量位编码方案，并且其中，所述一组位向量中的第i个编码向量表示所述神经网络的第i个输出类。11.根据权利要求9所述的装置，其中，所述计算机程序指令进一步被配置为：关联用于所述附加层与所述输出层之间的连接的一组固定编码权重；其中，所述固定编码权重通过所述训练保持不变。12.根据权利要求9所述的装置，其中，所述训练还在所述一个或多个特征与...

【专利技术属性】
技术研发人员：K，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：