【技术实现步骤摘要】
保护推理引擎免受模型检索攻击
实施例总体上涉及机器学习系统。更具体而言，实施例涉及保护推理引擎免受模型检索攻击。
技术介绍
推理引擎可以包括机器学习(ML)模型。可以训练模型以响应于输入数据集而提供一个或多个输出。利用合适的模型(例如，神经网络(NN)模型)和训练，推理引擎可以提供人工智能(AI)特征，例如模式识别/预测、图像/对象识别、语音/话语识别等。附图说明通过阅读以下说明书和所附权利要求，并通过参考以下附图，实施例的各种优点对于本领域技术人员将是显而易见的，在附图中：图1是根据实施例的电子处理系统的示例的框图；图2是根据实施例的半导体封装装置的示例的框图；图3A至图3C是根据实施例的禁止模型检索的方法的示例的流程图；图4是根据实施例的模型检索攻击的示例的说明图；图5A和图5B是根据实施例的训练和推理数据集的示例的说明图；图6A和图6B是根据实施例的训练和推理数据集的计数与置信度对比的说明曲线图；图7是根据实施例的推理系统的示例的框...
【技术保护点】
1.一种电子处理系统，包括：/n推理引擎；以及/n模型检索阻止器，其通信地耦合到所述推理引擎，所述模型检索阻止器包括逻辑单元，所述逻辑单元用于：/n执行对所述推理引擎的机器学习模型的输入和输出的运行时分析，/n基于所述运行时分析来检测指示对检索所述机器学习模型的尝试的活动，以及/n在检测到指示尝试的模型检索的所述活动时执行一个或多个预防措施。/n
【技术特征摘要】
20180712 US 16/033,2721.一种电子处理系统，包括：
推理引擎；以及
模型检索阻止器，其通信地耦合到所述推理引擎，所述模型检索阻止器包括逻辑单元，所述逻辑单元用于：
执行对所述推理引擎的机器学习模型的输入和输出的运行时分析，
基于所述运行时分析来检测指示对检索所述机器学习模型的尝试的活动，以及
在检测到指示尝试的模型检索的所述活动时执行一个或多个预防措施。
2.根据权利要求1所述的系统，其中，所述逻辑单元还用于：
至少部分地在安全执行环境中运行活动检测和预防措施中的一个或多个。
3.根据权利要求1所述的系统，其中，所述逻辑单元还用于：
检测与所述机器学习模型的使用相关的异常。
4.根据权利要求3所述的系统，其中，所述使用异常基于以下中的一个或多个：模型检索查询模式与训练模式之间的相似性、常规预测和分类中的一个或多个中的模型查询与训练查询之间的差异、训练中的特征集与推理数据集之间的随机分布的差异、以及训练数据集与所述推理数据集之间的分类的统计分布之间的差异。
5.根据权利要求1至4中任一项所述的系统，其中，所述逻辑单元还用于：
基于检测到的异常在所述机器学习模型中的一个或多个流执行点处实行流。
6.根据权利要求1至4中任一项所述的系统，其中，所述一个或多个预防措施包括以下中的一个或多个：所述机器学习模型的所述流的中断、所述机器学习模型的执行中的延迟的引入、所述机器学习模型的输出的修改、与所述模型检索尝试相关的信息日志的创建、以及所述模型检索尝试的通知。
7.一种半导体封装装置，包括：
一个或多个衬底；以及
逻辑单元，其耦合到所述一个或多个衬底，其中，所述逻辑单元至少部分地实施成可配置逻辑单元和固定功能硬件逻辑单元中的一个或多个，耦合到所述一个或多个衬底的所述逻辑单元用于：
执行对推理引擎的机器学习模型的输入和输出的运行时分析，
基于所述运行时分析来检测指示对检索所述机器学习模型的尝试的活动，以及
在检测到指示尝试的模型检索的所述活动时执行一个或多个预防措施。
8.根据权利要求7所述的装置，其中，所述逻辑单元还用于：
至少部分地在安全执行环境中运行活动检测和预防措施中的一个或多个。
9.根据权利要求7所述的装置，其中，所述逻辑单元还用于：
检测与所述机器学习模型的使用相关的异常。
10.根据权利要求9所述的装置，其中，所述使用异常基于以下中的一个或多个：模型检索查询模式与训练模式之间的相似性、常规预测和分类中的一个或多个中的模型查询与训练查询之间的差异、训练中的特征集与推理数据集之间的随机分布的差异、以及训练数据集与所述推理数据集之间的分类的统计分布之间的差异。
11.根据权利要求7至10中任一项所述的装置，其中，所述逻辑单元还用于：
基于检测到的异常在所述机器学习模型中的一个或多个流执行点处实行流。
12.根据权利要求7至10中任一项所述的装置，其中，所述一个或多个预防措施包括以下中的一个或多个：所述机器学习模型的所述流的中断、所述机器学习模型的...
【专利技术属性】
技术研发人员：O·波戈列里克，A·奈什图特，R·A·科亨，G·巴恩哈特梅根，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。