防止捕获AI模块的方法及其AI系统技术方案

公开了一种AI系统和一种防止捕获AI系统中的AI模块的方法。AI系统10至少包括：输入接口12，用于从至少一个用户接收输入数据；阻断模块14，用于检测接收到的输入数据的有效性，并使用类交换技术生成与作为输入数据接收的无效数据相对应的输出数据；数据集模块16，用于存储有效输入数据集；AI模块18，用于处理所述输入数据并生成对应于输入数据的输出数据；阻断通知模块20，用于在检测到无效输入数据时向AI系统10的所有者传输通知；以及输出接口22，用于将生成的输出数据发送给所述至少一个用户。用户。用户。

【技术实现步骤摘要】
【国外来华专利技术】防止捕获AI模块的方法及其AI系统


[0001]本公开涉及训练AI系统中的模块的方法和防止捕获AI系统中的AI模块的方法。

技术介绍

[0002]如今，大多数数据处理和决策系统是使用人工智能模块实现的。人工智能模块使用不同的技术，如机器学习、神经网络、深度学习等。
[0003]大多数基于AI的系统接收大量数据，并处理数据以训练AI模型。经训练的AI模型基于用户请求的用例生成输出。通常，AI系统用于计算机视觉、语音识别、自然语言处理、音频识别、医疗保健、自主驾驶、制造、机器人等领域中，在这些领域中它们处理数据以基于通过训练获取的某些规则/智能而生成所需的输出。
[0004]为了处理输入，AI系统使用各种模型/算法，这些模型/算法使用训练数据进行训练。一旦使用训练数据训练了AI系统，AI系统就使用模型来分析实时数据并生成适当的结果。可以基于结果实时微调模型。
[0005]AI系统中的模型形成系统的核心。大量的努力、资源（有形的和无形的）和知识投入到开发这些模型中。
[0006]有可能的是，某个对手可能试图从AI系统中捕获/复制/提取模型。对手可能使用不同的技术从AI系统中捕获模型。对手使用的一种简单技术是其中对手使用其自己的测试数据迭代地向AI系统发送不同的查询。测试数据可以以提取关于AI系统中模型工作的内部信息的方式来设计。对手使用生成的结果来训练其自己的模型。通过迭代地进行这些步骤，有可能的是捕获模型的内部，并且可以使用类似的逻辑构建并行模型。这将给AI系统的最初开发者造成困难。困难可能是以商业劣势、机密信息的损失、开发花费的准备时间的损失、知识产权的损失、未来收入的损失等的形式。
[0007]现有技术中有已知的方法来标识对手的这样的攻击，并保护AI系统中使用的模型。现有技术US 2019/0095629 A1公开了一种这样的方法。
[0008]上述现有技术中公开的方法接收输入，通过将经训练的模型应用于输入数据来处理输入数据，以生成具有多个预定义类中的每个类的值的输出向量。查询引擎通过在与生成输出向量相关联的函数中插入查询来修改输出向量，从而生成修改的输出向量。然后输出修改的输出向量。查询引擎修改一个或多个值来伪装经训练的模型逻辑的经训练的配置，同时维持输入数据的分类准确性。
附图说明
[0009]本专利技术的不同模式在说明书中详细公开，并在附图中图示：图1图示了代表根据本公开的AI系统的不同构建块的框图；和图2图示了代表根据本公开的用于防止捕获AI系统中的AI模块的方法的框图；和图3图示了代表根据本公开的AI系统的不同构建块的附加细节的框图。
具体实施方式
[0010]理解人工智能（AI）技术和基于人工智能（AI）的系统或人工智能（AI）系统的一些方面是重要的。本公开覆盖AI系统的两个方面。本公开覆盖与防止捕获AI系统中的AI模块相关的方面。
[0011]AI技术和AI系统的一些重要方面可以解释如下。取决于实现方式的架构，AI系统可以包括许多组件。一个这样的组件是AI模块。参考本公开的AI模块可以被解释为运行至少一个模型的组件。模型可以被定义为数据的参考或推断集，其用在不同形式的相关矩阵中。使用这些模型和来自这些模型的数据，可以在不同类型的数据之间建立相关性，以达到对数据的某种逻辑理解。本领域技术人员将知晓不同类型的AI模型，诸如线性回归、朴素贝叶斯分类器、支持向量机、神经网络等。必须理解，本公开并不特定于正在AI模块中执行的AI模型的类型，而是可以应用于任何AI模块，而不管正在执行的AI模型。本领域技术人员还将领会，AI模块可以被实现为一组软件指令、软件和硬件的组合或者它们的任何组合。
[0012]AI系统执行的一些典型任务是分类、聚类、回归等。大多数分类任务依赖于标注数据集；也就是说，数据集被手动标注，以便神经网络学习标注和数据之间的相关性。这已知为监督学习。分类的一些典型应用为：脸部识别、对象标识、手势识别、声音识别等。聚类或分组是对输入中相似性的检测。聚类学习技术不需要标注来检测相似性。没有标注的学习被称为无监督学习。未标注数据是世界上大多数的数据。机器学习的一个法则是：算法可以在其上训练的数据越多，它就将越准确。因此，随着训练数据集大小的增长，无监督学习模型/算法具有产生准确模型的潜力。
[0013]由于AI模块形成AI系统的核心，因此需要保护该模块免受攻击。攻击者试图攻击AI模块中的模型，并从AI模块中窃取信息。攻击是通过攻击向量发起的。在计算技术中，向量可以被定义为恶意代码/病毒数据用来传播自身以诸如感染计算机、计算机系统或计算机网络的方法。类似地，攻击向量被定义为黑客可以通过其得到对计算机或网络的访问以便传递有效载荷或恶意结果的路径或手段。模型窃取攻击使用一种可以制作AI模块的数字孪生/副本/拷贝的攻击向量。这种攻击已经在不同的研究论文中进行了演示，其中模型被捕获/复制/提取以构建具有类似性能的替换模型。
[0014]攻击者通常生成输入规格的大小和形状的随机查询，并开始利用这些任意查询来查询模型。该查询为随机查询产生输入
‑
输出对，并生成从预先训练的模型推断的辅助数据集。然后，攻击者取得该I/O对，并使用该辅助数据集从头开始训练新模型。这是黑盒模型攻击向量，其中不需要原始模型的先验知识。随着关于模型的先验信息可用和增加，攻击者移向更智能的攻击。攻击者选择相关数据集受他支配来更高效地提取模型。这是基于领域智能模型的攻击向量。利用这些方法，有可能的是跨不同的模型和数据集演示模型窃取攻击。
[0015]如上所提及的，攻击者能够在预期一些输出的情况下直接向模型发送随机查询。本公开中要求保护的概念的一个目的是不允许攻击者/用户对AI模块中的AI模型的任何访问。
[0016]必须理解，本公开特别公开了一种防止捕获AI系统中的AI模块的方法技术。虽然这些方法技术仅描述了完成目标的一系列步骤，但是这些方法技术是在AI系统中实现的，该AI系统可以是硬件、软件及其组合的组合。
[0017]图1、图2和图3图示了代表根据本公开的AI系统的不同构建块以及防止捕获AI系
统中的AI模块的方法的框图。必须理解的是，AI系统的每个构建块可以取决于应用在不同的架构框架中实现。在架构框架的一个实施例中，AI系统的所有构建块以硬件实现，即每个构建块可以被硬编码到微处理器芯片上。当构建块在物理上分布在网络上，其中每个构建块在跨网络的单独计算机系统上时，这特别是可能的。在AI系统的架构框架的另一个实施例中，其实现为硬件和软件的组合，即一些构建块被硬编码到微处理器芯片上，而其他构建块在软件中实现，该软件可以驻留在微处理器芯片中或者在云上。在一个实施例中，AI系统的每个构建块将具有单独的处理器和存储器。
[0018]图1图示了代表根据本公开的AI系统的不同构建块的框图。AI系统10至少包括：输入接口12，用于从至少一个用户接收输入数据；阻断模块14，用于检测接收到的输入数据的有效性，并生成与作为输入数据接收本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种防止捕获AI系统（10）中的AI模块（18）的方法（50），所述方法包括以下步骤：
‑ꢀ
通过输入接口（12）从至少一个用户接收（52）输入数据；
‑ꢀ
在所述AI系统（10）中的阻断模块（14）中检测（54）作为无效输入数据的输入数据；
‑ꢀ
将输入数据从所述阻断模块（14）传输（56）到所述AI系统中的AI模块（18）；
‑ꢀ
在所述阻断模块（14）中以如下方式处理（58）来自所述至少一个用户的所述输入数据和来自所述AI模块（18）的输出数据，所述方式使得如果输入数据被检测为无效输入数据，则来自阻断模块（14）的输出数据是通过所意图输出的类交换技术获得的输出数据；以及
‑ꢀ
通过所述输出接口（22）向所述至少一个用户发送（60）通过交换所意图输出的类而获得的所述输出数据。2.如权利要求1所述的方法（50），其中所述无效输入数据被定义为与存储在AI系统（10）的数据集模块（16）中的数据集不相关的输入数据。3.如权利要求2所述的方法（50），其中所述无效输入数据是攻击输入数据。4.如权利要求1所述的方法（50），其中所述类交换技术涉及基于随机化的类交换。5.如权利要求1所述的方法（50），其中所述类交换技术涉及基于规则的逻辑类交换。6.如权利要求1所述的方法（50），其中所述在所述阻断模块（14）中检测（54）到作为无效输入数据的输入数据时，...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：罗伯特，
类型：发明
国别省市：