实施例涉及混合深度学习环境中的安全性优化计算分布。一种装置的实施例包括：一个或多个处理器，用以确定请求使用由所述装置托管的机器学习（ML）模型的客户端机器的安全性能力和计算能力；基于安全性能力并且基于ML模型的暴露标准来确定可以将ML模型的一个或多个层卸载到客户端机器以用于处理；基于客户端机器的计算能力来定义ML模型的一个或多个层的划分级别以用于ML模型的分区，所述分区包括要在客户端机器上处理的ML模型的一个或多个层的卸载层；以及使ML模型的卸载层被下载到客户端机器。端机器。端机器。
【技术实现步骤摘要】
混合深度学习环境中的安全性优化计算分布
[0001]本文中描述的实施例总体上涉及电子设备领域，并且更特别地，涉及混合深度学习环境中的安全性优化计算分布。
技术介绍
[0002]AI（人工智能）和ML（机器学习）的训练和推理易受多种不同的对抗性机器学习威胁的影响。这些威胁包括：对模型提取的攻击或对模型进行逆向工程、训练期间的模型的中毒、对提取训练数据的反转攻击、以及其中攻击者修改输入以回避检测的回避攻击。
[0003]对抗性ML攻击在训练和推理两者期间都是可能的。随着AI和ML处理继续进入新的
，常规依赖于算法性方法来检测和阻止对抗性攻击是不够的，并且因此可以实现附加的安全性措施。
附图说明
[0004]在附图的各图中作为示例而不是作为限制来图示本文所描述的实施例，其中相同的附图标记指代相似的要素。
[0005]图1图示了根据本公开的一个实现方式的采用动态神经网络（NN）分布组件的计算设备。
[0006]图2图示了根据本公开的一个实现方式的动态NN分布组件。
[0007]图3是根据本公开的实现方式的用于在混合深度学习环境中提供安全性优化计算分布的NN架构的元素的图示。
[0008]图4图示了根据本公开的实现方式的在混合深度学习环境中提供安全性优化计算分布的系统。
[0009]图5A和图5B是图示了根据本公开的实现方式的针对由服务器系统实行的安全性优化的动态NN分布的示例流程的流程图。
[0010]图5C是图示了根据本公开的实现方式的针对由服务器系统实行的安全性优化的动态NN分布的另一示例流程的流程图。
[0011]图6图示了根据本公开的实现方式的示意图，该示意图描绘了客户端系统与服务器系统之间的、用以在混合深度学习环境中实现安全性优化计算分布的示例通信流程。
[0012]图7图示了根据本公开的实现方式的示意图，该示意图描绘了客户端系统与服务器系统之间的、用以在混合深度学习环境中实现安全性优化计算分布的示例接口。
[0013]图8A图示了根据本公开的实现方式的在云服务提供商（CSP）的环境中运行的第一训练过程的示例流程。
[0014]图8B图示了根据本公开的实现方式的在客户端的环境中运行的第二训练过程的示例流程。
[0015]图9A图示了根据本公开的实现方式的用于在推理期间共享CSP的相同深度神经网络（DNN）计算核心的多个客户端设备的系统。
[0016]图9B图示了根据本公开的实现方式的用于在训练期间共享CSP的相同DNN计算核心的多个客户端设备的系统。
[0017]图10图示了根据本公开的实现方式的在视觉内容处理的上下文中提供异构分布式深度学习的异构分布式深度学习网络。
[0018]图11图示了根据本公开的实现方式的实行基于反向传播的学习过程的异构分布式深度学习网络。
[0019]图12图示了根据本公开的实现方式的在训练中提供反向传播的异构分布式深度学习网络1200。
[0020]图13图示了根据本公开的实现方式的用于支持对应的异构分布式NN并且在推理期间共享CSP的相同DNN计算核心的多个客户端设备的系统。
[0021]图14图示了根据本公开的实现方式的描述了异构深度学习架构的逻辑图与物理图之间的映射。
具体实施方式
[0022]本文中描述的实施例是混合深度学习环境中的安全性优化计算分布。
[0023]在以下描述中，阐述了许多特定细节。然而，在没有这些特定细节的情况下，也可以实践如本文中所描述的实施例。在其他实例中，众所周知的电路、结构和技术未被详细示出，以免混淆对本描述的理解。
[0024]用于机器学习（ML）和深度学习（DL）解决方案的常规神经网络（NN）架构（诸如，深度神经网络（DNN）架构）与安全性和隐私问题相关联。当NN架构诸如通过云服务提供商（CSP）在服务器设备上运行时，利用该NN架构的客户端机器可能必须将内容推送到该服务器（例如，CSP），并且照此使该内容中包含的信息（诸如机密数据）置于被网络或服务器（例如，CSP）对抗方所公开的风险之下。此外，某些服务器和/或CSP可能并不寻求将其模型放在客户端侧设备上，这是由于这样的客户端侧系统潜在地会为知识产权（IP）盗窃而开放。另外，某些客户端侧设备可能具有资源约束，这些资源约束不允许完全地运行NN架构有效负载。
[0025]实施例提供了一种新颖技术，该技术用于在客户端侧设备上运行NN架构的模型（例如，ML模型）的一部分，而在服务器侧（例如，CSP）设备上运行该模型的其余部分。该新颖技术用于解决上述性能和/或安全性问题。本公开的实现方式利用了混合深度学习NN架构，其中客户端侧设备正实行基本（例如，标准化）的输入处理，同时将（一个或多个）服务器侧设备（例如，云侧设备或分区）留下以实行该处理的其余部分（例如，敏感IP被集中在高模型层中）。客户端侧设备可以将在预处理之后不包含敏感细节的压缩信息（例如，向量特征）转发到（一个或多个）服务器侧设备。
[0026]实施例通过在客户端与服务器之间提供动态NN有效负载分布来提供用于解决上述问题的新颖技术，其中动态NN有效负载分布是基于数据（例如，客户端侧设备）和模型所有者（例如，服务器侧/CSP侧开发者）的性能和安全性能力来动态确定的。客户端和服务器可以交换关于隐私和安全性需求、以及可用客户端侧计算资源的信息，以便协商关于客户端与服务器之间的NN有效负载的最优划分的相互可接受的决策。作为结果，敏感数据不会离开客户端侧设备（例如，信息被高度混淆），这使安全性级别保持较高。同时，通过使模型
在服务器侧设备上运行来保护该模型的部分（例如，IP）。在一些实现方式中，关于客户端侧资源和能力来实行该划分，并且该划分为客户端和服务器侧设备两者提供了改进的功率和性能。
[0027]本公开的实施例进一步提供了一种新颖NN架构，该新颖NN架构使用本文中所描述的分布式NN架构的层的独立训练，以及使用异构分布式深度学习架构。如本文中所描述的，可以将分布式NN架构的层的独立训练和异构分布式深度学习与用于动态NN分布的技术进行组合以用于安全性优化。
[0028]本公开的实现方式可以提供相比于常规方法的改进和益处，诸如但不限于：针对给定系统配置的改进的安全性、易于部署而无需大量开发和集成、与“纯服务器侧”或“纯客户端侧”ML模型相比改进的性能、和/或在推理（例如，模型的推理阶段）使用特定于客户端的部分的情况下改进的网络流量。
[0029]所预期的是，包括DNN有效负载分布的安全性优化计算分布、分布式NN架构的层的独立训练、和/或异构分布式深度学习的本公开的实现方式不限于软件或硬件实现方式，并且如将在本文档中进一步描述的，该新颖技术可以以软件、硬件、或其任何组合（诸如，固件）来应用和实现。例如，由分布式NN架构实行的大量通用计算操作可以使用比图形处理单元（GPU）更灵活的处理核心，以能够处置任何量的工作负载。另外，可以使用经学习的算法而不是整本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种装置，其包括：一个或多个处理器，用以：确定请求使用由所述装置托管的机器学习（ML）模型的客户端机器的安全性能力和计算能力；基于安全性能力并且基于ML模型的暴露标准来确定可以将ML模型的一个或多个层卸载到客户端机器以用于处理；基于客户端机器的计算能力来定义ML模型的一个或多个层的划分级别以用于ML模型的分区，所述分区包括要在客户端机器上处理的ML模型的一个或多个层的卸载层；以及使ML模型的卸载层被下载到客户端机器。2.根据权利要求1所述的装置，其中，暴露标准包括对模型保护级别（MPL）的标识，所述模型保护级别是可以被卸载到客户端机器而不会使ML模型暴露于安全性风险的ML模型的一个或多个层的最低层，所述最低层从ML模型的一个或多个层的第一输入层开始计数。3.根据权利要求2所述的装置，其中，用以确定可以卸载ML模型的一个或多个层的一个或多个处理器进一步包括：用以将暴露标准与安全性能力进行比较的一个或多个处理器，其中，安全性能力标识可以在客户端机器上运行以确保客户端机器的机密数据不被暴露的一个或多个层的数据保护级别（DPL）。4.根据权利要求3所述的装置，其中，响应于DPL小于或等于MPL而允许将一个或多个层卸载到客户端机器。5.根据权利要求1所述的装置，其中，用以定义划分级别的一个或多个处理器进一步包括如下一个或多个处理器：其用以基于用于运行由划分级别定义的一个或多个层的子集的计算功率的级别小于或等于客户端机器的计算能力中定义的计算功率来标识划分级别。6.根据权利要求1所述的装置，其中，ML模型的一个或多个层进一步包括客户端机器层的集合，所述客户端机器层由客户端机器来训练并且由客户端机器来运行，其中客户端机器层中的至少一个替换了ML模型的卸载层，或者除了ML模型的卸载层之外还运行客户端机器层中的至少一个。7.根据权利要求6所述的装置，其中，对ML模型的客户端机器层的训练包括反向传播向量，所述反向传播向量用以调整客户端机器层中的第一权重而无需调整ML模型的公共计算核心中的第二权重。8.根据权利要求7所述的装置，其中，ML模型的推理阶段利用客户端机器层以及ML模型的公共计算核心，并且其中，通过处理来生成推理信号，所述处理通过在客户端机器层处开始处理、进行到公共计算核心处的处理、并且返回客户端机器层处的处理以提供推理结果来进行。9.根据权利要求1所述的装置，其中，ML模型的一个或多个层包括具有多个神经元以实行ML模型的一个或多个神经元功能的多功能感知器架构的一个或多个阶段，并且其中，所述多个神经元包括异构神经元，所述异构神经元包括划分器神经元、混合神经元、反神经元、选择器神经元、提取器神经元或变换器神经元中的一个或多个。10.根据权利要求9所述的装置，其中，ML模型的分区的划分级别是根据多功能感知器架构的一个或多个阶段来定义的，并且标识ML模型的至少一个阶段，所述阶段用于针对ML模型的训练或推理中的至少一个而卸载到客户端机器。
11.根据权利要求1所述的装置，其中，一个或多个处理器包括图形处理器、应用处理器和另一处理器中的一个或多个，其中，一个或多个处理器共同位于公共的半导体封装上。12.一种装置，其包括：用于确定请求使用机器学习（ML）模型的客户端机器的安全性能力和计算能力的部件；用于基于安全性能力并且基于ML模型的暴露标准来确定可以将ML模型的一个或多个层卸载到客户端机器以用于处理的部件；用于基于客户端机器的计算能力来定义ML模型的一个或多个层的划分级别以用于ML模型的分区的部件，所述分区包...
【专利技术属性】
技术研发人员：O，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。