机器学习模型验证和认证制造技术

本公开内容涉及用于验证和认证对机器学习模型的使用的方法和装置。例如，本文描述了用于限制机器学习模型攻击和/或利用模型进行恶意使用的漏洞以及用于检测何时发生这样的攻击/利用的各种技术。另外，本文描述的各种实施例促进了对敏感和/或有价值的数据的保护，例如通过确保只允许许可使用来实现这一点。此外，还描述了用于版本跟踪、使用跟踪、权限跟踪和机器学习模型演化的技术。和机器学习模型演化的技术。和机器学习模型演化的技术。

【技术实现步骤摘要】
【国外来华专利技术】机器学习模型验证和认证


[0001]本文描述的各种实施例总体上涉及安全性和人工智能。更具体地，但非排他性地，本文公开的各种方法和装置涉及验证和认证对机器学习模型的使用。

技术介绍

[0002]诸如机器学习模型(也被称为“统计模型”)之类的人工智能(“AI”)部件能用于将复杂计算应用于复杂输入以生成各种类型的输出。然而，对于采用机器学习模型的许多复杂和/或自主任务，安全性漏洞会对数据隐私和/或安全构成严重风险。例如，机器学习模型在医疗保健领域变得越来越普遍，它们被广泛用于各种应用，例如，临床决策假设(“CDS”)、控制医学设备等。《医疗保险流通和责任法案》(Health Insurance Portability and Accountability Act(“HIPAA”))等法规非常重视患者隐私。此外，输入数据的安全性漏洞、基于机器学习模型和/或模型本身的参数执行的数学运算完整性的变化都可能导致错误输出，这在医学领域尤其具有破坏性。
[0003]确定机器学习模型是否受到损害具有挑战性。攻击者有多种方法来破坏机器学习模型，从而使其以意想不到的和/或恶意的方式运行，例如修改权重，利用输入中的漏洞(这可能导致一致的恶意输出)，或者通过自定义代码绕过算法。这些恶意攻击能够通过修改非易失性存储器中(例如“磁盘上”)的机器学习模型来实现，也可以在使用易失性存储器(例如，随机存取存储器或“RAM”)的执行期间实时实现。

技术实现思路

[0004]本公开内容涉及用于验证和认证对机器学习模型的使用的方法和装置。例如，本文描述了用于限制机器学习模型攻击和/或利用模型进行恶意使用的漏洞以及用于检测何时发生这样的攻击/利用的各种技术。另外，本文描述的各种实施例促进了对敏感和/或有价值的数据的保护，例如通过确保只允许许可使用来实现这一点。此外，还描述了用于版本跟踪、使用跟踪、权限跟踪和机器学习模型演化的技术。
[0005]本文描述了与医疗保健由关的各种示例。特别地，由附图描绘和/或展示的示例技术通常是在医疗保健背景中描述的。然而，这并不意味着限制。本文描述的技术广泛适用于医疗保健背景之外的背景。例如，本文描述的技术可以在安全检查点使用，在安全检查点处结合训练机器学习模型(例如，卷积神经网络)来使用图像数据以确定由个人构成的威胁/风险。它们还可以应用于通常使用机器学习的其他情况，例如，财务分析、风险分析等。
[0006]本文描述的示例还可以用于改变被提供给最终用户的细节和/或粒度的级别。例如，本文描述的技术可以使得基于上游输入来阻挡被配置为进行分类的经训练的机器学习的一个(例如，最后的)输出层。然而，上游输入可能仍对各种目的有用。
[0007]作为示例，神经网络的最后一层可以被训练为接收经分割的图像数据(例如，指示潜在癌症关注的感兴趣区域的图像数据)并将这些感兴趣区域中的一个或多个感兴趣区域分类为恶性或良性。然而，由前一层提供的经分割的图像数据即使不用于分类也可能是有
用的，例如，对于在数字图像中对潜在癌症关注的感兴趣区域进行注释是有用的。因此，如果护士或其他具有类似资格或许可的医务人员向模型提供他们的凭证，则模型会阻挡数据前向传播而通过最后一层，并且仅提供经分割的图像数据，然后经分割的图像数据可以用于例如生成示出普遍关注的区的热图，而不提供是恶性还是良性的具体分类。然而，如果放射科医师提供他或她的凭证，则最后一层可以被激活(或解锁)并且放射科医师可以接收针对每个感兴趣区域的分类。
[0008]总体上，在一个方面，一种方法可以使用一个或多个处理器来实施并且可以包括：提供与特定实体相关联的加密密钥，其中，所述特定实体有权访问机器学习模型，所述机器学习模型被训练为基于跨多个输入应用的数据来生成一个或多个输出；使用所述加密密钥对经训练的机器学习模型的一个或多个参数进行加密；对要作为输入而跨所述经训练的机器学习模型应用的输入数据进行加密；跨经加密的所述经训练的机器学习模型应用经加密的输入数据作为输入以生成加密输出；使用解密密钥对所述加密输出进行解密以生成解密输出；使用所述解密密钥来分析所述解密输出以确定所述经训练的机器学习模型的所述参数中的一个或多个参数已经受到损害；并且使一个或多个计算设备提供指示所述经训练的机器学习模型的所述一个或多个参数已经受到损害的输出。
[0009]在各种实施例中，使用同态加密来执行对所述一个或多个参数的加密。在各种版本中，使用同态加密来执行对所述输入数据的加密。
[0010]在各种实施例中，所述分析包括确定所述解密输出是否符合预期的输出结构。在各种实施例中，所述确定包括确定所述解密输出的一个或多个输出值是否落入特定范围内。在各种实施例中，所述确定包括确定所述解密输出的多个输出值是否共同加起来为预定值。
[0011]在各种实施例中，所述特定实体使用在由所述特定实体操作的计算设备上执行的软件应用程序来访问所述经训练的机器学习模型。在各种实施例中，所述方法还包括配置所述软件应用程序以响应于一个或多个事件而对所述输入数据进行加密。在各种版本中，所述一个或多个事件包括与操作所述软件应用程序以执行包括跨所述经训练的机器学习模型应用所述输入数据的任务的所述特定实体相关联的用户。
[0012]在各种实施例中，所述经训练的机器学习模型包括生成对抗网络、卷积神经网络或循环神经网络。在各种实施例中，数字密钥对于所述特定实体和所述经训练的机器学习模型是独特的。
[0013]另外，一些实施方式包括一个或多个计算设备的一个或多个处理器，其中，所述一个或多个处理器能操作用于执行在相关联的存储器中存储的指令，并且其中，所述指令被配置为使得执行上述方法中的任一种方法。一些实施方式还包括一种或多种存储计算机指令的非瞬态计算机可读存储介质，所述计算机指令能由一个或多个处理器执行以执行前述方法中的任一种方法。
[0014]在另一方面，可以提供至少一种非瞬态计算机可读介质，所述非瞬态计算机可读介质包括形成经训练的机器学习模型的数据，其中，所述经训练的机器学习模型包括：输入层，其接受多个输入数据点；至少一个隐藏层，其用于对所述输入数据点执行计算；输出层，其用于基于所述计算来提供至少一个输出值；以及至少一个门节点，其以所述输入数据点中的至少一个输入数据点为条件来选择性地允许或阻止从所述经训练的机器学习模型的
上游层接收到的数据未经改变地传递到所述经训练的机器学习模型的下游层。
[0015]“同态加密”是一种允许对加密数据进行计算的加密形式。同态加密生成加密结果，该加密结果在被解密时与操作的结果相匹配，就好像它们是对原始的未加密数据执行操作一样。
[0016]应当理解，以下更加详细讨论的前述概念与额外概念的所有组合(假设这样的概念并不相互矛盾)都被认为是本文公开的专利技术主题的部分。特别地，出现在本公开内容的结尾的所要求保护的主题的所有组合都被认为是本文公开的专利技术主题的部分。还应当理解，本文明确采用的术语也可以出现在通过引用而并入的任何公开内容中，其应当被赋予与本文公开内本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】1.一种使用一个或多个处理器来实施的方法，包括：提供与特定实体相关联的加密密钥(446)，其中，所述特定实体有权访问机器学习模型(220、420、520、620、1020、1120、1220、1320、1420)，所述机器学习模型被训练为基于跨多个输入应用的数据来生成一个或多个输出；使用所述加密密钥对经训练的机器学习模型的一个或多个参数进行加密(802)；对要作为输入而跨所述经训练的机器学习模型应用的输入数据进行加密(804)；跨经加密的所述经训练的机器学习模型应用(806)经加密的输入数据作为输入以生成加密输出；使用解密密钥对所述加密输出进行解密(808)以生成解密输出；使用所述解密密钥来分析(810)所述解密输出以确定所述经训练的机器学习模型的所述参数中的一个或多个参数已经受到损害；并且使(812)一个或多个计算设备提供指示所述经训练的机器学习模型的所述一个或多个参数已经受到损害的输出。2.根据权利要求1所述的方法，其中，使用同态加密来执行对所述一个或多个参数的加密。3.根据权利要求2所述的方法，其中，使用同态加密来执行对所述输入数据的加密。4.根据权利要求1所述的方法，其中，所述分析包括确定所述解密输出是否符合预期的输出结构。5.根据权利要求4所述的方法，其中，所述确定包括确定所述解密输出的一个或多个输出值是否落入特定范围内。6.根据权利要求4所述的方法，其中，所述确定包括确定所述解密输出的多个输出值是否共同加起来为预定值。7.根据权利要求1所述的方法，其中，所述特定实体使用在由所述特定实体操作的计算设备(102、112)上执行的软件应用程序来访问所述经训练的机器学习模型。8.根据权利要求7所述的方法，其中，还包括配置所述软件应用程序以响应于一个或多个事件而对所述输入数据进行加密。9.根据权利要求8所述的方法，其中，所述一个或多个事件包括与操作所述软件应用程序以执行包括跨所述经训练的机器学习模型应用所述输入数据的任务的所述特定实体相关联的用户(114)。10.根据权利要求1所述的方法，其中，所述经训练的机器学习模型包括生成对抗网络、卷积神经网络或循环神经网络。11.根据权利要求1所述的方法，其中，数字密钥对于所述特定实体和所述经训练的机器学习模型是独特的。12.一种包括一个或多个处理器以及存储指令的存储器的系统，所述指令响应于所述一个或多个处理器对所述指令的执行而使所述一个或多个处理器执行以下操作：提供与特定实体相关联的加密密钥(446)，其中，所述特定实体有权访问机器学习模型(220、420、520、620、1020、1120、1220、1320、1420)，所述机器学习模...

【专利技术属性】
技术研发人员：S，
申请(专利权)人：皇家飞利浦有限公司，
类型：发明
国别省市：