一种模型安全检测方法、装置以及电子设备制造方法及图纸

本说明书实施例公开了一种模型安全检测方法、装置以及电子设备。所述方法包括：利用GAN框架、待检测模型以及样本训练得到判别器，通过判别器对待检测模型针对当前输入数据计算出的中间结果和/或输出结果的数据进行判别，检测待检测模型当前是否安全。

A model security detection method, device, and electronic equipment

An embodiment of the specification discloses a model security detection method, device and electronic equipment. The method includes: using the GAN framework, test model and sample training method is to determine the intermediate results through discriminant analysis to detection model according to the input data to calculate and / or output data is used to detect whether the current security model.

【技术实现步骤摘要】
一种模型安全检测方法、装置以及电子设备
本说明书涉及计算机软件
，尤其涉及一种模型安全检测方法、装置以及电子设备。
技术介绍
深度学习是目前比较热门的一个
，基于深度学习模型，可以执行诸如风险识别、语音识别、图像识别等任务。在现有技术中，深度学习模型通常处于服务器上，但其同样也可以处于诸如用户终端等相对开放的环境中。对于后一种情况，需要能够检测模型安全的方案。
技术实现思路
本说明书实施例提供一种模型安全检测方法、装置以及电子设备，用以解决如下技术问题：需要能够检测处于相对开放的环境中的模型的安全的方案。为解决上述技术问题，本说明书实施例是这样实现的：本说明书实施例提供的一种模型安全检测方法，包括：获取待检测模型计算出的结果数据，所述结果数据包括中间结果和/或输出结果的数据；通过判别器对所述结果数据进行判别，确定所述待检测模型的安全检测结果；其中，所述判别器是利用生成对抗网络(GenerativeAdversarialNets，GAN)框架、所述待检测模型以及样本训练得到，在训练得到所述判别器的过程中，所述待检测模型处于可信环境中。本说明书实施例提供的一种模型安全检测装置，包括：获取模块，获取待检测模型计算出的结果数据，所述结果数据包括中间结果和/或输出结果的数据；检测模块，通过判别器对所述结果数据进行判别，确定所述待检测模型的安全检测结果；其中，所述判别器是利用GAN框架、所述待检测模型以及样本训练得到，在训练得到所述判别器的过程中，所述待检测模型处于可信环境中。本说明书实施例提供的一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：获取待检测模型计算出的结果数据，所述结果数据包括中间结果和/或输出结果的数据；通过判别器对所述结果数据进行判别，确定所述待检测模型的安全检测结果；其中，所述判别器是利用GAN框架、所述待检测模型以及样本训练得到，在训练得到所述判别器的过程中，所述待检测模型处于可信环境中。本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：可以利于基于GAN框架训练得到的判别器，根据待检测模型计算出的中间结果和/或输出结果的数据进行模型安全检测，以了解所述计算过程或结果是否安全。附图说明为了更清楚地说明本说明书实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1为本说明书的方案在一种实际应用场景下涉及的一种整体架构示意图；图2为本说明书实施例提供的一种模型安全检测方法的流程示意图；图3为本说明书实施例提供的上述模型安全检测方法中用到的判别器的训练原理示意图；图4为本说明书实施例提供的实际应用中所述模型安全检测方法的一种具体实施方案示意图；图5为本说明书实施例提供的对应于图2的一种模型安全检测装置的结构示意图。具体实施方式本说明书实施例提供一种模型安全检测方法、装置以及电子设备。为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本说明书实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。本说明书中提到了模型安全这个概念，为了便于理解，在此进行解释。所述模型一般用于分类预测，一种典型的应用场景是利用风控模型进行风险控制。具体地，将一些特征数据输入风控模型进行计算得到结果数据，进而根据结果数据，判定输入的特征数据对应的用户或者事件是否存在风险。在实际应用中，可能有恶意用户对模型进行攻击，其攻击方式比如是篡改模型的输入数据、篡改模型的计算逻辑或者结果数据等，从而导致模型的计算过程或者计算结果不再可信。在这种受到攻击的情况下，可以认为模型是不安全的。本说明书正是要提供检测模型是否安全的方案。图1为本说明书的方案在一种实际应用场景下涉及的一种整体架构示意图。该整体架构中，主要涉及：待检测模型以及利用GAN框架训练得到的判别器所在设备。利用GAN框架、待检测模型以及样本训练得到判别器，通过判别器对待检测模型针对当前输入数据计算出的中间结果和/或输出结果的数据进行判别，检测待检测模型当前是否安全。该设备优选地可以是诸如用户终端等处于相对开放的环境中的设备。比如，在手机上部署风控引擎，通过风控引擎进行边缘计算(EdgeComputing)以实现对于该手机的风险控制，则待检测模型可以是该风控引擎中的模型，手机可以为该设备。基于以上整体架构，下面对本说明书的方案进行详细说明。图2为本说明书实施例提供的一种模型安全检测方法的流程示意图。该流程可能的执行主体包括但不限于可作为终端或者服务器的以下设备：手机、平板电脑、智能可穿戴设备、车机、个人计算机、中型计算机、计算机集群等。图2中的流程可以包括以下步骤：S202：获取待检测模型计算出的结果数据，所述结果数据包括中间结果和/或输出结果的数据。在本说明书实施例中，待检测模型处于执行主体上。本申请对待检测模型所属领域不做限定。比如，其可以属于人工智能领域，具体为风控模型，根据输入数据(如行为特征、环境信息等数据)进行计算，根据计算得到的输出结果的数据判定当前执行操作的是否是用户本人，在这类用途下，待检测模型本身的安全显得尤为重要。所述结果数据的形式可能有多种。其中一种常见的形式是向量形式。以深度学习模型为例，其主体是一个深度神经网络。一般地，该深度神经网络的输入数据是向量，该深度神经网络的输出层输出的上述的输出结果的数据也是向量；进一步地，若有需要，该深度神经网络的中间层(也即，隐层)计算出的数据也是可以输出的，中间层输出的数据通常也是向量，其属于上述的中间结果的数据。除了向量形式以外，结果数据也可能是数值、布尔值、或者字符串等其他形式。S204：通过判别器对所述结果数据进行判别，确定所述待检测模型的安全检测结果；其中，所述判别器是利用GAN框架、所述待检测模型以及样本训练得到，在训练得到所述判别器的过程中，所述待检测模型处于可信环境中。在本说明书实施例中，所述结果数据是通过将输入数据输入待检测模型进行计算得到的，所述输入数据可以不带标签，通常用于模型预测阶段。所述样本有多个而且可以带有标签，通常用于模型训练阶段。在训练判别器时，需要将样本输入待检测模型进行计算，得到第二结果数据，所述第二结果数据包括第二中间结果和/或第二输出结果的数据。需要说明的是，这里的“第二”只是为了对所述输入数据、所述样本进行区分，而待检测模型计算结果数据和第二结果数据所采用的方式可以是一致的。在本说明书实施例中，基于GAN框架，以第二结果数据为训练数据，可以训练得到对应的GAN，该GAN由生成器和所述判别器构成。其中，生成器也可以称为生成(Generative，G)网络，判别器也可以称为判别(Discriminativ本文档来自技高网...

【技术保护点】
一种模型安全检测方法，包括：获取待检测模型计算出的结果数据，所述结果数据包括中间结果和/或输出结果的数据；通过判别器对所述结果数据进行判别，确定所述待检测模型的安全检测结果；其中，所述判别器是利用生成对抗网络GAN框架、所述待检测模型以及样本训练得到，在训练得到所述判别器的过程中，所述待检测模型处于可信环境中。

【技术特征摘要】
1.一种模型安全检测方法，包括：获取待检测模型计算出的结果数据，所述结果数据包括中间结果和/或输出结果的数据；通过判别器对所述结果数据进行判别，确定所述待检测模型的安全检测结果；其中，所述判别器是利用生成对抗网络GAN框架、所述待检测模型以及样本训练得到，在训练得到所述判别器的过程中，所述待检测模型处于可信环境中。2.如权利要求1所述的方法，所述待检测模型为深度学习模型，所述中间结果的数据为所述待检测模型的中间层计算出的数据。3.如权利要求1所述的方法，利用GAN框架、所述待检测模型以及样本训练得到所述判别器，具体包括：获取所述待检测模型针对样本计算出的第二结果数据，所述第二结果数据包括第二中间结果和/或第二输出结果的数据；利用所述第二结果数据和GAN框架，训练得到相应的GAN，所述GAN由生成器和所述判别器构成。4.如权利要求3所述的方法，所述第二结果数据是可信的。5.如权利要求3所述的方法，所述利用所述第二结果数据和GAN框架，训练得到相应的GAN，具体包括：根据随机数据和/或所述第二结果数据，生成用于输入生成器的数据；根据所述第二结果数据、所述用于输入生成器的数据和GAN框架，训练得到相应的GAN。6.如权利要求1所述的方法，所述判别器对所述结果数据进行判别，具体包括：判别器判别所述结果数据是真还是假，其中，所述判别结果反映所述结果数据与所述第二结果数据的数据分布是否一致。7.如权利要求6所述的方法，所述通过判别器对所述结果数据进行判别，确定所述待检测模型的安全检测结果，具体包括：通过判别器对所述结果数据进行判别获得判别结果，根据所述判别结果确定所述待检测模型的安全检测结果；或者，获取所述输出结果的数据，根据所述输出结果的数据和所述判别结果，确定所述待检测模型的安全检测结果。8.如权利要求1～7任一项所述的方法，所述判别器处于预定的安全环境中。9.如权利要求8所述的方法，所述判别器处于用户终端。10.一种模型安全检测装置，包括：获取模块，获取待检测模型计算出的结果数据，所述结果数据包括中间结果和/或输出结果的数据；检测模块，通过判别器对所述结果数据进行判别，确定所述待检测模型的安全检测结果；其中，所述判别器是利用生成对抗网络GAN框架、所述待检测模型以及样本训练得到，在训练得到所述判别器的过...

【专利技术属性】
技术研发人员：夏巨鹏，李才伟，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛,KY