模型检测处理方法及装置制造方法及图纸

本说明书实施例提供了模型检测处理方法及装置，其中，一种模型检测处理方法包括：在待检测模型的检测过程中，根据待检测模型的模型类型，在语料库中提取目标语料；并将提取的目标语料输入适配的对抗模型进行对抗样本生成，基于生成的对抗样本确定检测样本，进一步将检测样本输入待检测模型进行处理，获得样本处理结果，以此根据样本处理结果在模型类型对应的检测维度下进行检测指标计算

【技术实现步骤摘要】
模型检测处理方法及装置


[0001]本文件涉及数据处理
，尤其涉及一种模型检测处理方法及装置
。

技术介绍

[0002]随着人工智能相关技术的飞速发展，基于机器学习构建的智能化模型在许多领域得到了广泛应用，然而，在智能化模型的应用过程中可能会面临各种各样的数据攻击，这也使用户对智能化模型的安全性和准确性产生了质疑，这也限制了智能化模型在相关领域的进一步应用
。

技术实现思路

[0003]本说明书一个或多个实施例提供了一种模型检测处理方法，包括：根据待检测模型的模型类型，在语料库中提取目标语料
。
将所述目标语料输入适配的对抗模型进行对抗样本生成，获得对抗样本
。
将基于所述对抗样本确定的检测样本输入所述待检测模型进行处理，获得样本处理结果
。
根据所述样本处理结果，在所述模型类型对应的检测维度下进行检测指标计算
。
[0004]本说明书一个或多个实施例提供了一种模型检测处理装置，包括：语料提取模块，被配置为根据待检测模型的模型类型，在语料库中提取目标语料
。
样本生成模块，被配置为将所述目标语料输入适配的对抗模型进行对抗样本生成，获得对抗样本
。
样本处理模块，被配置为将基于所述对抗样本确定的检测样本输入所述待检测模型进行处理，获得样本处理结果
。
检测指标计算模块，被配置为根据所述样本处理结果，在所述模型类型对应的检测维度下进行检测指标计算
。
[0005]本说明书一个或多个实施例提供了一种模型检测处理设备，包括：处理器；以及，被配置为存储计算机可执行指令的存储器，所述计算机可执行指令在被执行时使所述处理器：根据待检测模型的模型类型，在语料库中提取目标语料
。
将所述目标语料输入适配的对抗模型进行对抗样本生成，获得对抗样本
。
将基于所述对抗样本确定的检测样本输入所述待检测模型进行处理，获得样本处理结果
。
根据所述样本处理结果，在所述模型类型对应的检测维度下进行检测指标计算
。
[0006]本说明书一个或多个实施例提供了一种存储介质，用于存储计算机可执行指令，所述计算机可执行指令在被处理器执行时实现以下流程：根据待检测模型的模型类型，在语料库中提取目标语料
。
将所述目标语料输入适配的对抗模型进行对抗样本生成，获得对抗样本
。
将基于所述对抗样本确定的检测样本输入所述待检测模型进行处理，获得样本处理结果
。
根据所述样本处理结果，在所述模型类型对应的检测维度下进行检测指标计算
。
附图说明
[0007]为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的
附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图；
[0008]图1为本说明书一个或多个实施例提供的一种模型检测处理方法实施环境的示意图；
[0009]图2为本说明书一个或多个实施例提供的一种模型检测处理方法处理流程图；
[0010]图3为本说明书一个或多个实施例提供的一种应用于图像分类模型场景的模型检测处理方法处理流程图；
[0011]图4为本说明书一个或多个实施例提供的一种应用于对话生成模型场景的模型检测处理方法处理流程图；
[0012]图5为本说明书一个或多个实施例提供的一种模型检测处理装置的示意图；
[0013]图6为本说明书一个或多个实施例提供的一种模型检测处理设备的结构示意图
。
具体实施方式
[0014]为了使本
的人员更好地理解本说明书一个或多个实施例中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚
、
完整地描述，显然，所描述的实施例仅仅是本说明书的一部分实施例，而不是全部的实施例
。
基于本说明书一个或多个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围
。
[0015]本说明书一个或多个实施例提供的模型检测处理方法，可适用于模型检测平台这一实施环境，参照图1，该实施环境至少包括用于进行模型检测处理的服务器
101
，此外，该实施环境中还可包括存储语料数据的语料库
102
，用于存储对抗模型的对抗模型库
103
，以及用于存储解释模型和数据检测模型的检测模型库
104。
其中，服务器
101
可以是一台或者多台服务器，若干台服务器组成的服务器集群，或者，云计算平台的云服务器，用于对待检测模型进行检测处理
。
[0016]该实施环境中，在待检测模型的检测过程中，由服务器
101
从语料库
102
中读取目标语料，在提取到目标语料之后，根据在对抗模型库
103
中确定的与目标语料适配的对抗模型，通过将目标语料输入对抗模型生成对抗样本，并将基于对抗样本确定的检测样本输入待检测模型进行处理，获得样本处理结果，进一步，在对待检测模型进行可解释维度或者数据安全维度的可解释检测或者数据安全检测时，可从检测模型库
104
中读取相应的解释模型或者数据检测模型，以此实现待检测模型在可解释维度或者数据安全维度下的可解释检测或者数据安全检测
。
[0017]本说明书提供的一种模型检测处理方法的一个或者多个实施例如下：
[0018]参照图2，本实施例提供的模型检测处理方法，具体包括步骤
S202
至步骤
S208。
[0019]步骤
S202
，根据待检测模型的模型类型，在语料库中提取目标语料
。
[0020]本实施例所述待检测模型包括判别式模型和生成式模型
。
其中，判别式模型是指通过学习输入与输出之间的映射关系建立的模型，通过该模型来预测新的输出；判别式模型可以是支持向量机模型
、
神经网络模型或者感知机模型等，从具体应用领域看，判别式模型可以是对文本
、
语音
、
图像或者表格进行分类处理的分类模型，本实施例以图像分类模型为例进行说明
。
生成式模型是指通过学习数据的分布建立的模型，通过该模型来生成新的
数据；生成式模型可以是朴素贝叶斯模型
、
决策树模型等，本实施例以对话生成模型
(
如，
ChatGPT(Chat Generative Pre
‑
training Transformer)...

【技术保护点】

【技术特征摘要】
1.
一种模型检测处理方法，包括：根据待检测模型的模型类型，在语料库中提取目标语料；将所述目标语料输入适配的对抗模型进行对抗样本生成，获得对抗样本；将基于所述对抗样本确定的检测样本输入所述待检测模型进行处理，获得样本处理结果；根据所述样本处理结果，在所述模型类型对应的检测维度下进行检测指标计算
。2.
根据权利要求1所述的模型检测处理方法，所述将所述目标语料输入适配的对抗模型进行对抗样本生成，获得对抗样本，包括：根据所述目标语料的语料信息，在对抗模型库中筛选与所述语料信息适配的对抗模型；将所述目标语料输入筛选获得的对抗模型进行对抗样本生成，获得所述对抗样本
。3.
根据权利要求1所述的模型检测处理方法，所述将基于所述对抗样本确定的检测样本输入所述待检测模型进行处理，获得样本处理结果，包括：若所述模型类型为判别式模型，将所述对抗样本确定为所述检测样本，并将所述检测样本输入所述待检测模型进行分类处理，获得样本分类结果
。4.
根据权利要求3所述的模型检测处理方法，所述根据所述样本处理结果，在所述模型类型对应的检测维度下进行检测指标计算，包括：根据所述样本分类结果和所述目标语料的分类标签，确定所述待检测模型针对所述检测样本的分类准确度；根据所述分类准确度生成所述待检测模型在鲁棒维度下的第一调整策略
。5.
根据权利要求3所述的模型检测处理方法，所述将基于所述对抗样本确定的检测样本输入所述待检测模型进行处理，获得样本处理结果步骤执行后，还包括：基于所述待检测模型
、
解释模型和所述检测样本构建可解释维度下的检测集；将所述检测集输入所述可解释维度下至少一个检测子类的可解释算法进行解释评估，获得所述待检测模型在所述至少一个检测子类的可解释评分
。6.
根据权利要求5所述的模型检测处理方法，还包括：根据所述至少一个检测子类的可解释评分，生成所述待检测模型在所述可解释维度下的第二调整策略
。7.
根据权利要求1所述的模型检测处理方法，若所述模型类型为生成式模型，所述检测样本，采用如下方式确定：将所述对抗样本写入所述待检测模型的问题对抗模板进行问题生成，并将生成的问题数据作为所述检测样本
。8.
根据权利要...

【专利技术属性】
技术研发人员：武永亮，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：