【技术实现步骤摘要】
本说明书一个或多个实施例涉及安全计算，尤其涉及图像识别模型的隐私泄露风险测评方法及装置。
技术介绍
1、图像识别是人工智能的一个重要领域，通常是利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象。其中，关于人脸识别、指纹识别等图像识别技术中，涉及人脸图像、指纹图像等隐私信息。近些年来，关于人脸、指纹等隐私信息识别技术被广泛应用到各个领域中，这同时也造成一定隐私泄露的风险。这里，隐私泄露风险不仅仅是待识别图像的隐私，还可能是图像识别模型的训练样本的隐私泄露。举例而言：对于一家医院和所患疾病有关的信息识别模型中，如果攻击者通过攻击线上图像识别模型，确定某个用户的人脸图像被用于该图像识别模型的训练，则可以确定该用户患有或患过某种疾病，从而泄露用户隐私；对于小区门禁的图像识别系统，如果攻击者通过攻击线上图像识别模型，确定某个用户的人脸图像被用于该图像识别模型的训练，则可以确定该用户的住所范围；等等。因此，对于图像识别模型而言，隐私泄露风险的测评是一个重要技术问题。
技术实现思路
1、本说明书一个或多个实施例描述了一种图像识别模型的隐私泄露风险测评方法及装置，用以解决
技术介绍
提到的一个或多个问题。
2、根据第一方面，提供一种图像识别模型的隐私泄露风险测评方法，所述图像识别模型和分类器一起经由多个样本图像训练得到，所述多个样本图像包括多个预定用户的隐私图像，所述分类器用于将样本图像向各个图像类别进行分类，单个图像类别对应单个预定用户；所述方法包括：获取用于模拟攻击
3、在一个实施例中，单个候选图像通过以下方式生成：从正态分布中采样多个初始点；将各个初始点通过映射网络进行编码，得到编码张量w；利用合成网络处理所述编码张量w，得到所述单个候选图像。
4、在一个实施例中，所述获取用于模拟攻击的多个候选图像包括：获取随机生成的多个初始图像；依次通过所述图像识别模型和预先训练的判别模型分别处理各个初始图像，得到各个初始图像是否属于多个预定用户的各个初始判别概率；按照各个初始判别概率的大小顺序，选择属于多个预定用户的概率更大的各个初始图像作为所述多个候选图像。
5、在一个实施例中，所述按照各个初始判别概率的大小顺序，选择属于多个预定用户的概率更大的各个初始图像作为所述多个候选图像包括：按照各个初始判别概率的大小顺序，通过以下之一的选择规则选择候选图像：选择预定数量的初始图像；选择预定比例的初始图像；在所述判别概率为属于多个预定用户的概率的情况下，选择初始判别概率大于预定概率阈值的初始图像。
6、在一个实施例中，在所述判别模型训练过程中，样本图像属于多个预定用户的样本标签通过第一预定值表示，所述根据各个判别概率，将各个候选图像分别向着属于所述多个预定用户的方向进行迭代调整包括：针对单个候选图像，将相应的单个判别概率与所述第一预定值比较，以确定当前攻击损失；以减小当前攻击损失为目的，将生成候选图像的初始点作为待定参数进行调整。
7、在一个实施例中，所述根据各个判别概率，将各个候选图像分别向着属于所述多个预定用户的方向进行迭代调整包括：将各个候选图像进行预定轮次的参数调整。
8、在一个实施例中，所述基于各个模拟攻击图像与样本图像的对比，为所述图像识别模型生成隐私泄露风险的测评结果包括：针对单个模拟攻击图像，通过预先训练的特征提取模型提取相应的单个特征张量，所述特征提取模型为所述图像识别模型或视觉特征提取模型；将所述单个特征张量与各个样本图像的特征张量逐个对比，得到相应的各个特征相似度，以确定所述单个模拟攻击图像是否对所述多个预定用户攻击成功，其中，各个样本图像的特征张量通过所述特征提取模型提取。
9、在一个进一步的实施例中，所述将所述单个特征张量与各个样本图像的特征张量逐个对比，得到相应的各个特征相似度，以确定所述单个模拟攻击图像是否对所述多个预定用户攻击成功包括：在至少一个特征相似度大于预定相似度阈值的情况下，确定所述单个模拟攻击图像对所述多个预定用户攻击成功；在各个特征相似度均小于所述预定相似度阈值的情况下，确定所述单个模拟攻击图像未对所述多个预定用户攻击成功。
10、在一个实施例中，所述基于各个模拟攻击图像与样本图像的对比，为所述图像识别模型生成隐私泄露风险的测评结果包括：基于各个模拟攻击图像与样本图像的对比，确定各个模拟攻击图像是否对所述多个预定用户攻击成功；根据攻击成功的模拟攻击图像数量与模拟攻击图像的总数量的比值，为所述图像识别模型生成隐私泄露风险的测评结果。
11、在一个进一步的实施例中，所述测评结果通过所述图像识别模型的隐私泄露风险的风险度衡量，所述风险度与所述比值正相关。
12、在一个实施例中，所述依次通过所述图像识别模型和预先训练的判别模型分别处理各个候选图像，得到各个候选图像是否属于多个预定用户的各个判别概率包括：针对单个候选图像，对其进行裁剪、缩放中的至少一种操作，得到至少一个扩展图像；对所述单个候选图像和各个扩展图像分别通过所述图像识别模型、所述判别模型依次进行处理，得到各个扩展判别概率；将各个扩展判别概率进行融合，得到融合概率作为所述单个候选图像对应的单个判别概率。
13、在一个进一步的实施例中，对所述各个扩展判别概率通过以下之一的方式进行融合：加权求和、求均值、取中位数。
14、根据第二方面，提供一种图像识别模型的隐私泄露风险测评装置，所述图像识别模型和分类器一起经由多个样本图像训练得到，所述多个样本图像包括多个预定用户的隐私图像，所述分类器用于将样本图像向各个图像类别进行分类，单个图像类别对应单个预定用户；所述装置包括：
15、获取单元，配置为获取用于模拟攻击的多个候选图像；
16、判别单元，配置为依次通过所述图像识别模型和预先训练的判别模型分别处理各个候选图像，得到各个候选图像是否属于多个预定用户的各个判别概率；
17、调整单元，配置为根据各个判别概率，将各个候选图像分别向着属于所述多个预定用户的方向进行迭代调整，从而得到多个模拟攻击图像；
18、测评单元，配置为基于各个模拟攻击图像与样本图像的对比，为所述图像识别模型生成隐私泄露风险的测评结果。
19、根据第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行第一方面所述的方法。
20、根据第四方面，提供一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现第一方面所述的方法。
<本文档来自技高网...【技术保护点】
1.一种图像识别模型的隐私泄露风险测评方法，所述图像识别模型和分类器一起经由多个样本图像训练得到，所述多个样本图像包括多个预定用户的隐私图像，所述分类器用于将样本图像向各个图像类别进行分类，单个图像类别对应单个预定用户；所述方法包括：
2.如权利要求1所述的方法，其中，单个候选图像通过以下方式生成：
3.如权利要求1所述的方法，其中，所述获取用于模拟攻击的多个候选图像包括：
4.如权利要求3所述的方法，其中，所述按照各个初始判别概率的大小顺序，选择属于多个预定用户的概率更大的各个初始图像作为所述多个候选图像包括：
5.如权利要求2所述的方法，其中，在所述判别模型训练过程中，样本图像属于多个预定用户的样本标签通过第一预定值表示，所述根据各个判别概率，将各个候选图像分别向着属于所述多个预定用户的方向进行迭代调整包括：
6.如权利要求1所述的方法，其中，所述根据各个判别概率，将各个候选图像分别向着属于所述多个预定用户的方向进行迭代调整包括：
7.如权利要求1所述的方法，其中，所述基于各个模拟攻击图像与样本图像的对比
8.如权利要求7所述的方法，其中，所述将所述单个特征张量与各个样本图像的特征张量逐个对比，得到相应的各个特征相似度，以确定所述单个模拟攻击图像是否对所述多个预定用户攻击成功包括：
9.如权利要求1所述的方法，其中，所述基于各个模拟攻击图像与样本图像的对比，为所述图像识别模型生成隐私泄露风险的测评结果包括：
10.如权利要求9所述的方法，其中，所述测评结果通过所述图像识别模型的隐私泄露风险的风险度衡量，所述风险度与所述比值正相关。
11.如权利要求1所述的方法，其中，所述依次通过所述图像识别模型和预先训练的判别模型分别处理各个候选图像，得到各个候选图像是否属于多个预定用户的各个判别概率包括：
12.如权利要求11所述的方法，其中，对所述各个扩展判别概率通过以下之一的方式进行融合：加权求和、求均值、取中位数。
13.一种图像识别模型的隐私泄露风险测评装置，所述图像识别模型和分类器一起经由多个样本图像训练得到，所述多个样本图像包括多个预定用户的隐私图像，所述分类器用于将样本图像向各个图像类别进行分类，单个图像类别对应单个预定用户；所述装置包括：
14.一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-12中任一项的所述的方法。
15.一种计算设备，包括存储器和处理器，其特征在于，所述存储器中存储有可执行代码，所述处理器执行所述可执行代码时，实现权利要求1-12中任一项所述的方法。
...【技术特征摘要】
1.一种图像识别模型的隐私泄露风险测评方法，所述图像识别模型和分类器一起经由多个样本图像训练得到，所述多个样本图像包括多个预定用户的隐私图像，所述分类器用于将样本图像向各个图像类别进行分类，单个图像类别对应单个预定用户；所述方法包括：
2.如权利要求1所述的方法，其中，单个候选图像通过以下方式生成：
3.如权利要求1所述的方法，其中，所述获取用于模拟攻击的多个候选图像包括：
4.如权利要求3所述的方法，其中，所述按照各个初始判别概率的大小顺序，选择属于多个预定用户的概率更大的各个初始图像作为所述多个候选图像包括：
5.如权利要求2所述的方法，其中，在所述判别模型训练过程中，样本图像属于多个预定用户的样本标签通过第一预定值表示，所述根据各个判别概率，将各个候选图像分别向着属于所述多个预定用户的方向进行迭代调整包括：
6.如权利要求1所述的方法，其中，所述根据各个判别概率，将各个候选图像分别向着属于所述多个预定用户的方向进行迭代调整包括：
7.如权利要求1所述的方法，其中，所述基于各个模拟攻击图像与样本图像的对比，为所述图像识别模型生成隐私泄露风险的测评结果包括：
8.如权利要求7所述的方法，其中，所述将所述单个特征张量与各个样本图像的特征张量逐个对比，得到相应的各个特征相似度，以确定所述单个模拟攻...
【专利技术属性】
技术研发人员：黄源清，王莹桂，王磊，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。