图像识别模型的隐私泄露风险测评方法及装置制造方法及图纸

技术编号:40426105 阅读:30 留言:0更新日期:2024-02-20 22:46
本说明书实施例提供一种图像识别模型的隐私泄露风险测评方法及装置,在线上图像识别模型不存在分类器及样本标签的情况下,通过增加判别模型的架构,来判断所生成的候选图像是否可以攻击图像识别模型,而导致样本图像对应的预定用户的隐私泄露。之后,通过调整候选图像的生成过程中所涉及的参数,使得候选图像具有更高的概率接近样本图像对应的用户的图像。如此,可以提高对图像识别模型隐私泄露风险测评的有效性。

【技术实现步骤摘要】

本说明书一个或多个实施例涉及安全计算,尤其涉及图像识别模型的隐私泄露风险测评方法及装置


技术介绍

1、图像识别是人工智能的一个重要领域,通常是利用计算机对图像进行处理、分析和理解,以识别各种不同模式的目标和对象。其中,关于人脸识别、指纹识别等图像识别技术中,涉及人脸图像、指纹图像等隐私信息。近些年来,关于人脸、指纹等隐私信息识别技术被广泛应用到各个领域中,这同时也造成一定隐私泄露的风险。这里,隐私泄露风险不仅仅是待识别图像的隐私,还可能是图像识别模型的训练样本的隐私泄露。举例而言:对于一家医院和所患疾病有关的信息识别模型中,如果攻击者通过攻击线上图像识别模型,确定某个用户的人脸图像被用于该图像识别模型的训练,则可以确定该用户患有或患过某种疾病,从而泄露用户隐私;对于小区门禁的图像识别系统,如果攻击者通过攻击线上图像识别模型,确定某个用户的人脸图像被用于该图像识别模型的训练,则可以确定该用户的住所范围;等等。因此,对于图像识别模型而言,隐私泄露风险的测评是一个重要技术问题。


技术实现思路

1、本说明书一个或多本文档来自技高网...

【技术保护点】

1.一种图像识别模型的隐私泄露风险测评方法,所述图像识别模型和分类器一起经由多个样本图像训练得到,所述多个样本图像包括多个预定用户的隐私图像,所述分类器用于将样本图像向各个图像类别进行分类,单个图像类别对应单个预定用户;所述方法包括:

2.如权利要求1所述的方法,其中,单个候选图像通过以下方式生成:

3.如权利要求1所述的方法,其中,所述获取用于模拟攻击的多个候选图像包括:

4.如权利要求3所述的方法,其中,所述按照各个初始判别概率的大小顺序,选择属于多个预定用户的概率更大的各个初始图像作为所述多个候选图像包括:

5.如权利要求2所述的方法...

【技术特征摘要】

1.一种图像识别模型的隐私泄露风险测评方法,所述图像识别模型和分类器一起经由多个样本图像训练得到,所述多个样本图像包括多个预定用户的隐私图像,所述分类器用于将样本图像向各个图像类别进行分类,单个图像类别对应单个预定用户;所述方法包括:

2.如权利要求1所述的方法,其中,单个候选图像通过以下方式生成:

3.如权利要求1所述的方法,其中,所述获取用于模拟攻击的多个候选图像包括:

4.如权利要求3所述的方法,其中,所述按照各个初始判别概率的大小顺序,选择属于多个预定用户的概率更大的各个初始图像作为所述多个候选图像包括:

5.如权利要求2所述的方法,其中,在所述判别模型训练过程中,样本图像属于多个预定用户的样本标签通过第一预定值表示,所述根据各个判别概率,将各个候选图像分别向着属于所述多个预定用户的方向进行迭代调整包括:

6.如权利要求1所述的方法,其中,所述根据各个判别概率,将各个候选图像分别向着属于所述多个预定用户的方向进行迭代调整包括:

7.如权利要求1所述的方法,其中,所述基于各个模拟攻击图像与样本图像的对比,为所述图像识别模型生成隐私泄露风险的测评结果包括:

8.如权利要求7所述的方法,其中,所述将所述单个特征张量与各个样本图像的特征张量逐个对比,得到相应的各个特征相似度,以确定所述单个模拟攻...

【专利技术属性】
技术研发人员:黄源清王莹桂王磊
申请(专利权)人:支付宝杭州信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1