图像识别模型的隐私泄露风险测评方法及装置制造方法及图纸

技术编号:40426193 阅读:20 留言:0更新日期:2024-02-20 22:46
本说明书实施例提供一种图像识别模型的隐私泄露风险测评方法及装置,在线上图像识别模型不存在分类器及样本标签的情况下,通过借鉴模型训练架构,使用其他分类器预测模拟攻击图像的类别标签,以使得测评能够有效进行。进而,基于预测的类别标签,可以比较模拟攻击图像与相应类别下的样本图像的相似性,从而确定攻击结果。基于多个模拟攻击图像的攻击结果的统计结果,可以生成对图像识别模型的隐私泄露风险测评结果。如此,可以提高对图像识别模型隐私泄露风险测评的有效性。

【技术实现步骤摘要】

本说明书一个或多个实施例涉及安全计算,尤其涉及图像识别模型的隐私泄露风险测评方法及装置


技术介绍

1、图像识别是人工智能的一个重要领域,通常是利用计算机对图像进行处理、分析和理解,以识别各种不同模式的目标和对象。其中,关于人脸识别、指纹识别等图像识别技术中,涉及人脸图像、指纹图像等隐私信息。近些年来,关于人脸、指纹等隐私信息识别技术被广泛应用到各个领域中,这同时也造成一定隐私泄露的风险。这里,隐私泄露风险不仅仅是待识别图像的隐私,还可能是图像识别模型的训练样本的隐私泄露。举例而言:对于一家医院和所患疾病有关的信息识别模型中,如果攻击者通过攻击线上图像识别模型,确定某个用户的人脸图像被用于该图像识别模型的训练,则可以确定该用户患有或患过某种疾病,从而泄露用户隐私;对于小区门禁的图像识别系统,如果攻击者通过攻击线上图像识别模型,确定某个用户的人脸图像被用于该图像识别模型的训练,则可以确定该用户的住所范围;等等。因此,对于图像识别模型而言,隐私泄露风险的测评是一个重要技术问题。


技术实现思路

1、本说明书一个或多本文档来自技高网...

【技术保护点】

1.一种图像识别模型的隐私泄露风险测评方法,所述图像识别模型和第一分类器一起经由多个样本图像训练得到,所述第一分类器用于将样本图像向多个预定图像类别进行分类;所述方法包括:

2.如权利要求1所述的方法,其中,所述基于所述第一模拟攻击图像和所述第一图像类别对应的各个样本图像的比较,确定所述第一模拟攻击图像对应的第一攻击结果包括:

3.如权利要求2所述的方法,其中,所述至少一个预定指标包括视觉特征和语义特征;所述将所述第一模拟攻击图像和所述第一图像类别对应的各个样本图像在至少一个预定指标上进行比较,得到各个比较结果包括:

4.如权利要求3所述的方法,其中,...

【技术特征摘要】

1.一种图像识别模型的隐私泄露风险测评方法,所述图像识别模型和第一分类器一起经由多个样本图像训练得到,所述第一分类器用于将样本图像向多个预定图像类别进行分类;所述方法包括:

2.如权利要求1所述的方法,其中,所述基于所述第一模拟攻击图像和所述第一图像类别对应的各个样本图像的比较,确定所述第一模拟攻击图像对应的第一攻击结果包括:

3.如权利要求2所述的方法,其中,所述至少一个预定指标包括视觉特征和语义特征;所述将所述第一模拟攻击图像和所述第一图像类别对应的各个样本图像在至少一个预定指标上进行比较,得到各个比较结果包括:

4.如权利要求3所述的方法,其中,第一视觉特征与各个第二视觉特征的距离通过以下方式确定:

5.如权利要求4所述的方法,其中,单个特征距离为所述第一视觉特征与单个第二视觉特征的差值的二范数。

6.如权利要求3所述的方法,其中,第一语义特征和各个第二语义特征的相似性经由第一语义特征和各个第二语义特征的相似度的均值确定。

7.如权利要求6所述的方法,其中,第一语义特征和单个第二语义特征的相似度通过以下方式确定:

8.如权利要求3所述的方法,其中,所述根据各个比较结果确定所述第一攻击结果包括:

9.如...

【专利技术属性】
技术研发人员:黄源清王莹桂王磊
申请(专利权)人:支付宝杭州信息技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1