System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及计算机,特别涉及一种防御模型窃取攻击的方法、装置、设备及存储介质。
技术介绍
1、模型窃取攻击是一种利用黑盒访问目标待防御模型的输出来复制其功能的攻击方法,例如,对于一个向大众开放的医疗图像识别模型,如果攻击者能够窃取此模型,他们可以避免收费并且可进一步向公众提供服务并收取费用。
2、现有的防御技术多采用静态防御机制,由于静态防御机制一般是通过减少模型输出进行防御的方法,例如只限制输出为某一个标签,或者限制为小数点,使得无法准确探测访问用户的真实意图,并且影响用户的体验感。
技术实现思路
1、有鉴于此,本专利技术的目的在于提供一种防御模型窃取攻击的方法、装置、设备及存储介质,解决了现有技术中防御模型窃取攻击性能较差的技术问题。
2、为解决上述技术问题,本专利技术提供了一种防御模型窃取攻击的方法,包括:
3、将查询数据输入至对应的目标待防御模型,得到激活函数层的全连接层输出参数和预测置信向量;
4、将所述连接层输出参数和所述预测置信向量输入至目标防御模型,调整所述预测置信向量,得到目标预测置信向量;其中,所述目标防御模型为包括置信度阈值、恶性样本阈值和温度衰减因子的模型,所述置信度阈值为确定是否为恶性样本的阈值,所述恶性样本阈值为基于当前恶意查询次数确定是否是恶意用户的阈值,所述温度衰减因子为基于防御强度需求设置的因子。
5、可选的,所述将查询数据输入至对应的目标待防御模型,得到激活函数层的全连接层输出参数和预
6、将所述查询数据输入至所述目标待防御模型,得到归一化指数函数的参数和所述预测置信向量。
7、可选的,所述将所述连接层输出参数和所述预测置信向量输入至目标防御模型,调整所述预测置信向量,得到目标预测置信向量,包括:
8、将所述连接层输出参数和所述预测置信向量输入至目标防御深度学习被窃取模型,调整所述预测置信向量,得到所述目标预测置信向量。
9、可选的,所述将所述连接层输出参数和所述预测置信向量输入至目标防御模型,调整所述预测置信向量,得到目标预测置信向量,包括:
10、确定所述预测置信向量中的最大置信项;
11、确定所述最大置信项与所述置信度阈值的大小关系;
12、当所述最大置信项小于所述置信度阈值,则确定此次查询是恶意,利用恶性查询计数器增加恶意查询次数,得到目标恶意查询次数;
13、当所述目标恶意查询次数大于所述恶意样本阈值时,确定输入所述查询数据的主体为恶意用户,基于温度衰减函数和所述全连接层输出参数调整所述预测置信向量,得到所述目标调整预测置信向量;其中,所述温度衰减函数模型为基于所述目标恶意查询次数、所述全连接层输出参数和激活函数的温度调整预测置信向量的函数。
14、可选的,在所述当所述目标恶意查询次数大于所述恶意样本阈值时,确定输入所述查询数据的主体为恶意用户之后,还包括:
15、确定良性查询次数是否大于良性样本阈值;
16、当所述良性查询次数大于所述良性样本阈值时,则确定减少恶意查询次数。
17、可选的,所述基于温度衰减函数和所述全连接层输出参数调整所述预测置信向量,得到所述目标调整预测置信向量,包括:
18、调用所述温度衰减函数对所述温度衰减因子进行温度衰减或补偿,得到所述目标调整预测置信向量。
19、可选的,在所述确定所述最大置信项与所述置信度阈值的大小关系之后,还包括:
20、当所述最大置信项不小于所述置信度阈值时,确定此次查询为良性查询,利用良性查询计数器增加良性查询次数。
21、本申请还提供了一种防御模型窃取攻击的装置,包括:
22、全连接层输出参数和预测置信向量确定模块,用于将查询数据输入至对应的目标待防御模型,得到激活函数层的全连接层输出参数和预测置信向量;
23、预测置信向量调整模块,用于将所述连接层输出参数和所述预测置信向量输入至目标防御模型,调整所述预测置信向量,得到目标预测置信向量;其中,所述目标防御模型为包括置信度阈值、恶性样本阈值和温度衰减因子的模型,所述置信度阈值为确定是否为恶性样本的阈值,所述恶性样本阈值为基于当前恶意查询次数确定是否是恶意用户的阈值,所述温度衰减因子为基于防御强度需求设置的因子。
24、本申请还提供了一种防御模型窃取攻击的设备,包括:
25、存储器,用于存储计算机程序;
26、处理器,用于执行所述计算机程序实现如上述的防御模型窃取攻击的方法的步骤。
27、本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现如上述的防御模型窃取攻击的方法的步骤。
28、可见,本专利技术通过将查询数据输入至对应的目标待防御模型,得到激活函数层的全连接层输出参数和预测置信向量;将连接层输出参数和预测置信向量输入至目标防御模型,调整预测置信向量,得到目标预测置信向量;其中,目标防御模型为包括置信度阈值、恶性样本阈值和温度衰减因子的模型,置信度阈值为确定是否为恶性样本的阈值,恶性样本阈值为基于当前恶意查询次数确定是否是恶意用户的阈值,温度衰减因子为基于防御强度需求设置的因子。本申请和当前静态调整技术方案相比,由于恶意查询次数和良性查询次数是动态变化的,故本申请可以根据置信度阈值、恶性样本阈值和温度衰减因子动态的模型输出的调整预测置信向量,可以针对性地对用户查询进行针对性防御,提高了防御的效果,并且提高了用户的体验感。
29、此外,本专利技术还提供了一种防御模型窃取攻击的装置、设备及存储介质,同样具有上述有益效果。
本文档来自技高网...【技术保护点】
1.一种防御模型窃取攻击的方法,其特征在于,包括:
2.根据权利要求1所述的防御模型窃取攻击的方法,其特征在于,所述将查询数据输入至对应的目标待防御模型,得到激活函数层的全连接层输出参数和预测置信向量,包括:
3.根据权利要求1所述的防御模型窃取攻击的方法,其特征在于,所述将所述连接层输出参数和所述预测置信向量输入至目标防御模型,调整所述预测置信向量,得到目标预测置信向量,包括:
4.根据权利要求1至3任一项所述的防御模型窃取攻击的方法,其特征在于,所述将所述连接层输出参数和所述预测置信向量输入至目标防御模型,调整所述预测置信向量,得到目标预测置信向量,包括:
5.根据权利要求4所述的防御模型窃取攻击的方法,其特征在于,在所述当所述目标恶意查询次数大于所述恶意样本阈值时,确定输入所述查询数据的主体为恶意用户之后,还包括:
6.根据权利要求4所述的防御模型窃取攻击的方法,其特征在于,所述基于温度衰减函数和所述全连接层输出参数调整所述预测置信向量,得到所述目标调整预测置信向量,包括:
7.根据权利要求4所述的防御
8.一种防御模型窃取攻击的装置,其特征在于,包括:
9.一种防御模型窃取攻击的设备,其特征在于,包括:
10.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的防御模型窃取攻击的方法的步骤。
...【技术特征摘要】
1.一种防御模型窃取攻击的方法,其特征在于,包括:
2.根据权利要求1所述的防御模型窃取攻击的方法,其特征在于,所述将查询数据输入至对应的目标待防御模型,得到激活函数层的全连接层输出参数和预测置信向量,包括:
3.根据权利要求1所述的防御模型窃取攻击的方法,其特征在于,所述将所述连接层输出参数和所述预测置信向量输入至目标防御模型,调整所述预测置信向量,得到目标预测置信向量,包括:
4.根据权利要求1至3任一项所述的防御模型窃取攻击的方法,其特征在于,所述将所述连接层输出参数和所述预测置信向量输入至目标防御模型,调整所述预测置信向量,得到目标预测置信向量,包括:
5.根据权利要求4所述的防御模型窃取攻击的方法,其特征在于,在所述当所述目标恶...
【专利技术属性】
技术研发人员:罗文坚,唐钰渤,周琪,叶子鹏,
申请(专利权)人:哈尔滨工业大学深圳哈尔滨工业大学深圳科技创新研究院,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。