一种模型构建方法和相关设备技术

本申请实施例公开了一种模型构建方法和相关设备，用于重构待测模型。在本申请中，测试设备根据(X,Y)训练成员推理MI模型F

【技术实现步骤摘要】
一种模型构建方法和相关设备


[0001]本申请涉及机器学习领域，尤其涉及一种模型构建方法和相关设备。

技术介绍

[0002]迅速发展的机器学习技术正极大地改变着各行各业的商业模式。例如，云服务的供应商以黑盒的形式为用户提供了机器学习服务，减少了用户在运用机器学习时对硬件设备的依赖。
[0003]当前，供应商提供训练数据在云端训练机器学习的模型，训练完成得到机器学习服务(machine learning as a service,MLaaS)后，用户只需按查询次数付费。但是这种商业模式存在较大的安全隐患，因此需要对其进行安全测试。例如，测试者通过在公共的非问题域中收集训练数据集，将训练数据集输入到MLaaS中，然后通过输入、输出和其他外部信息推测模型的参数，这种行为被称为模型窃取(model extraction,ME)。
[0004]但是，上述测试方法所使用的训练数据集来自公共的非问题域，存在许多杂质，导致其模型窃取的效果不稳定，无法起到真正的安全性的测试目的。

技术实现思路

[0005]本申请实施例提供了一种模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型构建方法，其特征在于，包括：测试设备根据(X,Y)训练成员推理MI模型F
MIA
，其中，所述X包括数据池T中的k1个数据，所述Y为所述X中各个数据输入待测模块F而输出的概率向量的集合；所述测试设备将所述(X,Y)输入所述F
MIA
，得到所述X中各个数据的成员属性的置信度；所述测试设备根据所述X中各个数据的成员属性的置信度对所述(X,Y)进行训练，得到所述F的重构模型F
’
。2.根据权利要求1所述方法，其特征在于，所述测试设备根据所述X中各个数据的成员属性的置信度对所述(X,Y)进行训练，得到所述F的重构模型F
’
，包括：所述测试设备根据所述X中各个数据的成员属性的置信度确定对应的权重，其中，其成员属性的置信度较高的数据，其对应的权重较高；所述测试设备基于所述(X,Y)以及所述X中各个数据对应的权重进行训练，得到所述F的重构模型F
’
。3.根据权利要求1或2所述方法，其特征在于，所述测试设备根据(X,L)训练成员推理MI模型F
MIA
包括：所述测试设备通过所述(X,Y)训练影子模型Fs；所述测试设备从所述T中随机选取所述X以外的k2个数据，作为非训练数据集Xout；所述测试设备在所述Fs中分别输入所述X和所述Xout，分别输出成员向量Y+和非成员向量Y
‑
；所述测试设备根据所述Y+和所述Y
‑
训练所述F
MIA
。4.根据权利要求3所述方法，其特征在于，所述测试设备通过所述(X,Y)训练影子模型Fs之后，还包括：所述测试设备设置指标Q(l
S
,n
(S)
)＝f(l
S
)
×
(n
(S)
)
a
，其中，所述l
S
是所述Fs在训练过程中的损失函数，所述n
(S)
是所述Fs的训练数据集的大小，f()是预设的非负非线性单减函数，所述a是预设的常数，其中，0≤a≤1；若所述Q小于阈值th
‑
Q，则所述测试设备变换所述X中的至少一个数据，得到新的训练数据集；所述测试设备以所述新的训练数据集训练所述Fs。5.根据权利要求1
‑
4中任一项所述方法，其特征在于，若其成员属性的置信度高于阈值th
‑
m的数据，其权重为w1，否则为w2，其中，w1>w2。6.根据权利要求5所述方法，其特征在于，其成员属性的置信度高于所述阈值th
‑
m的数据汇聚为训练数据集D
’
。7.根据权利要求6所述方法，其特征在于，所述方法还包括：所述测试设备以所述D
’
作为有标签的训练数据，所述T中所述D
’
以外的数据作为无标签的训练数据，对所述F
’
进行半监督学习。8.根据权利要求1
‑
6中任一项所述方法，其特征在于，所述方法还包括：所述测试设备将T
’
中各个数据输入所述F
’
，输出所述T
’
中各个数据的概率向量的集合Y
T
’
，所述T
’
为所述T中除了所述X之外的其他数据的集合；所述测试设备将输入
‑
输出数据对组(T
’
,Y
T
’
)输入所述F
MIA
，输出所述T
’
中各个数据的成员属性的置信度；
所述测试设备将所述T
’
中成员属性的置信度高于阈值th
‑
t的数据，汇聚为训练数据集T^，所述T^用于训练所述F
’
。9.一种测试设备，其特征在于，包括：训练模块，用于根据(X,Y)训练成员推理MI模型F
MIA
，其中，所述X包括数据池T中的k1个数据，所述Y为所述X中各个数据输入待测模块F而输出的概率向量的集合；执行模块，还用于将所述(X,Y)输入所述F
MIA
，得到所述X中各个数据的成员属性的置信度；所述训练模块，还用于根据所述X中各个数据的成员属性的置信度对所述(X,Y)进...

【专利技术属性】
技术研发人员：胡海波，肖雅馨，叶青青，郑桦迪，方成方，时杰，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：