一种训练数据机密性评估方法、装置、设备及介质制造方法及图纸

本公开提供了一种训练数据机密性评估方法、装置、设备及介质，包括：基于部署在服务器端的目标模型中的目标组件构建初始影子模型；目标模型为利用目标训练数据集训练的模型；利用影子模型训练数据集将初始影子模型训练为与目标模型相似的模型得到目标影子模型；将预设数据集输入目标影子模型得到输出结果；利用输出结果、标签信息训练初始二分类器得到推理模型；标签信息表示输出结果对应的输入数据是否为影子模型训练数据集中数据；将目标训练数据集输入目标影子模型得到预测结果；将预测结果输入推理模型得到推理结果；基于推理结果评估目标训练数据集的机密性。能够评估出目标模型的训练数据的机密性，及时发现风险，从而避免训练数据泄露。免训练数据泄露。免训练数据泄露。

【技术实现步骤摘要】
一种训练数据机密性评估方法、装置、设备及介质


[0001]本公开涉及信息安全
，特别涉及一种训练数据机密性评估方法、装置、设备及介质。

技术介绍

[0002]当前，深度学习已经在各种任务中实现了较好的性能，但是，在现实场景中部署深度学习系统仍然面临着，基于深度学习的决策需要大量的计算和存储资源，对于资源受限的用户端设备来说非常昂贵的问题，一种替代方案是将决策任务外包给机器学习服务提供商，但这会引起严重的隐私泄露问题。为了解决这些问题，在效率和隐私之间取得平衡并减少通信开销，协作推断被提出，并得到了广泛应用。它的主要思想是将深度学习模型划分为两个部分，其中前一部分部署到用户端设备上，而消耗资源的后一部分卸载到服务器上。这样不仅节省了用户端设备的计算和存储资源，而且对训练数据提供了更好的机密性保护，因为用户端设备只向边缘服务器传输经过前一部分网络处理后的中间值，而不是原始数据。
[0003]目前，在协作推断系统中，卸载到服务器上的后一部分目标模型可能会留下一些训练数据的印记，存在根据目标模型的预测结果推断出相应的训练数据的风险，因此，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种训练数据机密性评估方法，其特征在于，包括：基于部署在服务器端的目标模型中的目标组件构建初始影子模型；其中，所述目标模型为利用目标训练数据集训练得到的模型；所述目标组件为用于对所述目标模型中的特征提取组件提取到的特征进行处理以得到模型输出结果的组件；利用影子模型训练数据集将所述初始影子模型训练为与所述目标模型相似的模型，得到目标影子模型；将预设数据集输入所述目标影子模型，得到所述目标影子模型的输出结果；利用所述输出结果以及所述输出结果对应的标签信息训练初始二分类器，得到推理模型；其中，所述标签信息表示所述输出结果在所述预设数据集中对应的输入数据是否为所述影子模型训练数据集中的数据；将所述目标训练数据集输入所述目标影子模型，得到所述目标影子模型输出的预测结果；将所述预测结果输入所述推理模型，得到所述推理模型输出的推理结果；基于所述推理结果评估所述目标训练数据集的机密性。2.根据权利要求1所述的训练数据机密性评估方法，其特征在于，所述基于部署在服务器端的目标模型中的目标组件构建初始影子模型，包括：获取特征提取器，并利用所述特征提取器以及部署在服务器端的目标模型中的目标组件构建初始影子模型；相应的，所述利用影子模型训练数据集将所述初始影子模型训练为与所述目标模型相似的模型，得到目标影子模型，包括：利用影子模型训练数据集将所述初始影子模型的所述特征提取器训练为与部署在用户端的所述目标模型中的特征提取组件相似的特征提取器，得到目标影子模型。3.根据权利要求2所述的训练数据机密性评估方法，其特征在于，所述获取特征提取器，包括：获取训练后模型的特征提取器；其中，所述训练后模型为经过训练并且具备特征提取能力的模型。4.根据权利要求1所述的训练数据机密性评估方法，其特征在于，所述利用影子模型训练数据集将所述初始影子模型训练为与所述目标模型相似的模型，得到目标影子模型，包括：获取影子模型训练数据集；其中，所述影子模型训练数据集为与所述目标训练数据集分布相同，且不相交的数据集；利用影子模型训练数据集将所述初始影子模型训练为与所述目标模型相似的模型，得到目标影子模型。5.根据权利要求1所述的训练数据机密性评估方法，其特征在于，所述将预设数据集输入所述目标影子模型，得到所述目标影子模型的输出结果，包括：将预设数据集包括的所述影子模型训练数据集输入所述目标影子模型，得到第一影子模型输出结果；将所述预设数据集包括的影子模型测试数据集输入至所述目标影子模型，得到第二影子模型输出结果。
6.根...

【专利技术属性】
技术研发人员：黄明浩，董贵山，张云，
申请(专利权)人：成都卫士通信息安全技术有限公司，
类型：发明
国别省市：