基于Zero-Shot NAS的大模型安全评测方法、装置、设备和存储介质制造方法及图纸

本申请的实施例提供了基于Zero‑Shot NAS的大模型安全评测方法、装置、设备和存储介质。所述方法包括获取多方搜索空间，从多方搜索空间中随机选择第一ViT模型。然后，根据第一ViT模型的准确率和推理延迟对第一ViT模型进行Zero‑Shot NAS搜索，选择第二ViT模型。再根据下游数据对第二ViT模型重新进行训练，获得预训练ViT模型，将预训练ViT模型的架构和权重通过秘密共享发送至不同的服务器。最后，获取客户端发送的推理数据集，由不同的服务器根据MPC协议、推理数据集、预训练ViT模型的架构和权重进行协同推理，获取推理结果。以此方式，可以实现高效、安全的ViT模型评测选择，有效降低多方安全计算在ViT模型应用中的推理延迟。

【技术实现步骤摘要】

本申请的实施例涉及机器学习领域，尤其涉及基于zero-shot nas的大模型安全评测方法、装置、设备和存储介质。

技术介绍

1、近年来，多方安全计算（secure multi-party computation,mpc）技术在机器学习模型的推理过程中得到了广泛应用，它能够在保护参与方数据隐私的前提下，完成多方联合计算。特别是，视觉变换器（vit，vision transformer）作为一种用于图像分类的深度学习模型，将之前主要用于自然语言处理任务的transformer 架构扩展应用于计算机视觉领域后，取得了显著成效。在多方安全计算的辅助下，vit 模型在推理过程中的数据隐私安全得到了显著提升。然而，当多方安全计算应用于vit模型时，由于其内部包含了大量的非线性运算，导致了通信复杂性和显著的计算延迟问题。尽管目前已有一些针对多方安全计算应用于vit模型的优化解决方案，但这些方案通常需要使用者具备深厚的专业知识和强大的计算资源支撑，在实际应用中面临着较高的门槛，难以推广和实现，阻碍了多方安全计算在vit模型上的应用。

2、因此，如何选择高效、本文档来自技高网...

【技术保护点】

1.一种基于Zero-Shot NAS的大模型安全评测方法，其特征在于，包括：

2.根据权利要求1所述的基于Zero-Shot NAS的大模型安全评测方法，其特征在于，所述多方搜索空间中包含经过非线性函数近似处理的ViT模型；

3.根据权利要求1所述的基于Zero-Shot NAS的大模型安全评测方法，其特征在于，所述第一ViT模型的准确率评价指标包括MSA分数和MLP分数；

4.根据权利要求1所述的基于Zero-Shot NAS的大模型安全评测方法，其特征在于，所述第一ViT模型的推理延迟根据所述第一ViT模型中每层的MSA推理延迟和MLP推理延迟求...

【技术特征摘要】

1.一种基于zero-shot nas的大模型安全评测方法，其特征在于，包括：

2.根据权利要求1所述的基于zero-shot nas的大模型安全评测方法，其特征在于，所述多方搜索空间中包含经过非线性函数近似处理的vit模型；

3.根据权利要求1所述的基于zero-shot nas的大模型安全评测方法，其特征在于，所述第一vit模型的准确率评价指标包括msa分数和mlp分数；

4.根据权利要求1所述的基于zero-shot nas的大模型安全评测方法，其特征在于，所述第一vit模型的推理延迟根据所述第一vit模型中每层的msa推理延迟和mlp推理延迟求和计算得到；

5.根据权利要求1所述的基于zero-shot nas的大模型安全评测方法，其特征在于，所述根据所述第一vit模型的准确率和推理延迟对所述第一vit模型进行zero-shot nas搜索，选择第二vit模型，包括：

...

【专利技术属性】
技术研发人员：宋年云，郭宇，刘罗逊，王昊笛，李春晓，王枚，黄华，
申请(专利权)人：北京师范大学，
类型：发明
国别省市：