基于隐私保护确定目标业务模型的方法及装置制造方法及图纸

本说明书实施例提供一种基于隐私保护确定目标业务模型的方法和装置，先对选定的复杂业务模型进行初始训练，得到初始业务模型，然后对初始业务模型进行修剪，并对修剪后的业务模型进行训练，得到相应模型指标。对于得到的多个子模型，通过差分隐私的指数机制，利用相应模型指标确定各个业务模型分别对应的各个采样概率，并基于采样概率对多个子模型进行采样，从而选择目标业务模型。这样，可以利用差分隐私方式获取隐私保护的压缩模型，在实现模型压缩的基础上，为模型提供隐私保护。为模型提供隐私保护。为模型提供隐私保护。

【技术实现步骤摘要】
基于隐私保护确定目标业务模型的方法及装置
[0001]本申请为2020年4月10日提交的、申请号202010276685.8的专利技术专利申请“基于隐私保护确定目标业务模型的方法及装置”的分案申请。


[0002]本说明书一个或多个实施例涉及计算机
，尤其涉及通过计算机基于隐私保护确定目标业务模型的方法和装置。

技术介绍

[0003]随着机器学习技术的发展，深度神经网络(Deep Neural Network，DNN)由于模仿人脑的思考方式，比简单的线性模型有更好的效果，而受到本领域技术人员的青睐。深度神经网络是一种具备至少一个隐层的神经网络，能够为复杂非线性系统建模，提高模型能力。
[0004]深度神经网络由于复杂的网络结构，特征和模型参数体系也非常大。例如，一个深度神经网络可以包括高达数百万个参数。因此，希望寻求模型压缩的方法，减少模型的数据量和复杂度。为此，常规技术中通常利用训练样本调整深度神经网络中的数百万个参数，然后删除或“修剪”不必要的权重，以将网络结构缩减到更易于管理的大小。减小模型尺寸有助于最大程度地减小其内本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于隐私保护确定目标业务模型的方法，所述目标业务模型用于处理给定的业务数据，得到相应的业务预测结果；所述方法包括：使用多个训练样本训练选定的业务模型至模型参数收敛，得到初始业务模型；基于对所述初始业务模型的修剪，确定所述初始业务模型的多个子模型，其中，各个子模型各自对应有通过重新训练确定的模型参数以及模型指标，所述模型指标用于评价相应子模型收敛情况下的模型性能；利用差分隐私的指数机制，基于各个子模型各自对应的模型指标，确定各个子模型分别对应的各个采样概率；按照各个采样概率对各个子模型进行采样，从而选择出目标业务模型。2.根据权利要求1所述的方法，其中，所述基于对所述初始业务模型的修剪，确定所述初始业务模型的多个子模型包括：按照所述初始业务模型的模型参数，对所述初始业务模型进行修剪，得到第一修剪模型；将对应有经过重新训练得到的模型参数的第一修剪模型，作为第一子模型；迭代修剪所述第一子模型得到后续子模型，直至满足结束条件。3.根据权利要求2所述的方法，所述结束条件包括，迭代次数达到预定次数、子模型数量达到预定数量、最后一个子模型的规模小于设定的规模阈值中的至少一项。4.根据权利要求1或2所述的方法，其中，对所述初始业务模型的修剪基于以下之一的方式，按照模型参数由小到大的顺序进行：修剪掉预定比例的模型参数、修剪掉预定数量的模型参数、修剪得到规模不超过预定大小的模型。5.根据权利要求1所述的方法，其中，所述利用差分隐私的指数机制，基于各个子模型各自对应的模型指标，确定各个子模型分别对应的各个采样概率包括：按照各个子模型各自对应的模型指标，确定各个子模型分别对应的各个可用性系数；根据各个可用性系数，利用指数机制确定各个子模型分别对应的各个采样概率。6.根据权利要求5所述的方法，其中，所述模型指标包括相对于所述初始业务模型的压缩率，以及以下中的至少一项：准确度、召回率、F1分数，所述可用性系数为所述压缩率与所述模型指标所包含的其他项的乘积。7.根据权利要求1所述的方法，其中，所述方法还包括：利用多个训练样本对所述目标业务模型基于差分隐私的第二方式进行训练，使得训练后的目标业务模型用于针对给定的业务数据进行...

【专利技术属性】
技术研发人员：熊涛，
申请(专利权)人：支付宝杭州信息技术有限公司，
类型：发明
国别省市：