机器学习模型的风险评估方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种机器学习模型的风险评估方法、装置、设备及存储介质，涉及人工智能技术领域。具体实现方案为：获取机器学习模型的自身信息泄露的风险值；获取所述机器学习模型泄露训练数据的风险值；基于所述机器学习模型的自身信息泄露的风险值和所述机器学习模型泄露训练数据的风险值，评估所述机器学习模型的风险值，与现有技术相比，能够提供一种机器学习模型的有效的风险评估方案，实现对机器学习模型的隐私泄露风险进行准确地评估。

【技术实现步骤摘要】
机器学习模型的风险评估方法、装置、设备及存储介质
本申请涉及计算机技术，尤其涉及人工智能
，具体涉及一种机器学习模型的风险评估方法、装置、设备及存储介质。
技术介绍
机器学习技术正在得到越来越多的应用。基于大规模数据并经过一定时间和计算成本训练得到的机器学习模型是机器学习技术得到真正应用的关键。比如，机器学习即服务(MachineLearningasaService；MLaaS)的模式使得机器学习模型能够给诸如金融、医疗、销售等诸多领域方便地提供各种服务。然而，机器学习模型在提供服务的同时，也面临着各种各样的威胁和攻击，存在着隐私泄露的风险。一旦发生隐私泄露，势必给企业和个人带来危害。因此，作为机器学习模型提供和改进服务时的重要参考，评估机器学习模型的隐私泄露风险是亟需的重要需求。现有技术中并没有针对机器学习模型隐私泄露进行系统化地评估，多是从攻击和测试的角度对机器学习模型进行漏洞或风险利用，以此证明机器学习模型存在着隐私泄露风险。因此，亟需提供一种机器学习模型的风险评估方案，以评估机器学习模型的隐私泄露风险。
技术实现思路
为了弥补现有技术的不足，本申请提供了一种机器学习模型的风险评估方法、装置、电子设备及存储介质。根据本申请的一方面，提供了一种机器学习模型的风险评估方法，其中，所述方法包括如下步骤：获取机器学习模型的自身信息泄露的风险值；获取所述机器学习模型泄露训练数据的风险值；基于所述机器学习模型的自身信息泄露的风险值和所述机器学习模型泄露训练数据的风险值，评估所述机器学习模型的风险值。根据本申请的另一方面，提供了一种机器学习模型的风险评估装置，其中，所述装置包括：第一获取模块，用于获取机器学习模型的自身信息泄露的风险值；第二获取模块，用于获取所述机器学习模型泄露训练数据的风险值；评估模块，用于基于所述机器学习模型的自身信息泄露的风险值和所述机器学习模型泄露训练数据的风险值，评估所述机器学习模型的风险值。根据本申请的再一方面，提供了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的方法。根据本申请的又一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如上所述的方法。根据本申请的技术，能够提供一种机器学习模型的有效的风险评估方案，实现对机器学习模型的隐私泄露风险进行准确地评估。应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。附图说明附图用于更好地理解本方案，不构成对本申请的限定。其中：图1是根据本申请第一实施例的示意图；图2是根据本申请第二实施例的示意图；图3是根据本申请第三实施例的示意图；图4是根据本申请第四实施例的示意图；图5是用来实现本申请实施例的机器学习模型的风险评估方法的电子设备的框图。具体实施方式以下结合附图对本申请的示范性实施例做出说明，其中包括本申请实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本申请的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。图1是根据本申请第一实施例的示意图；如图1所示，本实施例提供一种机器学习模型的风险评估方法，具体可以包括如下步骤：S101、获取机器学习模型的自身信息泄露的风险值；S102、获取机器学习模型泄露训练数据的风险值；S103、基于机器学习模型的自身信息泄露的风险值和机器学习模型泄露训练数据的风险值，评估机器学习模型的风险值。本实施例的机器学习模型的风险评估方法的执行主体为机器学习模型的风险评估装置，该机器学习模型的风险评估装置可以为一电子实体或者也可以为软件集成的应用，使用时运行在计算机设备上，实现对机器学习模型的风险进行评估。本实施例的机器学习模型的风险评估方法，基于如下两方面来对机器学习模型进行风险评估：(1)机器学习模型的自身信息泄露；机器学习模型的自身信息泄露包括用来提供服务的机器学习模型的模型结构泄露、模型算法泄露和模型参数泄露等。这类自身信息泄露的检测方法多采用各种模型提取攻击方法，通过访问提供服务的机器学习模型，提取或训练出与原始模型功能类似或一致的模型，造成机器学习模型的自身信息泄露。(2)机器学习模型的训练数据的泄露；由于机器学习模型的训练需要大量用户数据，因此在使用机器学习模型提供服务的时候，可能会泄露用于训练模型的原始用户数据信息，造成训练数据的泄露。这类信息泄露的检测方法主要采用成员推理攻击方法或属性推理攻击方法，在对机器学习模型的访问中获取训练数据集的信息，造成训练数据的泄露。但是，现有技术并没有针对机器学习模型的隐私泄露的风险进行系统化地评估的方案，本实施例的技术方案，可以系统化地评估机器学习模型的泄露的风险，并同时可以对评估的风险进行量化，以更加有效地来评估机器学习模型的风险。基于以上所述，为了综合评估机器学习模型的风险值，本实施例中，可以采用模型提取攻击方法，通过访问机器学习模型，提取或训练出与原始模型功能类似或一致的模型，进而获取机器学习模型的自身信息泄露的风险值，然后再采用成员推理攻击方法或属性推理攻击方法，在对机器学习模型的访问中获取机器学习模型的训练数据的信息，进而获取机器学习模型泄露训练数据的风险值；最后，基于得到的机器学习模型的自身信息泄露的风险值和机器学习模型泄露训练数据的风险值，综合评估机器学习模型的风险值；本实施例得到的机器学习模型的风险值为一个量化的风险值，能够准确地表征机器学习模型的风险信息。本实施例的机器学习模型的风险评估方法，通过获取机器学习模型的自身信息泄露的风险值和机器学习模型泄露训练数据的风险值，进而基于机器学习模型的自身信息泄露的风险值和机器学习模型泄露训练数据的风险值，综合评估机器学习模型的风险值，与现有技术相比，能够提供一种机器学习模型的有效的风险评估方案，实现对机器学习模型的隐私泄露风险进行准确地评估。图2是根据本申请第二实施例的示意图；本实施例的机器学习模型的风险评估方法，在上述图1所示实施例的技术方案的基础上，进一步更加详细地描述本申请的技术方案。如图2所示，本实施例的机器学习模型的风险评估方法，具体可以包括如下步骤：S201、获取机器学习模型的综合成本；S202、获取机器学习模型的提取攻击风险值；S203、基于机器学习模型的综合成本和机器学习模型的提取攻击风险值，配置机器学习模型的自身信息泄露的风险值；可选地，步骤S201在本文档来自技高网...

【技术保护点】
1.一种机器学习模型的风险评估方法，其中，所述方法包括如下步骤：/n获取机器学习模型的自身信息泄露的风险值；/n获取所述机器学习模型泄露训练数据的风险值；/n基于所述机器学习模型的自身信息泄露的风险值和所述机器学习模型泄露训练数据的风险值，评估所述机器学习模型的风险值。/n

【技术特征摘要】
1.一种机器学习模型的风险评估方法，其中，所述方法包括如下步骤：
获取机器学习模型的自身信息泄露的风险值；
获取所述机器学习模型泄露训练数据的风险值；
基于所述机器学习模型的自身信息泄露的风险值和所述机器学习模型泄露训练数据的风险值，评估所述机器学习模型的风险值。


2.根据权利要求1所述的方法，其中，获取机器学习模型的自身信息泄露的风险值，包括：
获取所述机器学习模型的综合成本；
获取所述机器学习模型的提取攻击风险值；
基于所述机器学习模型的综合成本和所述机器学习模型的提取攻击风险值，配置所述机器学习模型的自身信息泄露的风险值。


3.根据权利要求2所述的方法，其中，获取所述机器学习模型的综合成本，包括：
获取预先为所述机器学习模型配置的算法成本、结构成本、参数成本、训练时间成本、空间成本以及其他成本中的至少一个；
基于所述机器学习模型的算法成本、结构成本、参数成本、训练时间成本、空间成本以及其他成本中的至少一个，配置所述机器学习模型的综合成本。


4.根据权利要求2所述的方法，其中，获取所述机器学习模型的提取攻击风险值，包括：
获取所述机器学习模型在多次提取攻击测试中提取攻击的准确度；
获取所述机器学习模型在多次提取攻击测试中提取攻击的保真度；
基于所述机器学习模型在多次提取攻击测试中，各次提取攻击测试下提取攻击的准确度和保真度，配置所述机器学习模型的提取攻击风险值。


5.根据权利要求1所述的方法，其中，获取所述机器学习模型泄露训练数据的风险值，包括：
获取所述机器学习模型的敏感度信息；
获取所述机器学习模型面对成员关系推理攻击的风险值；
获取所述机器学习模型面对属性推理攻击的风险值；
基于所述机器学习模型的敏感度信息、所述机器学习模型面对成员关系推理攻击的风险值以及所述机器学习模型面对属性推理攻击的风险值，配置所述机器学习模型泄露训练数据的风险值。


6.根据权利要求5所述的方法，其中，获取所述机器学习模型的敏感度信息，包括：
获取所述机器学习模型的训练数据的个人属性敏感度；
获取所述机器学习模型的训练数据的社会属性敏感度；
获取所述机器学习模型的训练数据的自然属性敏感度；
基于所述个人属性敏感度、所述社会属性敏感度和所述自然属性敏感度，配置所述机器学习模型的敏感度信息。


7.根据权利要求5所述的方法，其中，获取所述机器学习模型面对成员关系推理攻击的风险值，包括：
获取所述机器学习模型在多次成员关系推理攻击测试中的攻击到训练数据的真正例；
获取所述机器学习模型在多次成员关系推理攻击测试中的攻击到非训练数据的假正例；
基于所述机器学习模型在多次成员关系推理攻击测试中，攻击到训练数据的真正例和攻击到非训练数据的假正例，配置所述机器学习模型面对成员关系推理攻击的风险值。


8.根据权利要求5所述的方法，其中，获取所述机器学习模型面对属性推理攻击的风险值，包括：
获取所述机器学习模型在各次属性推理攻击中攻击到训练数据的数个敏感属性的召回率；
获取所述机器学习模型在各次属性推理攻击中攻击到训练数据的数个敏感属性的假正例；
基于所述机器学习模型在多次属性推理攻击测试中，攻击到训练数据的数个敏感属性的召回率和攻击到训练数据的数个敏感属性的假正例，配置所述机器学习模型面对属性推理攻击的风险值。


9.一种机器学习模型的风险评估装置，其中，所述装置包括：
第一获取模块，用于获取机器学习模型的自身信息泄露的风险值；
第二获取模块，用于获取所述机器学习模型泄露训练数据的风险值；
评估模块，用于基于所述机器学习模型的自身信息泄露的风险...

【专利技术属性】
技术研发人员：徐坤，洪爵，蒋精华，
申请(专利权)人：百度在线网络技术北京有限公司，
类型：发明
国别省市：北京;11