基于雾计算的高效隐私保护机器学习框架及方法技术

本发明专利技术涉及基于雾计算的高效隐私保护机器学习框架及方法，其中学习框架包括系统模型、设计目标和威胁分析模型；系统模型包括可信机构、软件服务提供商、多个物联网设备与多个雾节点，可信机构分别与软件服务提供商以及物联网设备连接，雾节点与物联网设备连接，软件服务提供商与雾节点连接;基于系统模型，设计目标包括隐私保护、训练高精度机器学习模型、低计算和通信开销；在威胁分析模型中，最多允许(m

【技术实现步骤摘要】
基于雾计算的高效隐私保护机器学习框架及方法


[0001]本专利技术涉及物联网
，尤其是涉及基于雾计算的高效隐私保护机器学习框架及方法。

技术介绍

[0002]目前，物联网的应用可以实现用户数据的实时采集。每天产生的大量数据为训练高质量的机器学习模型提供了良好的基础。然而，隐私问题阻碍了机器学习的应用。一方面，训练数据包含人员的敏感信息，这些信息是不允许公开的。另一方面，经过训练的机器学习模型是SSP的宝贵属性，模型的泄漏会给SSP带来严重的经济损失。因此，培训过程中面临着严重的隐私泄露问题。强烈的数据隐私要求使得训练非常困难。
[0003]为了解决训练过程中隐私泄露的问题，许多保护隐私的机器学习训练方案被提出。现有的保护隐私的机器学习训练场景主要分为两类:安全协作训练和安全外包训练。
[0004]在安全协同训练场景中，每个参与方都有一定的计算资源和自己的数据。因此，每个参与者承担一些计算和通信任务，并在联合训练数据上合作训练一个全局机器学习模型。在训练期间，数据所有者应对其数据保密。提出了解决安全多方计算问题的协议和具有强安全保证的安全和协议，并利用该协议提出了两种安全梯度下降算法。安全协同训练的主要应用场景是联邦学习，在联邦学习中，客户端在本地完成训练，然后将模型参数上传下载到服务器。因此，频繁的交互导致了联邦学习的高通信开销。提出了一种fog支持的联邦学习框架(fogfl)以促进分布式学习，减少资源受限的边缘设备的通信延迟和能源消耗。此外，联邦学习的目标是为每个数据提供者训练一个全局模型。<br/>[0005]还提出了一种安全可验证的联邦学习方案，实现了联邦深度学习，最终的学习结果是可验证的。还提出了一种保护隐私的回归训练联邦学习方案，该方案在整个训练过程中是非交互的。还提出了一种基于轨道边缘计算和低轨卫星网络通信的协同架构。
[0006]安全外包训练主要基于云计算。云服务器提供了大量的存储和计算资源。计算资源有限数据提供商使用同态加密或秘密共享技术将其数据转换为密文数据并外包给云服务器。云服务器执行保护隐私的机器学习训练过程，并为训练服务请求者训练一个私有的机器学习模型。在双云架构中设计了一个保护隐私的决策树训练和评估系统。提出了一种安全的ML
‑
kNN训练分类方案。提出了一种有效的保护隐私的外包支持向量机方案，该方案保护训练数据和支持向量机模型的隐私。提出了一种安全的深度计算模型，将昂贵的操作卸载到云端。提出了一种针对多方水平和垂直分区数据的外包隐私保护C4.5算法。提出了一种保护隐私的多方机器学习框架，数据所有者不需要参与训练过程。提出了一种在外包云计算环境下保护隐私的临床决策支持系统。在云端部署机器学习服务已经成为一种灵活的培训解决方案。然而，这种方法一般依赖于不共谋的假设，这是一个严重的安全风险。
[0007]通过以上分析，现有的隐私保护方案主要存在两个问题。首先，这些方案只是针对特定的机器学习算法，并不能满足所有的机器学习算法。二是缺乏对数据的全局规范化处理。不公开数据的归一化可以使训练过程更容易收敛到最优解。为了解决这些问题，提出了
一个保护隐私的ML训练框架，该框架包含针对聚合场景的多个安全训练协议，并在冲突情况下防御安全。但是，此方案并没有进行全局数据归一化。此外，该框架还存在一些不足之处，包括构建块的功能不够全面，通信和计算开销较高，使框架不切实际。
[0008]随着计算和通信能力的不断提高，物联网(IoT)在许多智能应用中发挥着至关重要的作用。因此，物联网设备每天都会产生大量的数据，这为机器学习的成功奠定了坚实的基础。然而，物联网数据强烈的隐私要求使得机器学习非常困难。为了保护数据隐私，人们提出了许多保护隐私的机器学习方案。目前大多数方案只针对特定的模型，缺乏通解，在工程实践中不是理想的解决方案。具体来说，随着数据量的不断增加，给资源有限的物联网设备带来了沉重的存储负担。

技术实现思路

[0009]针对现有技术存在的不足，本专利技术的目的是提供基于雾计算的高效隐私保护机器学习框架及方法，其提出的框架的目标是在IoT设备附近部署更高配置的雾节点成为一种有效的解决方案，通过使用数据提供者(雾节点)的密文数据来训练SSP的隐私模型。物联网设备将收集到的数据存储在附近的雾节点中，假设SSP希望使用雾节点中的数据来训练自己的隐私模型。在训练过程中，雾节点中的数据不会泄露给SSP和其他雾节点，SSP的模型不会泄露给雾节点。该框架中提出的安全数据归一化方法进一步提高了训练模型的准确性。实验分析表明，与现有方案相比，ePMLF框架显著降低了计算量和通信开销。
[0010]本专利技术的上述专利技术目的是通过以下技术方案得以实现的：
[0011]基于雾计算的高效隐私保护机器学习框架，包括系统模型、设计目标和威胁分析模型；
[0012]所述系统模型包括可信机构、软件服务提供商、多个物联网设备与多个雾节点，所述可信机构分别与所述软件服务提供商以及所述物联网设备连接，所述雾节点与所述物联网设备连接，所述软件服务提供商与所述雾节点连接；
[0013]基于所述系统模型，所述设计目标包括隐私保护、训练高精度机器学习模型、低计算和通信开销；
[0014]在所述威胁分析模型中，最多允许(m
‑
1)个雾节点相互勾结分析其他参与者的隐私，最多允许(m
‑
2)个雾节点与软件服务提供商相互勾结分析其他参与者的隐私。
[0015]本专利技术在一较佳示例中可以进一步配置为：所述可信机构定义为TA，所述TA是受信任的机构，为所有参与者生成系统参数；
[0016]所述物联网设备定义为IoT Devices，物联网设备用于产生大量的物联网数据；
[0017]所述雾节点定义为FNs，所述FNs具有较强的计算和存储能力，用于收集、存储和管理物联网设备产生的数据，所述FNs拥有的数据属于敏感信息，不能泄露；
[0018]所述软件服务提供商定义为SSP，所述SSP通过fn中的数据来训练机器学习模型，SSP是不可信的，在训练处理过程中会尝试获取FNs的数据；
[0019]所述基于雾计算的高效隐私保护机器学习框架定义为ePMLF。
[0020]本专利技术在一较佳示例中可以进一步配置为：在所述隐私保护中，保存FNs的数据，保留SSP的训练模型；
[0021]在所述训练高精度机器学习模型中，通过数据归一化生成高质量的训练数据，并
设计一个通用的计算框架；
[0022]在所述低计算和通信开销中，为了实现隐私保护训练，设计基于密码学技术的ePMLF，由于加密技术会带来巨大的计算和通信开销，因此需要尽可能提高框架的效率。
[0023]一种基于雾计算的高效隐私保护机器学习的方法，包括以下步骤：依次进行系统初始化、保护隐私数据规范化、基本构建模块、保护隐私的机器学习训练和保护隐私的机器学习模型更新。
[0024]本专利技术在一较佳示例中可以进一步配置为：在系统初始化阶段，TA为所有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于雾计算的高效隐私保护机器学习框架，其特征在于：包括系统模型、设计目标和威胁分析模型；所述系统模型包括可信机构、软件服务提供商、多个物联网设备与多个雾节点，所述可信机构分别与所述软件服务提供商以及所述物联网设备连接，所述雾节点与所述物联网设备连接，所述软件服务提供商与所述雾节点连接;基于所述系统模型，所述设计目标包括隐私保护、训练高精度机器学习模型、低计算和通信开销；在所述威胁分析模型中，最多允许(m
−
1)个雾节点相互勾结分析其他参与者的隐私，最多允许(m
−
2)个雾节点与软件服务提供商相互勾结分析其他参与者的隐私。2. 根据权利要求1所述的基于雾计算的高效隐私保护机器学习框架，其特征在于，所述可信机构定义为TA ，所述TA是受信任的机构，为所有参与者生成系统参数；所述物联网设备定义为IoT Devices，物联网设备用于产生大量的物联网数据；所述雾节点定义为FNs，所述FNs具有较强的计算和存储能力，用于收集、存储和管理物联网设备产生的数据，所述FNs拥有的数据属于敏感信息，不能泄露；所述软件服务提供商定义为SSP，所述SSP通过fn中的数据来训练机器学习模型，SSP是不可信的，在训练处理过程中会尝试获取FNs的数据；所述基于雾计算的高效隐私保护机器学习框架定义为ePMLF。3.根据权利要求2所述的基于雾计算的高效隐私保护机器学习框架，其特征在于，在所述隐私保护中，保存FNs的数据，保留SSP的训练模型；在所述训练高精度机器学习模型中，通过数据归一化生成高质量的训练数据，并设计一个通用的计算框架；在所述低计算和通信开销中，为了实现隐私保护训练，设计基于密码学技术的ePMLF，由于加密技术会带来巨大的计算和通信开销，因此需要尽可能提高框架的效率。4.一种基于雾计算的高效隐私保护机器学习的方法，其特征在于，包括以下步骤：依次进行系统初始化、保护隐私数据规范化、基本构建模块、保护隐私的机器学习训练和保护隐私的机器学习模型更新。5.根据权利要求4所述的基于雾计算的高效隐私保护机器学习框架，其特征在于，在系统初始化阶段，TA为所有参与者生成系统参数；改进的OU加密：此方法可以实现任何参与者都可以在不公开私钥的情况下对负整数进行加密，具体来说，TA在生成后生成一个大素数， TA计算，并公开N，当没有私钥的参与者需要加密负整数
−
m时，计算N
−
m并加密；在解密时，N被模p消去，加密整数的范围是；生成系统参数：假设系统中有m个雾节点，TA为生成一个OU公私钥对和一个Cloud ElGamal求值私钥对；
TA生成两个随机整数，并将分成m个随机整数，，然后，TA通过一个安全的通信通道将分配给，将分配给SSP；TA为SSP生成OU公私钥对。6.根据权利要求4所述的基于雾计算的高效隐私保护机器学习框架，其特征在于，在保护隐私数据规范化阶段，在本方法提出的框架中，SSP使用所有的加密数据来训练机器学习模型，因此，需要用所有的对数据进行归一化，这样可以提高训练数据的质量；的数据格式为，在数据归一化处理中，任何参与者都不能知道的数据；安全的Z
‑
score：第一步：对于第维数据，计算，然后，用加密，发送和到SSP；第二步：SSP计算，并将其发送给每个；第三步：计算和；安全的min
‑
max：第一步：每个计算每个维度数据的最大值和最小值，可以得到和；第二步：对于，设置，从开始，和分别输入和到比较协议中进行比较，如果，则；第三步：对于， 生成一个随机整数，并计算，然后，
ꢀꢀ
发布；第四步：计算全局最大值和最小值后，将数据按照和进行标准化，计算如下：。7.根据权利要求4所述的基于雾计算的高效隐私保护机器学习框架，其特征在于，在所述基本构建模块中，精度控制：
在机器学习训练过程中，很多数据都是浮点数，因此，在加密之前将浮点数转换为整数，一般来说，转换方法是将浮点数乘以2E或10E, E是精度，该方法将极大地扩展原始数据，但加密算法的明文空间有限，使用扩展后的数据进行同态运算会导致明文溢出的问题，数据的压缩会发生变化，为了解决这一问题，提出了一种精确控制的方法：将加密后的数据表示为，其中为密文数据，为数据的精度，通过该方法，可以知道当前数据的精度，当时，需要降低加密数据的精度位，以避免明文溢出；为了更好地控制精度，要求任何参与者在加密数据之前必须设置；具体方法如下：第一步：SSP选择随机整数R,，对于， SSP发送给，对于，SSP向发送；第二步：对于，计算；对于，计算，然后加密(或)，发送(或)给SSP；第三步：对于，SSP计算，对于，SSP计算模的逆，得到；安全加法：给出两个用加密的密文数据和，SS...

【专利技术属性】
技术研发人员：程宏，刘琼，李魏峰，王胜，韩彩亮，
申请(专利权)人：汇鼎数据科技上海有限公司，
类型：发明
国别省市：