一种基于深度学习的服务提供系统及方法技术方案

本发明专利技术属于边缘数据信息计算领域，公开了一种基于深度学习的服务提供系统及方法，保护训练数据的隐私同时提高边缘端服务质量。在云服务器端，结合差分隐私机制生成隐私的压缩深度学习模型：在隐私稠密训练中生成具有隐私保护的全连接深度学习模型，保护训练数据的隐私；在隐私压缩训练中，通过剪切具有隐私保护的全连接深度学习模型，生成具有隐私保护的压缩深度学习模型，保护训练数据的隐私。由于隐私压缩模型大小可缩小为原模型大小的1/9，因此非常适合嵌入边缘服务器，邻近移动设备通过访问边缘服务器，提高边缘服务质量。

A Service Providing System and Method Based on Deep Learning

【技术实现步骤摘要】
一种基于深度学习的服务提供系统及方法
本专利技术属于边缘数据信息计算领域，尤其涉及一种基于深度学习的服务提供系统及方法。
技术介绍
基于神经网络的深度学习技术发展迅速，使得人工智能(AI)被广泛应用。深度学习模型广泛应用于各种服务提供系统，包括图像识别、语音识别和语言翻译。物联网(IoT)于1999年在供应链管理中被首次提出。近年来，物联网为医疗保健、环境和运输做出重大贡献。物联网设备通常会产生巨大数量的复杂数据，特别是多媒体数据。目前的神经网络，特别是具有多个隐藏层的神经网络，擅长处理和分析这些巨大的复杂数据。因此，在物联网应用中，深度学习可以用来处理许多复杂任务。现有的基于深度学习的物联网应用的方法大部分依赖于集中式云架构，在集中式云架构中将所有计算任务放置在云服务器。由于对数据传输速度要求比较高，集中式云架构有限的网络带宽不能有效地处理和分析这些物联网数据。特别是随着用户在线活动的增加，在线学习应用对实时性要求越来越高，集中式云服务器无法满足实时性的需求。随着物联网的发展和集中式云架构的缺陷，边缘计算已成为物联网应用的新型计算模式。边缘计算将计算任务从集中式云服务器卸载到靠近物联网设备的边缘服务器。因此，基于深度学习的物联网应用非常适合处理边缘计算环境中的复杂任务。深度学习模型部署在边缘服务器，直接处理计算任务从而增强服务质量。但是边缘服务器的功率、处理器速度、数据存储能力和通信资源有限。深度学习模型拥有数百万甚至数十亿的参数需要较大的存储空间，内存带宽和计算成本，因此深度学习模型很难部署到边缘服务器。深度学习模型通过裁剪低权重的网络连接后得到小规模压缩深度学习模型，很容易部署到边缘服务器中处理学习任务。压缩模型不仅节省计算时间和存储空间，而且具有良好的表现性能。物联网设备访问邻近边缘服务器进而增强服务质量。但是攻击者可以从深度学习模型中提取有关训练数据集的敏感信息。因此，需要确保深度学习模型的隐私性，从而保护训练数据的隐私。研究者们致力于研究k-匿名(k-anonymity)技术和安全多方计算(securemultipartycomputation)技术，保护数据发布中的隐私。文章“k-anonymity:Amodelforprotectingprivacy”提出k-匿名技术，k-匿名技术指的是通过将对象的准标识符进行泛化、压缩等处理，形成k个不可区分的对象，攻击者无法推断出隐私信息所属的具体对象，从而保护目标对象的隐私，但是，攻击者仍然能利用公布的辅助信息重新识别出个体对象的敏感信息，造成隐私泄露。文章“Protocolsforsecurecomputations”提出安全多方计算技术，安全多方计算技术是保护数据隐私的一种主要手段，多个参与方共同合作，在不泄露各自输入数据的前提下共同计算并分享输出结果，但是安全多方计算的计算效率比较低。目前，差分隐私(differentialprivacy)机制应用比较广泛。文章“Differentialprivacy”提出差分隐私机制，旨在发布统计信息时保护数据库中的个体隐私，使得单条记录对数据集的影响很小。差分隐私保护与传统的隐私保护技术相比，能解决传统隐私保护技术的两个缺陷：一方面，提供了一种有效的且定义严格的，可以对隐私保护水平进行定量化的数学证明；另一方面，即使攻击者获得除目标个体对象外的其他信息，也就是掌握了最大的背景辅助信息，也无法推测出目标对象的信息。文章“DeepLearningwithDifferentialPrivacy”通过利用差分隐私机制保护深度学习中的训练数据的隐私。综上所述，k-匿名技术只能在一定程度上保护个体对象的敏感信息，攻击者仍然能利用公布的辅助信息重新识别出个体对象的敏感信息，造成隐私泄露；而安全多方计算的计算效率比较低。本专利技术与现有技术相比具有以下优点：本专利技术设计基于深度学习的服务提供系统和方法，采用的是一种边缘计算新型计算模式，将计算任务从云端服务器卸载到边缘端服务器，通过剪切低权重的网络连接将大规模全连接深度学习模型压缩为小规模深度学习模型，由于边缘服务器的功率、处理器速度、数据存储能力和通信资源有限，小规模的压缩深度学习模型更易部署到边缘服务器，边缘服务器直接处理计算任务，从而提高边缘端服务质量；本专利技术结合差分隐私机制，生成具有差分隐私保护的压缩深度学习模型，不仅能够保护深度学习过程中训练数据的隐私，并且模型的可用性也较高。(1)现有技术在图像识别、语音识别和语言翻译的人工智能应用领域中，基于深度学习的物联网应用大都依赖于集中式云架构，即所有计算任务放置在云服务器，深度学习模型部署在云端服务器，因此集中式云架构有限的网络带宽不能有效地处理和分析这些物联网数据，尤其是在线学习应用对实时性要求极高，集中式云服务器无法满足实时性的需求。由于大量边缘设备产生大量的复杂数据，因此基于集中式云架构的现有技术不能有效分析和处理数据，从而降低服务质量。而且现有技术深度学习模型不能解决训练数据的隐私泄露问题。(2)现有边缘环境下基于深度学习的物联网应用缺乏考虑训练数据隐私泄露问题，大都直接将深度学习模型直接部署到服务器，但是攻击者可以通过深度学习模型提取训练数据的敏感信息，因此会导致训练数据隐私泄露问题。解决上述技术问题的难度：由于边缘服务器的功率、处理器速度、数据存储能力和通信资源有限，大规模的深度学习模型很难部署到边缘服务器，因此需要将大规模的深度学习模型压缩为小规模的压缩深度学习模型，同时压缩深度学习模型部署到边缘服务器会带来训练数据泄露问题，因此需要结合差分隐私机制保护训练数据的隐私。但是差分隐私保护训练数据的隐私水平越高，需要在深度学习过程中添加越多的噪声，因此会降低压缩模型可用性，也就是训练数据隐私与压缩模型可用性相互矛盾，训练数据隐私保护水平越高，压缩模型可用性越低，因此如何平衡训练数据的隐私和压缩模型的可用性是技术难点。解决上述技术问题的意义：本专利技术利用差分隐私机制，将大规模深度学习模型压缩为小规模的具有隐私保护的压缩深度学习模型，防止攻击者通过隐私压缩深度学习模型提取训练数据的隐私信息，同时保证隐私压缩模型的可用性。
技术实现思路
针对现有技术存在的问题，本专利技术提供了一种基于深度学习的服务提供系统及方法。本专利技术是这样实现的，一种基于深度学习的服务提供系统的生成隐私的压缩深度学习模型的方法，一方面保护训练数据的隐私，一方面提高边缘端的服务质量。在云端服务器，结合差分隐私机制，将大规模的全连接深度学习模型通过剪切低权重的网络连接形成小规模的具有隐私保护的压缩深度学习模型，并将隐私压缩模型部署到边缘端服务器，边缘服务器为邻近设备提供服务，具体包括：进行隐私稠密训练，在训练过程中，结合差分隐私机制，生成具有(ε1,δ)-差分隐私保护的全连接深度学习模型，保护训练数据的隐私；进行隐私压缩训练，通过剪切具有(ε1,δ)-差分隐私保护的全连接深度学习模型的低权重的网络连接，只在最后一次剪切操作后，在重新训练过程中结合差分隐私机制，形成小规模的具有(ε2,δ)-差分隐私保护的压缩深度学习模型，保护训练数据的隐私。进一步，所述基于深度学习的服务提供系统的生成隐私的压缩深度学习模型的方法进一步包括：初始化，建立两层卷积层和三层本文档来自技高网...

【技术保护点】
1.一种基于深度学习的服务提供系统的生成隐私的压缩深度学习模型的方法，在云端服务器生成隐私压缩深度学习模型，将隐私压缩深度学习模型部署到边缘服务器，一方面保护训练数据的隐私，一方面为邻近物联网设备提供服务，其特征在于，所述基于深度学习的服务提供系统的生成隐私的压缩深度学习模型的方法，具体包括：进行隐私稠密训练，在训练过程中，结合差分隐私机制，生成具有(ε1,δ)‑差分隐私保护的全连接深度学习模型，保护训练数据的隐私；进行隐私压缩训练，通过剪切具有(ε1,δ)‑差分隐私保护的全连接深度学习模型的低权重的网络连接，只在最后一次剪切操作后，在再训练过程中结合差分隐私机制，形成小规模的具有(ε2,δ)‑差分隐私保护的压缩深度学习模型，保护训练数据的隐私。

【技术特征摘要】
1.一种基于深度学习的服务提供系统的生成隐私的压缩深度学习模型的方法，在云端服务器生成隐私压缩深度学习模型，将隐私压缩深度学习模型部署到边缘服务器，一方面保护训练数据的隐私，一方面为邻近物联网设备提供服务，其特征在于，所述基于深度学习的服务提供系统的生成隐私的压缩深度学习模型的方法，具体包括：进行隐私稠密训练，在训练过程中，结合差分隐私机制，生成具有(ε1,δ)-差分隐私保护的全连接深度学习模型，保护训练数据的隐私；进行隐私压缩训练，通过剪切具有(ε1,δ)-差分隐私保护的全连接深度学习模型的低权重的网络连接，只在最后一次剪切操作后，在再训练过程中结合差分隐私机制，形成小规模的具有(ε2,δ)-差分隐私保护的压缩深度学习模型，保护训练数据的隐私。2.如权利要求1所述的基于深度学习的服务提供系统的生成隐私的压缩深度学习模型的方法，其特征在于，所述基于深度学习的服务提供系统的生成隐私的压缩深度学习模型的方法进一步包括：初始化，建立两层卷积层和三层全连接层的卷积神经网络，初始化卷积神经网络的模型参数Θ0；定义输入训练数据集X＝{x1,x2,...,xN}，第t轮迭代训练的损失函数L(Θt,X)，Θt表示第t轮迭代训练的模型参数。定义梯度的约束范围G，训练样本xi的梯度值不大于G，训练样本xi经约束后的梯度取值定义为gt(xi)表示训练样本xi在第t轮迭代训练时的梯度。3.如权利要求1所述的基于深度学习的服务提供系统的生成隐私的压缩深度学习模型的方法，其特征在于，进行隐私稠密训练的方法具体包括：(a)根据公式计算其中c为常数，ld表示小批量训练样本的个数，Td表示最大迭代训练次数，δ是一个很小的常数，表示容忍差分隐私出错的概率，N表示训练样本的总数量，ε1表示保护全连接深度学习模型的差分隐私保护水平；(b)每次随机选取ld个训练样本，训练样本xi在第t轮的梯度为其中L(Θt,xi)表示损失函数，Θt表示第t轮迭代训练的模型参数；(c)计算第t轮训练样本xi的约束梯度为(d)利用高斯机制实现差分隐私保护，对添加合适的高斯噪声，得到扰动的ld个训练样本的平均梯度其中N(0,(σd)2G2I)表示均值为0，标准方差为σd·G的高斯分布，I表示相应的单位矩阵；(e)第t+1轮训练的模型参数更新为ηt表示学习率；(f)重复步骤(b)到(f)Td次，进行Td轮迭代训练，得到具有(ε1,δ)-差分隐私保护的全连接深度学习模型Θd。4.如权利要求1所述的基于深度学习的服...

【专利技术属性】
技术研发人员：裴庆祺，闫玉双，王磊，李红宁，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61