一种基于层级化高度异构分布式系统的深度学习应用优化框架技术方案

本发明专利技术公开了一种基于层级化高度异构分布式系统的深度学习应用优化框架，涉及计算科学方向深度学习领域，包括运行准备阶段和运行阶段，所述运行准备阶段用于进行深度神经网络训练，所述运行阶段对分布式系统中各类设备进行任务分配，并使用数据加密模块对用户敏感数据进行隐私保护。本发明专利技术的系统任务异构特性，在保证整体性能的前提下，降低系统响应时间，保证用户体验，基于神经网络的数据加密模块，能够以较低的计算代价和存储代价对用户敏感数据进行隐私保护，保障用户数据安全。

【技术实现步骤摘要】
一种基于层级化高度异构分布式系统的深度学习应用优化框架
本专利技术涉及计算科学方向深度学习领域，尤其涉及一种基于层级化高度异构分布式系统的深度学习应用优化框架。
技术介绍
分布式系统是计算机系统领域的重要计算平台。分布式系统相比于传统集中式计算具有高可扩展性、高可靠性等特性，能够高效的为高性能计算实现系统支持。传统分布式系统搭载在高性能计算服务器上，能够高效利用其计算资源。随着移动计算终端，即智能手机，和物联网技术的发展，将分布式系统扩展到移动计算终端和物联网设备，成为了分布式系统发展的新机遇。层级化高度异构的分布式系统，根据计算设备的性能高低、网络延迟、功耗限制等因素，将计算节点划分为三类：云节点、雾节点及终端节点。云节点由传统云计算框架发展而来，其部署在高性能计算中心上，具有非常强且集中的计算力资源。雾节点主要指数据由终端用户上传至云节点中，路径上的较强计算中心。典型的雾节点如智慧家居中的家庭路由器，智慧城市中的地区运营商等。雾节点相比云节点，计算力资源有限，其优点是距离终端用户更近。终端节点涵盖移动计算终端和物联网设备，前者通常以智能手机为例，尤其指具有智能计算芯片的现代智能手机，而后者由数量众多的传感器、监视器等组成。终端节点计算力较弱，且通常具有其他物理资源限制，如功耗限制，内存限制，网络资源限制等。由于此类分布式系统往往被用在面向用户的应用程序中，网络延迟是该类系统中需要考虑的重要因素，其显著影响计算框架的响应时间和用户体验。云节点因其物理上距离终端用户较远，网络通信往往不稳定，具有高延迟的缺点。雾节点相比云节点距离用户较近，网络延迟较小。终端节点距离用户最近，网络延迟极小，但其具有硬件资源的限制。除此之外，隐私保护也是此类系统需要解决的重要问题。传统基于云计算的人工智能应用，如图片物体识别等，通常需要用户上传原始图片到服务提供商的云计算中心上，但是这样加大了用户隐私泄露的可能性，例如数据传输过程中的劫持、数据在云计算中心的泄露等因素。因此，本领域的技术人员致力于开发一种基于层级化高度异构分布式系统的深度学习应用优化框架，能够高效利用该系统中各节点的物理资源和节点间的网络资源，同时能对用户敏感数据进行隐私保护，保障用户数据安全。
技术实现思路
有鉴于现有技术的上述缺陷，本专利技术所要解决的技术问题是如何将深度学习应用更加高效的部署到层级化高度异构的分布式系统上，高效利用该系统中各节点的物理资源和节点间的网络资源，以及如何对用户敏感数据进行隐私保护，保障用户数据安全。为实现上述目的，本专利技术提供了一种基于层级化高度异构分布式系统的深度学习应用优化框架，包括运行准备阶段和运行阶段，所述运行准备阶段用于进行深度神经网络训练，所述运行阶段对分布式系统中各类设备进行任务分配，并使用数据加密模块对用户敏感数据进行隐私保护。进一步地，所述深度神经网络训练，可针对性的选择与设计具有不同侧重的深度神经网络模型。进一步地，所述深度神经网络模型的选择，依赖参数包含当前层级化高度异构的分布式系统中各节点的特性，包括计算能力、功耗限制、存储限制、网络状态及支持框架等。进一步地，所述深度神经网络训练，在确定相关深度神经网络参数之后，在具有足够计算能力的计算节点上构建所需要的神经网络。进一步地，所述深度神经网络模型，各节点可以有所差别，包括网络结构，网络层数、是否包含数据正则化层、是否使用卷积神经网络、是否使用优化速度的纵深神经网络层等。进一步地，所述深度神经网络训练，训练终止条件主要参考模型损失函数数值、模型在验证数据集上的精确度、模型训练时间等。进一步地，所述数据加密模块，利用高层级计算节点(例如雾节点相比终端节点，被称为高层级计算节点)中使用的神经网络的前数层，对敏感数据进行前向传递。进一步地，所述运行阶段，根据基于计算时间匹配的任务调度算法得到当前任务部署的计算节点，将加密后的数据发送至指定节点进行计算。进一步地，所述基于计算时间匹配的任务调度算法，根据终端节点和雾节点的任务完成时间，计算终端节点和雾节点的最佳匹配数量，辅助进行调度。进一步地，所述运行阶段，根据系统任务异构特性，对计算节点返回的不同任务的结果进行综合，该判断主要依据返回任务结果时的时间消耗、该计算节点的任务类型、及该计算节点执行其任务类型时的性能等。在本专利技术的较佳实施方式中，将深度学习应用部署到层级化高度异构分布式系统上，具有分布式计算节点异构特性，能够高效利用各节点的物理资源和节点间的网络资源；具有系统任务异构特性，能够在保证整体性能的前提下，降低系统响应时间，改善用户体验。在本专利技术的另一较佳实施方式中，在运行过程中，当用户使用的终端节点发起计算任务时，根据用户的输入判断当前数据是否是敏感数据，如果是，则使用基于神经网络的数据加密模块进行隐私保护。具体来说，该模块利用高层级计算节点(例如雾节点相比终端节点，被称为高层级计算节点)中使用的神经网络的前数层，对敏感数据进行前向传递。随后，该节点仅将计算结果传递给该高层级计算节点，从而防止原始的敏感数据被传输到其他节点，降低隐私泄漏的风险。与现有技术相比，本专利技术的有益效果是：(1)本专利技术在保证整体性能的前提下，降低系统响应时间，改善用户体验；基于计算时间匹配的任务调度算法，能够改善框架可扩展性及性能；(2)本专利技术根据分布式系统中各节点物理资源优化深度神经网络模型的方法具有深度神经网络异构特性，能够在各计算节点上平衡计算开销与模型性能，优化硬件资源的利用率；(3)本专利技术基于神经网络的数据加密模块，能够以较低的计算代价和存储代价对用户敏感数据进行隐私保护，保障用户数据安全。以下将结合附图对本专利技术的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本专利技术的目的、特征和效果。附图说明图1是本专利技术一个较佳实施例的运行准备阶段流程示意图；图2是本专利技术一个较佳实施例的运行阶段流程示意图；图3是本专利技术一个较佳实施例的中层级化高度异构分布式系统的示意图；其中，1-云节点，2-雾节点，3-终端节点。具体实施方式以下参考说明书附图介绍本专利技术的多个优选实施例，使其
技术实现思路
更加清楚和便于理解。本专利技术可以通过许多不同形式的实施例来得以体现，本专利技术的保护范围并非仅限于文中提到的实施例。在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本专利技术并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。如图1所示，在运行准备过程时，框架需要根据各计算节点的特性，有针对性的进行深度神经网络选择与训练。计算节点的特性包括但不限于：计算能力、功耗限制、存储限制、网络状态、及支持框架等。根据相关特性，对深度神经网络进行的调整包括但不限于：网络结构，网络层数、是否包含数据正则化层、是否使用卷积神经网络、是否使用优化速度的纵深神经网络层等。在确定相关深度神经网络参数之后，框架在具有足够计算能力的计算节点上(例如云节点)构建所需要的神经网络，随后使用训练集进行训练。训练终止条件主要参考但不限于以下因素：模型损失函数数值、模型在验证数据集上的精确度、模型训练时间等。在判断当前神经网络已经训练完成之后，训练节点将模型文件传输到对应的计算节本文档来自技高网...

【技术保护点】
1.一种基于层级化高度异构分布式系统的深度学习应用优化框架，其特征在于，包括运行准备阶段和运行阶段，所述运行准备阶段用于进行深度神经网络训练，所述运行阶段对分布式系统中各类设备进行任务分配，并使用数据加密模块对用户敏感数据进行隐私保护。

【技术特征摘要】
1.一种基于层级化高度异构分布式系统的深度学习应用优化框架，其特征在于，包括运行准备阶段和运行阶段，所述运行准备阶段用于进行深度神经网络训练，所述运行阶段对分布式系统中各类设备进行任务分配，并使用数据加密模块对用户敏感数据进行隐私保护。2.如权利要求1所述的基于层级化高度异构分布式系统的深度学习应用优化框架，其特征在于，所述深度神经网络训练，可针对性的选择与设计具有不同侧重的深度神经网络模型。3.如权利要求1所述的基于层级化高度异构分布式系统的深度学习应用优化框架，其特征在于，所述深度神经网络模型的选择，依赖参数包含当前层级化高度异构的分布式系统中各节点的特性，包括计算能力、功耗限制、存储限制、网络状态及支持框架等。4.如权利要求1所述的基于层级化高度异构分布式系统的深度学习应用优化框架，其特征在于，所述深度神经网络训练，在确定相关深度神经网络参数之后，在具有足够计算能力的计算节点上构建所需要的神经网络。5.如权利要求1所述的基于层级化高度异构分布式系统的深度学习应用优化框架，其特征在于，所述深度神经网络模型，各节点可以有所差别，包括网络结构，网络层数、是否包含数据正则化层、是否使用卷积神经网络、是否使用优化速度的纵深神经网络层等。6.如权利要求1...

【专利技术属性】
技术研发人员：张宗璞，马汝辉，华扬，宋涛，管海兵，
申请(专利权)人：上海交通大学，
类型：发明
国别省市：上海,31