一种神经网络边缘-云协同计算分割部署方法技术

本发明专利技术提供一种神经网络边缘

【技术实现步骤摘要】
一种神经网络边缘
‑
云协同计算分割部署方法


[0001]本专利技术属于人工智能，边缘计算领域，具体涉及一种神经网络边缘
‑
云协同计算分割部署方法，可用于高负载低时延要求下的神经网络应用部署。

技术介绍

[0002]随着人工智能领域的兴起以及神经网络应用的普及，越来越多的设备都可以支持神经网络应用。图像分类，语音识别，自然语言处理等各种类型的应用，在用户的各类终端设备中愈发普及。面对着大量用户的请求以及日益加重的网络传输负担，如何能够加强神经网络应用的响应速度，提高请求处理能力，是当前需要解决的技术难点。
[0003]神经网络技术是实现人工智能应用的一种有效方法。目前的人工智能应用常常采用一系列的神经网络层构建模型，因此这种模型又被称为深度神经网络，深度神经网络的每一层都由神经元组成，这些神经元能够根据神经元的输入输出数据产生非线性输出。输入层中的神经元接收数据并将其传播到中间层(也称为隐藏层)。然后，中间层的神经元生成输入数据的加权和，并利用特定的激活函数输出加权和，然后将输出传播到输出层。最后的结果显示在输出层。深度神经网络具有比一般机器学习模型更复杂和抽象的层，能够学习高级特征，从而实现高精度的任务推理。深度神经网络常用的结构有三种:全连接层(FNN)、卷积神经网络层(CNN)和循环神经网络层(RNN)。
[0004]边缘计算是一个新兴的研究领域，它致力于将云服务从网络核心推向更接近于请求方的网络边缘设备，例如网络基站，路由器等。其核心目的在于为请求方提供计算服务同时，尽可能的靠近请求终端。相比云计算，边缘计算能够带来更低的传输延迟和带宽消耗，但与此同时，边缘计算的计算资源较为有限。为了更好的利用网络中的计算资源，提升神经网络的响应速度。现在有学者已经开始在神经网络计算过程中引入边缘计算。
[0005]在现有的神经网络应用场景中，神经网络应用一般对算力要求比较大，神经网络的模型常常部署在云端服务器上。用户在边缘端将请求数据通过网络发送至云端推断，再将推断结果返回给用户。这种方式十分依赖于请求方与云端网络状况。假如请求方数据量过大，或者网络带宽有限，那么请求的响应速度会收到通信时延的影响，最终导致数据的传输时延会大幅提高，请求的响应时间过长，从而降低神经网络应用的响应速度。因此，在网络带宽有限的情况下，相比于云端计算产生的时延，网络传输的时延开销占据了更高的比例。
[0006]为降低网络传输时延的开销，目前有研究尝试将神经网络直接部署在边缘端，也即网络基站，边缘路由器等设备上。但这些边缘设备的计算能力有限，如果神经网络模型的计算资源需求过大或者较为复杂，边缘设备会造成更高的计算时延。为解决这个问题，现有技术致力于压缩模型，通过提前终止，剪枝，降低运算精度等手段，减小模型的计算资源需求，但这种技术手段往往会带来招致模型预测精度的下降。

技术实现思路

[0007]本专利技术的目的在于提供一种神经网络边缘
‑
云协同计算分割部署方法，以降低神经网络应用时延，提高响应速度，同时保证精度不损失。
[0008]为了实现上述目的，本专利技术提供一种神经网络边缘
‑
云协同计算分割部署方法，包括：
[0009]S1：确定待部署的神经网络所具有的基本的神经网络层的层类型，为每一个计算资源以及每一种基本的神经网络层，分别建立时延预测模型f(x,S)，每个时延预测模型仅仅用于预测在一个计算资源下的一种基本的神经网络层的计算时延；
[0010]S2：执行神经网络分割算法，以确定待部署的神经网络的最优分割点，最优分割点是指将分割点K取1至l
‑
1时的各个整体时延T(K)中的最小值所对应的分割点K，所述分割点用于将待部署的神经网络分割成第一子神经网络和第二子神经网络；l为待部署的神经网络中神经网络层的层数；
[0011]S3：利用最优分割点将训练好的待部署的神经网络分割成第一子神经网络和第二子神经网络，将第一子神经网络部署在边缘端的设备上，将第二子神经网络部署在云服务器上，以进行协同计算。
[0012]所述时延预测模型f(x,S)的输入参数为x和S，x为神经网络层所对应的特征向量，所述特征向量具有一个或多种特征变量，S为计算资源的类型，计算资源的类型S包括边缘端类型S
cloud
和云端类型S
cloud
。
[0013]在所述步骤S1中，针对每一种基本的神经网络层所对应的所有种类的特征变量，采用回归树的形式来建立和训练时延预测模型。
[0014]所述步骤S1包括：对每一个计算资源以及每一种基本的神经网络层执行如下步骤：
[0015]S10：获取一种基本的神经网络层的所有特征变量及在一个计算资源下的该神经网络层的计算时延的样本，形成时延预测模型的样本数据集D；
[0016]S11：对于其中一种特征变量x
i
,设置当前的切分点s，使得时延预测模型的样本数据集D在该特征变量x
i
的维度上被划分为两个子样本空间，即第一子样本空间和第二子样本空间；
[0017]S12：确定当前的切分点s所对应的样本的输出预测值y
predict
及预测误差e；
[0018]S13：不断更新当前的切分点s并重复上述步骤S12，以确定使得预测误差e的值最小的切分点s，作为最优切分点。
[0019]在所述步骤S11中，第一子样本空间R1(s)＝{x|x
i
≤s}，第二子样本空间R2(s)＝{x|x
i
>s}，x
i
为第i种特征变量；
[0020]在所述步骤S12中，时延预测模型的预测输出值y
predict
为；
[0023]式中，x
k
是第k个样本的特征变量，R1为第一子样本空间，R2为第二子样本空间，c1为时延预测模型在第一子样本空间的预测输出值，c2为时延预测模型在第二子样本空间的预测输出值；N1为第一子样本空间的样本数，N2为第二子样本空间的样本数；
[0024]当前的切分点s所对应的预测误差e为：
[0025][0026]其中，y
k
是第k个样本的计算时延。
[0027]所述基本的神经网络层所对应的特征向量具有多种特征变量；
[0028]所述步骤S1还包括：
[0029]S14：对另一种特征变量重复上述步骤S11～步骤S13，直到确定所有特征变量各自对应的最优切分点；
[0030]S15：根据最优切分点所划分的各个样本区域，确定时延预测模型在各个样本区域的预测输出值。
[0031]在所述步骤S15中，时延预测模型f(x,S)的预测输出值为：
[0032][0033]其中，
[0034]其中，x为神经网络层所对应的特征向量，R
m
为第m个样本区域，m是样本区域的编号，n表示特征本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种神经网络边缘
‑
云协同计算分割部署方法，其特征在于，包括：步骤S1：确定待部署的神经网络所具有的基本的神经网络层的层类型，为每一个计算资源以及每一种基本的神经网络层，分别建立时延预测模型f(x，S)，每个时延预测模型仅仅用于预测在一个计算资源下的一种基本的神经网络层的计算时延；步骤S2：执行神经网络分割算法，以确定待部署的神经网络的最优分割点，最优分割点是指将分割点K取1至l
‑
1时的各个整体时延T(K)中的最小值所对应的分割点K，所述分割点用于将待部署的神经网络分割成第一子神经网络和第二子神经网络，l为待部署的神经网络中神经网络层的层数；步骤S3：利用最优分割点将训练好的待部署的神经网络分割成第一子神经网络和第二子神经网络，将第一子神经网络部署在边缘端的设备上，将第二子神经网络部署在云服务器上，以进行协同计算。2.根据权利要求1所述的神经网络边缘
‑
云协同计算分割部署方法，其特征在于，所述时延预测模型f(x，S)的输入参数为x和S，x为神经网络层所对应的特征向量，所述特征向量具有一个或多种特征变量，S为计算资源的类型，计算资源的类型S包括边缘端类型S
cloud
和云端类型S
cloud
。3.根据权利要求2所述的神经网络边缘
‑
云协同计算分割部署方法，其特征在于，在所述步骤S1中，针对每一种基本的神经网络层所对应的所有种类的特征变量，采用回归树的形式来建立和训练时延预测模型。4.根据权利要求3所述的神经网络边缘
‑
云协同计算分割部署方法，其特征在于，所述步骤S1包括：对每一个计算资源以及每一种基本的神经网络层执行如下步骤：步骤S10：获取一种基本的神经网络层的所有特征变量及在一个计算资源下的该神经网络层的计算时延的样本，形成时延预测模型的样本数据集D；步骤S11：对于其中一种特征变量x
i
，设置当前的切分点s，使得时延预测模型的样本数据集D在该特征变量x
i
的维度上被划分为两个子样本空间，即第一子样本空间和第二子样本空间；步骤S12：确定当前的切分点s所对应的样本的输出预测值y
predict
及预测误差e；步骤S13：不断更新当前的切分点s并重复上述步骤S12，以确定使得预测误差e的值最小的切分点s，作为最优切分点。5.根据权利要求4所述的神经网络边缘
‑
云协同计算分割部署方法，其特征在于，在所述步骤S11中，第一子样本空间R1(s)＝{x|x
i
≤s}，第二子样本空间R2(s)＝{x|x
i
＞s}，x
i
为第i种特征变量；在所述步骤S12中，时延预测模型的预测输出值y
predict
为；为；式中，x
k
是第k个样本的特征变量，R1为第一子样本空间，R2为第二子样本空间，c1为时延预测模型在第一子样本空间的预测输出值，c2为时延预测模型在第二子样本空间的预测输
出值；N1为第一子样本空间的样本数，N2为第二子样本空间的样本数；当前的切分点s所对应的预测误差e为：其中，y
k
是第k个样本的计算时延。6.根据权利要求4所述的神经网络边缘
‑
云协同计算分割部署方法，其特征在于，所述基本的神经网络层所对应的特征向量具有多种特征变量；所述步骤S1还包括：步骤...

【专利技术属性】
技术研发人员：周明拓，任天锋，郁春波，贺文，李剑，
申请(专利权)人：中国科学院上海微系统与信息技术研究所，
类型：发明
国别省市：