一种神经网络在网状网络场景下的分割计算方法技术

本发明专利技术提供一种神经网络在网状网络场景下的分割计算方法，包括：对网状网络划分设备层，得到设备层信息；根据设备层信息和神经网络的神经网络层信息来执行神经网络分割算法，得到满足时延需求的分割方案；根据设备层信息和满足时延需求的分割方案进行神经网络分割部署。本发明专利技术的方法使得同一子神经网络能够多台边缘设备所组成的同一设备层上协同计算，能够大幅减轻边缘设备的计算负载，并提高运算速度，从而加快神经网络应用在边缘端的响应速度。此外，本发明专利技术通过分割神经网络，让边缘设备所组成的每个设备层分别运算神经网络的一部分，通过多个设备层之间的协同计算，以缓解单个设备层的边缘设备的计算负载，提升边缘设备的计算效率。的计算效率。的计算效率。

【技术实现步骤摘要】
一种神经网络在网状网络场景下的分割计算方法


[0001]本专利技术属于边缘计算和计算机通信领域，具体涉及一种神经网络在网状网络场景下的分割计算方法，该方法用于在缺乏云计算或者网络带宽有限情况下，进行神经网络计算过程。

技术介绍

[0002]随着人工智能领域的兴起以及神经网络应用的普及，越来越多的设备都可以支持神经网络应用。图像分类，语音识别，自然语言处理等各种类型的应用，在用户的各类终端设备中愈发普及。面对着大量用户的请求以及日益加重的网络传输负担，如何能够加强神经网络应用的响应速度，提高请求处理能力，是当前需要解决的技术难点。
[0003]神经网络技术是实现人工智能应用的一种有效方法。目前的人工智能应用常常采用一系列的神经网络层构建模型，因此这种模型又被称为深度神经网络，深度神经网络的每一层都由神经元组成，这些神经元能够根据神经元的输入输出数据产生非线性输出。输入层中的神经元接收数据并将其传播到中间层(也称为隐藏层)。然后，中间层的神经元生成输入数据的加权和，并利用特定的激活函数输出加权和，然后将输出传播到输出层。最后的结果显示在输出层。深度神经网络具有比一般机器学习模型更复杂和抽象的层，能够学习高级特征，从而实现高精度的任务推理。深度神经网络常用的结构有三种：全连接层(FNN)、卷积神经网络层(CNN)和循环神经网络层(RNN)。
[0004]目前，相当一部分的神经网络应用对计算算力要求比较大，因此诸如图像识别，语音识别等任务常常部署在云端进行计算，但当用户请求频繁或者网络较为拥塞的时候，数据的传输时延会大幅提高，从而降低神经网络应用的响应速度。因此，在网络带宽有限的情况下，相比于云端计算产生的时延，网络传输的时延开销占据了更高的比例。此外，在一些特殊的场景下，例如广域网断开，或者云服务器宕机，云计算会陷入不可用，这时边缘计算作为云计算的补充就显得尤为重要。
[0005]边缘计算是一个新兴的研究领域，它致力于将云服务从网络核心推向更接近于请求方的网络边缘设备，例如网络基站，路由器等。其核心目的在于为请求方提供计算服务同时，尽可能的靠近请求终端。相比云计算，边缘计算能够补足云计算，能够减小网络负担，加快响应速度，降低通信时延，但与此同时，在处理相同任务时会有更多的计算时延开销。面对神经网络这种计算资源要求较高的任务，单台边缘设备的边缘计算往往会受限于计算瓶颈，从而导致计算上的时延过大。
[0006]现有技术存在可以构成网状网络的边缘路由，并可提供计算能力。网状网络是是一种在网络节点间透过动态路由的方式来进行资料与控制指令的传送。在网状网络的场景下，多个边缘设备，如边缘路由器组成网状网络,它们之间拥有良好的通信环境，同时能够根据实际的通信情况自适应的调整连接。具体来说，这种网络可以保持每个节点间的连线完整，当网络拓扑中有某节点失效或无法服务时，这种架构允许使用“跳跃”的方式形成新的路由后将信息送达传输目的地。目前构成网状网络的边缘路由常常作为转发信息的桥
梁，承担信息管道的作用。作为靠近请求方的边缘设备，其计算能力也有待发掘。
[0007]分布式计算通过分割神经网络将应用拆解成许多小的部分，分配给多台计算机处理，这样可以整体节约计算时间，并减少机器的计算负载。
[0008]因此，急需一种边缘与边缘间的协同计算的技术，以将这些边缘设备看作是一个计算集群，对规模较大的神经网络模型进行分割和部署。

技术实现思路

[0009]本专利技术的目的在于提供一种神经网络在网状网络场景下的分割计算方法，以大幅减轻边缘设备的计算负载，并提高运算速度，从而解决了在网络带宽有限的场景下神经网络应用对低时延的需求。
[0010]为了实现上述目的，本专利技术提供一种神经网络在网状网络场景下的分割计算方法，包括：
[0011]S1：对网状网络划分设备层，得到设备层信息；
[0012]S2：根据设备层信息和神经网络的神经网络层信息来执行神经网络分割算法，得到满足时延需求的分割方案；
[0013]S3：根据设备层信息和满足时延需求的分割方案进行神经网络分割部署。
[0014]所述步骤S1包括：
[0015]S11：选取网状网络中的至少一个边缘设备，将其标记为第1个设备层的边缘设备；
[0016]S12：令i＝1，其中参数i是设备层的序数；
[0017]S13：将与第i个设备层的边缘设备直连，且未被标记过的边缘设备标记为第i+1个设备层的边缘设备；
[0018]S14：判断是否还有边缘设备未被标记，有则令i＝i+1，执行步骤S13，否则结束步骤S1。
[0019]所述设备层信息包含网状网络被划分后的设备层的总层数，以及每一个设备层中的边缘设备的数目。
[0020]所述神经网络层信息是根据经过训练的待分割的神经网络来得到的，其包括神经网络中的神经网络层的层数，以及每个神经网络层的层类型。
[0021]在所述步骤S2中，所述神经网络分割算法为有序最优解保留遗传算法。
[0022]所述步骤S2包括：
[0023]S21：根据设备层的个数确定分割点的数目，表述待分割的神经网络的所有分割方案；同时，定义分割方案所对应的最终适应度函数，所述最终适应度函数基于时延适应度函数和有序适应度函数；
[0024]S22：将分割方案作为个体，分割方案所对应的最终适应度函数作为个体适应度，来执行遗传算法；并在执行遗传算法的过程中，进行最优解保留，最终得到满足时延需求的分割方案。
[0025]第k个分割方案x
k
为：
[0026][0027]其中，l为神经网络的总层数，代表第k个分割方案的第j个分割点
的位置，1≤j≤n
‑
1，k表示分割方案的序数，n为设备层的总层数；
[0028]所述时延适应度函数f
delay
(x
k
)为：
[0029][0030]其中，x
k
表示第k个分割方案；T
comp
是整个神经网络在边缘设备上的计算时延，是第j个设备层和第j+1个设备层之间的通信时延，n表示设备层的总层数；σ(x)为压缩函数；
[0031][0032]有序适应度函数f
order
(x
k
)为：
[0033]f
order
(x
k
)＝σ(r(x
k
))，
[0034]r(x
k
)为逆序数；I(x>y)为指示函数；
[0035][0036]最终适应度函数f
fitness
(x
k
)为：f
fitness
(x
k
)＝αf
delay
(x
k
)，
[0037]其中，α为权重。
[0038]所述计算时延T
comp
...

【技术保护点】

【技术特征摘要】
1.一种神经网络在网状网络场景下的分割计算方法，其特征在于，包括：步骤S1：对网状网络划分设备层，得到设备层信息；步骤S2：根据设备层信息和神经网络的神经网络层信息来执行神经网络分割算法，得到满足时延需求的分割方案；步骤S3：根据设备层信息和满足时延需求的分割方案进行神经网络分割部署。2.根据权利要求1所述的神经网络在网状网络场景下的分割计算方法，其特征在于，所述步骤S1包括：步骤S11：选取网状网络中的至少一个边缘设备，将其标记为第1个设备层的边缘设备；步骤S12：令i＝1，其中参数i是设备层的序数；步骤S13：将与第i个设备层的边缘设备直连，且未被标记过的边缘设备标记为第i+1个设备层的边缘设备；步骤S14：判断是否还有边缘设备未被标记，有则令i＝i+1，执行步骤S13，否则结束步骤S1。3.根据权利要求1所述的神经网络在网状网络场景下的分割计算方法，其特征在于，所述设备层信息包含网状网络被划分后的设备层的总层数，以及每一个设备层中的边缘设备的数目。4.根据权利要求1所述的神经网络在网状网络场景下的分割计算方法，其特征在于，所述神经网络层信息是根据经过训练的待分割的神经网络来得到的，其包括神经网络中的神经网络层的层数，以及每个神经网络层的层类型。5.根据权利要求1所述的神经网络在网状网络场景下的分割计算方法，其特征在于，在所述步骤S2中，所述神经网络分割算法为有序最优解保留遗传算法。6.根据权利要求5所述的神经网络在网状网络场景下的分割计算方法，其特征在于，所述步骤S2包括：步骤S21：根据设备层的个数确定分割点的数目，表述待分割的神经网络的所有分割方案；同时，定义分割方案所对应的最终适应度函数，所述最终适应度函数基于时延适应度函数和有序适应度函数；步骤S22：将分割方案作为个体，分割方案所对应的最终适应度函数作为个体适应度，来执行遗传算法；并在执行遗传算法的过程中，进行最优解保留，最终得到满足时延需求的分割方案。7.根据权利要求6所述的神经网络在网状网络场景下的分割计算方法，其特征在于，第k个分割方案x
k
为：其中，l为神经网络的总层数，代表第k个分割方案的第j个分割点的位置，1≤j≤n
‑
1，k表示分割方案的序数，n为设备层的总层数；所述时延适应度函数f
delay
(x
k
)为：其中，x
k
表示第k个分割方案；T
comp
是整个神经网络在边缘设备上的计算时延...

【专利技术属性】
技术研发人员：周明拓，任天锋，郁春波，贺文，李剑，
申请(专利权)人：中国科学院上海微系统与信息技术研究所，
类型：发明
国别省市：