一种星载边缘计算系统中的分布式推理方法技术方案

本发明专利技术涉及卫星网络领域，具体涉及一种星载边缘计算系统中的分布式推理方法

【技术实现步骤摘要】
一种星载边缘计算系统中的分布式推理方法


[0001]本专利技术涉及卫星网络领域，具体涉及一种星载边缘计算系统中的分布式推理方法
。

技术介绍

[0002]星载边缘计算系统通过将计算
、
存储资源部署在卫星上，可以就近为用户提供计算和存储服务，典型的服务包括对用户终端产生的数据进行智能推理
。
[0003]而考虑到单颗卫星上的计算和存储资源相对受限，有可能无法满足计算任务的资源需求，因此需要对计算任务进行切分，并合理部署切分后的子任务
(
选择合适的卫星执行切分后的子任务
)。
[0004]以对图像进行目标识别为例，如果数据源持续产生待处理图片，则单颗卫星可能无法持续地完成目标识别任务
。
比如，当图片产生的速率是
100
张
/
秒，而单颗卫星对图片的处理速率是
20
张
/
秒，那么随着时间推移，会出现大量未完成处理的图片
。
因此需要多颗卫星进行分布式协同推理，从而提升推理速度
。

技术实现思路

[0005]本专利技术针对上述问题，采用将推理过程进行分割，不同卫星上执行整个推理过程中的不同步骤的方式进行处理，
[0006]本专利技术采用的技术方案为：
[0007]一种星载边缘计算系统中的分布式推理方法，包括以下步骤：
[0008](1)
选取
N
chosen
个参与分布式推理的卫星；其中，
N
chosen
是可配置的偶数参数；
[0009](2)
建立神经网络模型切割最优化问题，根据求解得到的最优决策变量，确定
N
chosen
个推理步骤分别包含哪些神经网络层；
[0010](3)
将切割神经网络模型后形成的
N
chosen
个推理步骤依次放在
N
chosen
个卫星上
。
[0011]进一步的，步骤
(1)
中：选取卫星时的原则是依次选取的两个卫星之间具有星间链路，且最后选出的卫星与第一颗卫星之间有星间链路
。
[0012]进一步的，步骤
(2)
中的推理步骤为：
[0013]将深度神经网络的部分相邻层进行合并，形成一个推理步骤，或单独一个层作为一个推理步骤；其中，每个推理步骤只包含连续相邻的若干层，不包括非连续相邻的层
。
[0014]进一步的，步骤
(2)
具体过程为：
[0015]对模型切割问题进行最优化建模，最优化问题中的决策变量包括矩阵变量
Δ
＝
{
δ
i,j
}
i∈I,j∈J
和矩阵变量
Γ
＝
{
γ
i,j
}
i∈I,j∈J
；
δ
i,j
取值为0或者1，
δ
i,j
＝1代表将第
j
层部署在第
i
个卫星上，即将第
j
层划分到第
i
个步骤中，
δ
i,j
＝0代表不将第
j
层部署在第
i
个卫星上，即不将第
j
层划分到第
i
个步骤中；
γ
i,j
取值为0或者1，
γ
i,j
＝1代表由第
i
个卫星将第
j
层产生的中间结果发给选取出的下一个卫星，
γ
i,j
＝0代表不由第
i
个卫星将第
j
层产生的中间结果发给选取出的下一个卫星；
[0016]定义各个变量，包括：
I
代表集合
{1,2,
…
,N
chosen
}
，
J
表示深度神经网络模型中的层号集合，即集合
{1,2,
…
,L
max
}
，
L
max
代表神经网络层数；
c
i
代表第
i
个卫星每秒能够完成的运算量，
l
j
代表深度神经网络中第
j
层处理所需要的运算量，则在第
i
个卫星上处理第
j
层所需的处理时长等于
s
j
代表第
j
层产生的中间结果数据量，
b
i
代表第
i
个卫星与第
i+1
个卫星之间的链路速率，表示第
i
个卫星与第
i+1
个卫星之间的信号传播时延，则如果由第
i
个卫星向第
i+1
个卫星发送第
j
层的中间结果，传输时延计算为
[0017]通过使用在传输中间结果的同时进行数据运算的方法，第
i
个卫星产生的总时延计算为即传输时延与处理时长两者的最大值；
[0018]然后对神经网络模型切割问题进行最优化建模：
[0019][0020][0021][0022][0023][0024][0025][0026][0027][0028][0029][0030]求解上述最优化问题后，根据求解得到的最优
Δ
值，决定切割神经网络模型的具体方案，确定每个推理步骤包括哪些神经网络层
。
[0031]本专利技术相比现有技术的优点为：能够显著提高在轨智能推理的速度，高效利用多颗卫星的计算资源
。
附图说明
[0032]图1是本专利技术深度神经网络示意图
。
[0033]图2是本专利技术对深度神经网络进行步骤切分示意图
。
[0034]图3是本专利技术分布式推理中的卫星选取及步骤放置示意图
。
具体实施方式
[0035]下面结合附图对本专利技术做进一步解释说明
。
[0036]如图1所示，深度神经网络一般由多个层构成，如卷积层
、
全连接层
、
池化层等
。
每层完成一定的数据计算
。
深度神经网络的推理过程可以被抽象为：将数据输入到第1层，由第1层中的算子对数据进行计算，生成第1层处理后的结果，然后将第1层的处理结果
(
中间结果
)
传递给第2层，由第2层中的算子对第1层的处理结果进行计算，生成第2层的处理结果
。
依次类推，直到由第
n
层生成最终的处理结果...

【技术保护点】

【技术特征摘要】
1.
一种星载边缘计算系统中的分布式推理方法，其特征在于，包括以下步骤：
(1)
选取
N
chosen
个参与分布式推理的卫星；其中，
N
chosen
是可配置的偶数参数；
(2)
建立神经网络模型切割最优化问题，根据求解得到的最优决策变量，确定
N
chosen
个推理步骤分别包含哪些神经网络层；
(3)
将切割神经网络模型后形成的
N
chosen
个推理步骤依次放在
N
chosen
个卫星上
。2.
根据权利要求1所述的一种星载边缘计算系统中的分布式推理方法，其特征在于，步骤
(1)
中：选取卫星时的原则是依次选取的两个卫星之间具有星间链路，且最后选出的卫星与第一颗卫星之间有星间链路
。3.
根据权利要求1所述的一种星载边缘计算系统中的分布式推理方法，其特征在于，步骤
(2)
中的推理步骤为：将深度神经网络的部分相邻层进行合并，形成一个推理步骤，或单独一个层作为一个推理步骤；其中，每个推理步骤只包含连续相邻的若干层，不包括非连续相邻的层
。4.
根据权利要求3所述的一种星载边缘计算系统中的分布式推理方法，其特征在于，步骤
(2)
具体过程为：对模型切割问题进行最优化建模，最优化问题中的决策变量包括矩阵变量
Δ
＝
{
δ
i
，
j
)
i∈I
，
j∈J
和矩阵变量
r
＝
{
γ
i
，
j
}
i∈I
，
j∈J
；
δ
i
，
j
取值为0或者1，
δ
i
，
j
＝1代表将第
j
层部署在第
i
个卫星上，即将第
j
层划分到第
i
个步骤中，
δ
i
，
j
＝0代表不将第
j
层部署在第
i
个卫星上，即不将第

【专利技术属性】
技术研发人员：李诚成，徐正乾，张亚生，孙晨华，郝志松，
申请(专利权)人：中国电子科技集团公司第五十四研究所，
类型：发明
国别省市：