一种基于编码分布式计算的神经网络制造技术

本发明专利技术涉及无线通信技术领域，特别涉及一种基于编码分布式计算的神经网络

【技术实现步骤摘要】
一种基于编码分布式计算的神经网络BP译码方法


[0001]本专利技术涉及无线通信
，属于信道译码方法，具体涉及一种基于编码分布式计算的神经网络
BP
译码方法
。

技术介绍

[0002]置信传播
(belief
‑
propagation,BP)
算法是目前最常用的信道译码方案之一
。
近年来，随着神经网络
(neural networks,NNs)
在计算机视觉
、
自然语言处理和语音识别等领域的广泛应用，有研究将
NNs
引入信道译码领域，提出了基于
NNs
的
BP
译码方法
(NNs
‑
BP)。NNs
显著增强了短到中等长度下高密度奇偶校验码
(high
‑
densityparity check,HDPC)
的译码性能
。
在某些场景下，
NNs
‑
BP
甚至可以接近最大似然译码性能
。
[0003]然而，随码长增长，
NNs
‑
BP
面临着计算复杂度高和内存开销大的挑战
。
具体而言，
NNs
‑
BP
隐藏层中神经元数量等于码的奇偶校验矩阵中非零元素的个数
。HDPC
码的高密度导致译码器中存在大量需要进行浮点乘法和双曲运算操作的神经元
。
例如，
Polar(128,64)
的译码器每层由
1792
个神经元组成，而
Polar(512,256)
的译码器则有
16592
个神经元
。
虽然
NNs
可以通过
GPU
进行高效离线训练，但在实时推理阶段，计算资源是有限的
。
随着
HDPC
码长度的进一步增长，在资源有限的设备
(
如无人机
)
上执行实时推理
/
译码是不切实际的
。
[0004]分布式计算使得在多个资源受限设备上执行大规模任务成为可能
。
然而，随着分布式系统中节点数量的增加，由于网络时延
、
资源共享和功耗限制等原因，缓慢甚至失效节点的存在将不可避免
。
上述节点通常被称为掉队节点，其速度可能比正常节点慢五到八倍，甚至无法响应
。
因此，掉队节点的存在会引入不可预测的延迟，降低整个系统的计算效率
。
[0005]最近，编码分布式计算
(coded distributed computing
，
CDC)
成为了解决大规模分布式计算环境中节点掉队问题的可行方案
。
通过编码引入计算冗余，
CDC
使得主节点能够仅从一部分从节点的结果中恢复所需的结果，而无需等待所有从节点
。
受
CDC
的启发，有研究提出了基于
CDC
的矩阵乘法加速方案
。
具体而言，上述研究关注恢复阈值
、
数值稳定性
、
节点部分掉队
、
稀疏性保持以及集群异构等多个方面
。
[0006]基于此，针对
NNs
‑
BP
所面临的计算复杂度高和内存开销大的挑战，研究如何将
CDC
应用于
NNs
‑
BP
场景，从而有效提升译码速度，同时解决分布式系统中节点掉队导致的不可预测延迟问题，具有重要实际意义
。

技术实现思路

[0007]基于此，本专利技术提出了一种基于编码分布式计算的神经网络
BP
译码方法，通过分布式并行化，将计算任务卸载到多个节点上同时执行提高译码速度，同时，通过编码引入计算冗余使得分布式系统能够抵抗节点掉队的影响
。
[0008]本专利技术提出了一种基于编码分布式计算的神经网络
BP
译码方法，包括以下步骤：
[0009]步骤1：使用配置矩阵
W
定义已知的神经网络
BP
译码器中层与层间神经元的连接关系，配置矩阵
W
中的元素即为层与层的神经元间的连接权重系数；
[0010]步骤2：基于各层的配置矩阵，将译码器奇数层和输出层的乘加运算建模为矩阵
‑
向量乘法，通过引入对数与指数变换，将偶数层的连乘运算亦建模为矩阵
‑
向量乘法；
[0011]步骤3：离线数据准备阶段，具体包括以下子步骤：
[0012]步骤3‑1：主节点对各层间的各配置矩阵
W
进行垂直分割，得到
Δ
个未编码子矩阵
W
i
，在分割前需判断矩阵列数能否被
Δ
整除，若无法整除，则需先用全0向量将矩阵填充至合适维度；
[0013]步骤3‑2：主节点利用随机线性编码矩阵
R
，对
Δ
个未编码子矩阵进行随机线性组合，得到
m
·
c
个编码子矩阵即将生成的未编码和编码子矩阵分发给
m
个从节点，各从节点将得到
u
＝
Δ
/m
个未编码子矩阵以及
c
个编码子矩阵，并在本地进行存储；
[0014]步骤4：在线迭代译码阶段，具体包括以下子步骤：
[0015]步骤4‑1：主节点将前一隐藏层的输出向量
x
[s
‑
1]广播至所有从节点，其后，从节点对接收到的向量按序与本地存储的子矩阵作矩阵
‑
向量乘法，有：
[0016]首先，对于从节点
k
＝
{1,2
，
…
，
m}
，有索引
i
从
(k
‑
1)
·
u+1
到
k
·
u
，先完成未编码子矩阵
‑
向量乘法其中表示第
s
‑1与第
s
隐藏层间的配置矩阵的子矩阵，
T
表示转置计算；
[0017]然后，有索引
j
从
(k
‑
1)
·
c+1
到
k
·
c
，完成编码子矩阵
‑
向量乘法并发送编码结果至主节点，表示第
s
‑1与第
s...

【技术保护点】

【技术特征摘要】
1.
一种基于编码分布式计算的神经网络
BP
译码方法，其特征在于，包括以下步骤：步骤1：使用配置矩阵
W
定义已知的神经网络
BP
译码器中层与层间神经元的连接关系，配置矩阵
W
中的元素即为层与层的神经元间的连接权重系数；步骤2：基于各层的配置矩阵，将译码器奇数层和输出层的乘加运算建模为矩阵
‑
向量乘法，通过引入对数与指数变换，将偶数层的连乘运算亦建模为矩阵
‑
向量乘法；步骤3：离线数据准备阶段，具体包括以下子步骤：步骤3‑1：主节点对各层间的各配置矩阵
W
进行垂直分割，得到
Δ
个未编码子矩阵
W
i
，在分割前需判断矩阵列数能否被
Δ
整除，若无法整除，则需先用全0向量将矩阵填充至合适维度；步骤3‑2：主节点利用随机线性编码矩阵
R
，对
Δ
个未编码子矩阵进行随机线性组合，得到
m
·
c
个编码子矩阵即将生成的未编码和编码子矩阵分发给
m
个从节点，各从节点将得到
u
＝
Δ
/m
个未编码子矩阵以及
c
个编码子矩阵，并在本地进行存储；步骤4：在线迭代译码阶段，具体包括以下子步骤：步骤4‑1：主节点将前一隐藏层的输出向量
x
[s
‑
1]
广播至所有从节点，其后，从节点对接收到的向量按序与本地存储的子矩阵作矩阵
‑
向量乘法，有：首先，对于从节点
k
＝
{1
，2，
...
，
m}
，有索引
i
从
(k
‑
1)
·
u+1
到
k
·
u
，先完成未编码子矩阵
‑
向量乘法其中
W
i[s]
表示第
s
‑1与第
s
隐藏层间的配置矩阵的子矩阵，
T
表示转置计算；然后，有索引
j
从
(k
‑
1)
·
c+1
到
k
·
c
，完成编码子矩阵
‑
向量乘法并发送编码结果至主节点，表示第
s
‑1与第
s
隐藏层间配置矩阵的编码子矩阵；若
s
为奇数，则计算其中表述输入层和第
s
隐藏层间的配置矩阵的子矩阵；若
s
为偶数，则计算在完成后续计算后，需将结果向量与拼接，得到随后发送给主节点；步骤4‑2：主节点利用从节点最先返回的
Δ
个向量以及编码矩阵
R
，通过求解线性方程组对未收到的结果向量进行恢复，并对恢复结果执行相应的后续计算，然后将计算得到的结果向量及接收到结果向量进行垂直拼接，得到当前层的输出向量
x
[s]
；步骤5：重复步骤4‑
1、
步骤4‑2直到达到最大迭代次数，最终由主节点通过输出层获得译码结果
。2.
根据权利要求1所述的方法，其特征在于，所述步骤1中，神经网络
BP
译码器不同层间的连接关系分为三种：输入层和第
s
隐藏层，第
(s
‑
1)
隐藏层和第
s
隐藏层，第
2t
隐藏层和输出层，其中
t
表示
BP
迭代译码次数；上述连接关系可分别由配置矩阵
W
[s]
(s
＝2，3，
...
，
2t)
以及
W0来表示
。
3.
根据权利要求2所述的方法，其特征在于，所述步骤2中，借助矩阵和
W
[s]
，将奇数层的乘加运算建模为矩阵
‑
向量乘法，得到奇数层输出向量其中
l
为信道输入的
LLR<...

【专利技术属性】
技术研发人员：黎勇，韩雪松，刘锐，
申请(专利权)人：重庆大学，
类型：发明
国别省市：