一种基于半监督深度学习网络的LDPC译码系统及译码方法技术方案

本发明专利技术提供一种基于半监督深度学习网络的LDPC译码系统，包括用于将LDPC码字构建成适合深度学习网络样本集的输入单元；无监督学习模型；无监督学习模型包括用于对样本集进行降噪的降噪单元，以及用于对降噪后的数据进行提取特征和特征映射的特征提取和特征映射单元；以及用于针对特征映射后的输入进行有监督训练，回归出一批LDPC码字的信息位以完成LDPC批量译码的有监督学习单元；输入单元、降噪单元、特征提取和特征映射单元以及有监督学习单元依次连接。还提供基于半监督深度学习网络的LDPC译码方法。本发明专利技术利用训练好的深度学习网络实现无需迭代的高吞吐率译码，用于解决现有的LDPC软判决译码算法译码复杂度高，多次迭代带来的延时以及吞吐量低的问题。

【技术实现步骤摘要】
一种基于半监督深度学习网络的LDPC译码系统及译码方法
本专利技术涉及电子通信
，更具体地说，涉及一种基于半监督深度学习网络的LDPC译码系统及译码方法。
技术介绍
LDPC码(Low-DensityParity-Check)，即低密度奇偶校验码，是一种已经被证明其误码性能能够逼近香农限的信道编码，其译码复杂度相对较低且性能较好。LDPC码可以满足移动通信技术对高数据处理速度、高数据传输速度、大容量传输以及高质量传输的要求，近几年，在各大通信领域得到广泛应用，逐渐成为未来通信标准和存储领域的主流编码方式之一。深度学习在语音、图像、自然语言处理等应用场合上已经证明其强大的识别，分类及拟合能力。深度学习网络包括有监督学习网络，无监督学习网络及半监督学习网络。多层神经网络是经典的有监督学习网络之一，多层神经网络几乎应用在各种深度学习网络中。自编码器(Autoencoder)是深度学习网络的无监督学习算法之一，无监督学习可以自动完成特征提取，并从数据中自动学习到初级的特征。传统的LDPC译码方法是基于后验概率的置信度传播算法的软判决译码算法，虽然具有优良的译码性能，其译码计算复杂度依然很高；译码过程需要多次迭代，每次译码迭代过程中会产生大量中间变量，译码占用的存储空间大；译码过程需要多次迭代限制了译码的速度，降低了译码吞吐率。
技术实现思路
本专利技术的目的在于克服现有技术中的缺点与不足，提供一种基于半监督深度学习网络的LDPC译码系统及译码方法，该系统及方法利用训练好的深度学习网络实现无需迭代的高吞吐率译码，用于解决现有的LDPC软判决译码算法译码复杂度高，多次迭代带来的延时以及吞吐量低的问题。为了达到上述目的，本专利技术通过下述技术方案予以实现：一种基于半监督深度学习网络的LDPC译码系统，其特征在于：包括用于将LDPC码字构建成适合深度学习网络样本集的输入单元；无监督学习模型；所述无监督学习模型包括用于对样本集进行降噪的降噪单元，以及用于对降噪后的数据进行提取特征和特征映射的特征提取和特征映射单元；以及用于针对特征映射后的输入进行有监督训练，回归出一批LDPC码字的信息位以完成LDPC批量译码的有监督学习单元；所述输入单元、降噪单元、特征提取和特征映射单元以及有监督学习单元依次连接。在上述方案中，输入数据经过降噪自编码器和稀疏自编码器进行无监督学习后，再经过神经网络进行有监督学习，整个过程称为半监督学习过程。所述降噪单元为降噪自编码器；所述降噪自编码器包括依次连接的输入层、隐藏层和输出层；所述降噪自编码器的输入层与输出层的维度相同。所述特征提取和特征映射单元为稀疏自编码器；所述稀疏自编码器包括依次连接的输入层、隐藏层和输出层；隐藏层包括依次连接的特征映射层和重构层；所述输入层的维度与值和输出层的维度与值相等。稀疏自编码器的稀疏性在于隐藏层的神经元大部分处于未被激活状态。为尽量满足稀疏编码器的稀疏性，每一层特征映射层均比前一层特征映射层的维度大；每一层重构层均比前一层重构层的维度小。所述稀疏自编码器中每一层特征映射层和重构层使用的激活函数均为：其中，x为该层神经元的输入。所述有监督学习单元包括依次连接的输入层、隐藏层和输出层；所述有监督学习单元的输入层为稀疏自编码器的最后一层特征映射层；所述有监督学习单元的输出层回归输出LDPC的译码信息位。本专利技术先通过重构层将稀疏自编码器训练好，再通过特征映射层对输入进行特征提取和映射，最后将最后一层特征映射层通过神经网络进行训练。本专利技术一种基于半监督深度学习网络的LDPC译码方法，其特征在于：包括以下步骤：第一步，将LDPC码字构建成适合深度学习网络的训练样本集；第二步，采用无监督学习模型中的降噪自编码器对训练样本集进行降噪，再采用稀疏自编码器对降噪后的数据进行提取特征和特征映射；第三步，利用神经网络进行有监督学习训练，在输出端回归出LDPC的信息位，完成LDPC译码。在第一步中，所述将LDPC码字构建成适合深度学习网络的训练样本集是指：首先，将LDPC码字经过BPSK调制后再加上高斯白噪声，得到模拟高斯信道下接收机接收到的带高斯噪声的LDPC码字；其中，对于任一个LDPC(n，k)码字，均由相应的k位信息比特与该LDPC码生成矩阵G相乘得到，即：CW1×n＝msg1×k×Gk×n；其次，将作为深度学习网络输入X的带高斯噪声LDPC码字，未加高斯噪声的LDPC码字CW，以及作为深度学习网络标签Y的对应k位信息位来构建适合深度学习网络的训练样本集(X，CW，Y)；最后，对深度学习网络训练样本集(X，CW，Y)进行批量训练。在第二步中，所述采用无监督学习模型中的降噪自编码器对训练样本集进行降噪，再采用稀疏自编码器对降噪后的数据进行提取特征和特征映射是指：首先，采用降噪自编码器对批量训练的训练样本集(X，CW，Y)进行降噪：利用到训练样本集(X，CW，Y)的(X，CW)信息对带高斯噪声的输入X的原始数据CW进行重构，通过训练使得重构误差L最小化，即：其中g(x)为激活函数：最后输出为当重构误差L低于10-5后停止训练，则重构出一批贴近原始不带噪声的LDPC码字作为降噪自编码器输出，训练完的降噪自编码的参数记为{wdae,Bdae}；稀疏自编码器神经元的权值ωdae与偏置Bdae，使得降噪自编码器的输出满足：其次，将训练后的降噪自编码器的输出作为稀疏自编码器的输入，并进行稀疏自编码器的训练；对于一个n层的稀疏自编码器，设定w(l,1),w(l,2),B(l,1),B(l,2)每一个都是第l个稀疏自编码器对应的权值和偏置，对应于稀疏编码器的训练分为两个过程：(1)输入信息完成特征提取、特征映射的过程：a(l)＝f(z(l-1))z(l)＝w(l,1)·a(l)+B(l,1)(2)特征重构的过程：A(l)＝f(z(l))＝f(w(l,2)·z(l)+B(l,2))其中a(l)是第l个稀疏自编码器的输入，A(l)是第l个稀疏自编码器的输出，经过训练后的a(l)＝A(l)，那么z(l)可以复现出输入a(l)，即z(l)可以看作是输入a(l)的一种不同的表达；在第l个稀疏自编码器训练结束后，把z(l)作为在第l+1个稀疏自编码器的输入进行训练，特征提取和特征映射单元保存的参数wae,Bae是所用的稀疏自编码器的参数{w(l,1)，B(l,1)}组合。在第三步中，所述利用神经网络进行有监督学习训练，在输出端回归出LDPC的信息位，完成LDPC译码是指：将训练后稀疏自编码器的最后一层特征映射层z(l)作为神经网络输入，并通过前馈计算得到神经网络中每一层神经元的值；将输出层的值与训练样本集中的标签Y通过回归误差函数求出训练误差；利用误差进行反向求导优化神经网络参数{wnn,Bnn}；当训练误差低于预先设定的阈值或者最大训练迭代次数时，神经网络停止训练，则网络训练完毕，此时确定整个神经网络的参数，并在神经网络的输出层回归出LDPC的信息位，完成LDPC译码。根据神经网络输出层的激活函数的特性进行阈值判决。若神经网络的输出层的激活函数是sigmoid函数，那么阈值取0.5，sigmoid函数的值域为{0,1}。若神经网络的输出层激活函数是tanh函数，那么阈值取为0，tanh函数的值域为{-本文档来自技高网...

【技术保护点】
1.一种基于半监督深度学习网络的LDPC译码系统，其特征在于：包括用于将LDPC码字构建成适合深度学习网络样本集的输入单元；无监督学习模型；所述无监督学习模型包括用于对样本集进行降噪的降噪单元，以及用于对降噪后的数据进行提取特征和特征映射的特征提取和特征映射单元；以及用于针对特征映射后的输入进行有监督训练，回归出一批LDPC码字的信息位以完成LDPC批量译码的有监督学习单元；所述输入单元、降噪单元、特征提取和特征映射单元以及有监督学习单元依次连接。

【技术特征摘要】
1.一种基于半监督深度学习网络的LDPC译码系统，其特征在于：包括用于将LDPC码字构建成适合深度学习网络样本集的输入单元；无监督学习模型；所述无监督学习模型包括用于对样本集进行降噪的降噪单元，以及用于对降噪后的数据进行提取特征和特征映射的特征提取和特征映射单元；以及用于针对特征映射后的输入进行有监督训练，回归出一批LDPC码字的信息位以完成LDPC批量译码的有监督学习单元；所述输入单元、降噪单元、特征提取和特征映射单元以及有监督学习单元依次连接。2.根据权利要求1所述的基于半监督深度学习网络的LDPC译码系统，其特征在于：所述降噪单元为降噪自编码器；所述降噪自编码器包括依次连接的输入层、隐藏层和输出层；所述降噪自编码器的输入层与输出层的维度相同。3.根据权利要求1所述的基于半监督深度学习网络的LDPC译码系统，其特征在于：所述特征提取和特征映射单元为稀疏自编码器；所述稀疏自编码器包括依次连接的输入层、隐藏层和输出层；隐藏层包括依次连接的特征映射层和重构层；所述输入层的维度与值和输出层的维度与值相等。4.根据权利要求3所述的基于半监督深度学习网络的LDPC译码系统，其特征在于：每一层特征映射层均比前一层特征映射层的维度大；每一层重构层均比前一层重构层的维度小。5.根据权利要求3所述的基于半监督深度学习网络的LDPC译码系统，其特征在于：所述稀疏自编码器中每一层特征映射层和重构层使用的激活函数均为：其中，x为该层神经元的输入。6.根据权利要求3所述的基于半监督深度学习网络的LDPC译码系统，其特征在于：所述有监督学习单元包括依次连接的输入层、隐藏层和输出层；所述有监督学习单元的输入层为稀疏自编码器的最后一层特征映射层；所述有监督学习单元的输出层回归输出LDPC的译码信息位。7.一种基于半监督深度学习网络的LDPC译码方法，其特征在于：包括以下步骤：第一步，将LDPC码字构建成适合深度学习网络的训练样本集；第二步，采用无监督学习模型中的降噪自编码器对训练样本集进行降噪，再采用稀疏自编码器对降噪后的数据进行提取特征和特征映射；第三步，利用神经网络进行有监督学习训练，在输出端回归出LDPC的信息位，完成LDPC译码。8.根据权利要求7所述的基于半监督深度学习网络的LDPC译码方法，其特征在于：在第一步中，所述将LDPC码字构建成适合深度学习网络的训练样本集是指：首先，将LDPC码字经过BPSK调制后再加上高斯白噪声，得到模拟高斯信道下接收机接收到的带高斯噪声的LDPC码字；其中，对于任一个LDPC(n，k)码字，均由相应的k位信息比特与该LDPC码生成矩阵G相乘得到，即：CW1×n＝msg1×k×Gk×n；其次，将作为深度学习网络输入X的带高斯噪声LDPC码字，...

【专利技术属性】
技术研发人员：姜小波，梁冠强，汪智开，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44