一种基于语义通信系统的去噪方法技术方案

本发明专利技术提出了一种基于语义通信系统的去噪方法，提出了一种根据传输信道的信噪比情况，在传输前对语义信息进行预去噪，在传输后对语义信息进行去噪的信噪比适应去噪网络。在假设接收双方已知信道情况的前提下，能够利用信道信息实现去噪操作，从而提高文本传输的准确率；提出了一种自适应的多头自注意力去噪模块，能够在语义信息经过无线信道后，通过多头自注意力模块，根据传输文本的语义信息，实现自我调整，根据语义信息，实现自去噪操作，从而提高文本传输的准确率。提高文本传输的准确率。提高文本传输的准确率。

【技术实现步骤摘要】
一种基于语义通信系统的去噪方法


[0001]本专利技术涉及语义通信
，特别涉及一种基于语义通信系统的去噪方法。

技术介绍

[0002]根据香农和韦弗所提出的信息伦，能够将通信分为三个层次。第一个层次为传输问题，它主要研究的通信的符号如何准确的传输，第二层次为语义问题，它研究的主要是如何准确传达通信符号中的语义，第三层次为效用问题，它主要解决收到的语义如何按照期望方式有效影响行为的问题。受时代限制，在香农建立信息论以来的七十多年里，广大学者对于如何逼近香农极限做出了大量的尝试，但是这些工作主要还是集中在通信的第一层次即如何准确传输通信符号。近年来，人工智能以及自然语言处理等相关技术的发展为探索语义通信的第二层次提供了可能，语义通信也将逐渐成为通信领域中的一大研究趋势。
[0003]现有的语义通信系统在关于如何去噪方面，主要依靠的还是利用神经网络自身的强大计算能力，去噪的效果虽然相较于传统方式有一定的提升，但是这并没有充分发挥神经网络的计算能力，在给现有语义通信系统的基础上，给它们添加一些简单的去噪模块，能让神经网络的性能优势充分发挥出来。
[0004]在通信的过程，无可避免的会遇上噪声问题，但是现有的语义通信系统针对噪声，并没有提出相应的去噪模块来改变信号的输入模式，使之更好的适应信道的传输，当下采取的方式普遍是利用神经网络的强大计算能力，来进行暴力破解，无法充分发挥神经网络的去噪能力。

技术实现思路

[0005]本专利技术的目的在于提供一种基于语义通信系统的去噪方法，以克服现有技术中的不足。
[0006]为实现上述目的，本专利技术提供如下技术方案：
[0007]本申请公开了一种基于语义通信系统的去噪方法，具体包括如下步骤：
[0008]S1、根据接收双方的共有知识，将双方传输过程中所有可能会用的单词进行编号，创建一个词典；
[0009]S2、利用输入语句嵌入模块对输入语句进行词嵌入，并添加位置向量；利用目标语句词嵌入模块对目标语句进行词嵌入，并添加位置向量；得到输入语句对应的带有位置向量的词向量和目标语句对应的带有位置向量的词向量；
[0010]S3、语义编码：输入语句对应的带有位置向量的词向量经过语义编码层，通过Transformrer的Encoder层完成语义编码，得到语义编码向量；
[0011]S4、噪声预处理：根据语义编码向量的传输信道的信息，将完成语义编码之后的语义编码向量及传输信道的信息，一并输入信噪比适应去噪模块，所述信噪比适应去噪模块根据语义编码向量的语义信息以及所要传输信道的信噪比情况，调整语义编码向量的表征形式；
[0012]S5、将完成语义编码以及噪声预处理的语义编码向量，通过信道；
[0013]S6、噪声处理：解码端接收到通过无线信道的语义编码向量，送入信噪比适应去噪模块，所述信噪比适应去噪模块会根据所接收到语义编码向量的语义信息，并结合所通过信道的信噪比情况，消除语义编码向量中经过无线信道所附加的噪声；
[0014]S7、自适应去噪：将经过步骤S6噪声处理后的语义编码向量输入到自适应去噪模块，所述自适应去噪模块由多头自注意力机制所构成，利用多头自注意力机制，对语义编码向量根据语义信息，进行自我观察，自我调整，实现去噪；
[0015]S8、语义解码：将完成S7自适应去噪的语义编码向量，通用Transformer的解码层，进行语义解码，将完成解码的语句文本通过概率逻辑回归处理后输出。
[0016]作为优选，所述步骤S1中的具体步骤如下：
[0017]S11、读入整个用于传输的文本文件；
[0018]S12、对整个文本进行分词处理，统计文本中每个单词的使用次数，给每个单词进行编号，移除那些使用次数过低的单词；
[0019]S13、在整个字典中添加开始或终止的字符；
[0020]S14、输出词典。
[0021]作为优选，所述步骤S2中的具体步骤如下：
[0022]S21、创建一个嵌入层，将需要传输的语句送入嵌入层，将其转化成为相映维度的词向量；
[0023]S22、计算并添加位置向量；
[0024]S23、将词向量与位置向量相加，得到拥有位置信息的词向量。
[0025]作为优选，所述步骤S3中的具体步骤如下：
[0026]S31、定义三个矩阵，根据三个矩阵，对输入语句对应的带有位置向量的词向量进行三次线性变化，得到查询向量、键向量和值向量；
[0027]S32、对查询向量、键向量和值向量进行自注意力Self
‑
Attention的计算，得到注意力向量；
[0028]S33、进行残差连接，将注意力向量与输入语句对应的带有位置向量的词向量相加，并将得到的结果进行层归一化操作得到残差向量；
[0029]S34、将得到的残差向量进行前馈传输操作，通过两层线性映射并用激活函数ReLU进行激活得到向量语义编码向量。
[0030]作为优选，所述信噪比适应去噪模块的操作过程具体包括如下子步骤：
[0031]S41、建立一个输出维度为1的全连接层，将文本作为输入，整合文本中的语义信息，得到L*1的向量，其中L表示文本的长度；
[0032]S42、将无线信道的信噪比作为输入，与步骤S41中得到的L*1的向量进行一个拼接，得到维度为(L+1)*1的向量；
[0033]S43、将步骤S42中得到的(L+1)*1维度的向量，分别通过两个输出维度为L的全连接层，分别得到两个维度为L*1的系数；
[0034]S44、将S43中得到的两个维度为L*1的系数与输入文本向量进行向量乘与向量加的操作，作为信噪比适应去噪模块的输出。
[0035]作为优选，所述自适应去噪模块的操作过程具体包括如下子步骤：
[0036]S51、构建一个由多头注意力层构成的残差网络；
[0037]S52、将输入的文本分为两路传输，其中一路不做任何变化，另一路通过一个多头自注意层之后，进行一个前馈传输；
[0038]S53、将步骤S52中，得到的两路向量相加，作为自适应去噪模块的输出。
[0039]作为优选，所述步骤S8的具体操作如下：
[0040]S81、将步骤S2的得到的目标语句对应的带有位置向量的词向量输入多头自注意层进行解码；
[0041]S82、将通过无线信道接收的编码信息和上一步中多头自注意层的输出信息输入多头注意层进行解码；
[0042]S83、在目标语句通过多头自注意层与多头注意层之后通过前馈传输层，得到语义解码向量；
[0043]S84、通过Softmax函数进行概率逻辑回归，输出语句。
[0044]本专利技术的有益效果：
[0045]1、提出了一种根据传输信道的信噪比情况，在传输前对语义信息进行预去噪，在传输后对语义信息进行去噪的信噪比适应去噪网络。在假设接收双方已知信道情况的前提下，能够利用信道信息实现去噪操作，从而提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于语义通信系统的去噪方法，其特征在于，具体包括如下步骤：S1、根据接收双方的共有知识，将双方传输过程中所有可能会用的单词进行编号，创建一个词典；S2、利用输入语句嵌入模块对输入语句进行词嵌入，并添加位置向量；利用目标语句词嵌入模块对目标语句进行词嵌入，并添加位置向量；得到输入语句对应的带有位置向量的词向量和目标语句对应的带有位置向量的词向量；S3、语义编码：输入语句对应的带有位置向量的词向量经过语义编码层，通过Transformrer的Encoder层完成语义编码，得到语义编码向量；S4、噪声预处理：根据语义编码向量的传输信道的信息，将完成语义编码之后的语义编码向量及传输信道的信息，一并输入信噪比适应去噪模块，所述信噪比适应去噪模块根据语义编码向量的语义信息以及所要传输信道的信噪比情况，调整语义编码向量的表征形式；S5、将完成语义编码以及噪声预处理的语义编码向量，通过信道；S6、噪声处理：解码端接收到通过无线信道的语义编码向量，送入信噪比适应去噪模块，所述信噪比适应去噪模块会根据所接收到语义编码向量的语义信息，并结合所通过信道的信噪比情况，消除语义编码向量中经过无线信道所附加的噪声；S7、自适应去噪：将经过步骤S6噪声处理后的语义编码向量输入到自适应去噪模块，所述自适应去噪模块由多头自注意力机制所构成，利用多头自注意力机制，对语义编码向量根据语义信息，进行自我观察，自我调整，实现去噪；S8、语义解码：将完成S7自适应去噪的语义编码向量，通用Transformer的解码层，进行语义解码，将完成解码的语句文本通过概率逻辑回归处理后输出。2.如权利要求1所述的一种基于语义通信系统的去噪方法，其特征在于，所述步骤S1中的具体步骤如下：S11、读入整个用于传输的文本文件；S12、对整个文本进行分词处理，统计文本中每个单词的使用次数，给每个单词进行编号，移除那些使用次数过低的单词；S13、在整个字典中添加开始或终止的字符；S14、输出词典。3.如权利要求1所述的一种基于语义通信系统的去噪方法，其特征在于，所述步骤S2中的具体步骤如下：S21、创建一个嵌入层，将需要传输的语句送入嵌入层，将其转化成为相映维度的词向量；S22、计算并添加位置向量；S23、将词向量与位置向量相加，得到拥有位置信息的词向量。...

【专利技术属性】
技术研发人员：周清炀，李荣鹏，赵志峰，张宏纲，
申请(专利权)人：浙江大学，
类型：发明
国别省市：