一种基于Transformer和CNN的语义通信系统及建立方法技术方案

本发明专利技术公开了一种基于Transformer和CNN的语义通信系统及建立方法，语义通信系统包括语义编码器模块、信道编码器模块、信道模块、信道解码器模块和语义解码器模块；语义编码器模块包括编码Transformer层，用于提取输入数据的全局语义特征值；信道编码器模块包括编码卷积层和编码BN层，用于提取所述全局语义特征值的局部语义特征值；信道模块用于接收信道编码器模块传输的数据并传输给信道解码器模块；信道解码器模块包括解码卷积层和解码BN层，用于恢复信道模块传输数据的语义特征值；语义解码器模块包括解码Transformer层，用于将信道解码器模块传输的语义特征值解码还原并映射回原始句子输出，实现语义理解率最大化，更可靠和稳定的进行数据传输，达到高效意图传输的目的。的。的。

【技术实现步骤摘要】
一种基于Transformer和CNN的语义通信系统及建立方法


[0001]本专利技术涉及语义通信
，尤其涉及一种基于Transformer和CNN的语义通信系统及建立方法。

技术介绍

[0002]通信是确保空、天、地、海安全和有效的关键因素之一，因此高效、准确的通信系统成为保障安全和管理的必要条件。
[0003]传统的通信系统依赖于准确接收每个符号或比特，而不考虑其含义，缺乏理解和分析自然语言的能力。具体来说传统通信系统信息处理能力有限，主要关注信号传输和数据可靠性，对于语义理解和上下文推理等高层次的信息处理能力较弱。这导致了在实际应用中需要人工介入或者复杂的操作才能满足用户需求；传统通信系统的交互方式相对固定，缺乏智能化交互能力，对于文本的处理通常只是简单的编码和解码，缺少对用户意图和上下文的深入理解，无法提供个性化、智能化的交互服务；传统通信系统在处理噪声、干扰等不确定环境下的表现相对较差，难以适应不确定环境，缺乏对语义信息的准确理解和鲁棒性，容易受到环境影响而产生误解或错误。这些问题在传输重要信息时会带来不必要的风险和损失，为了解决传统通信系统存在的问题，基于深度学习技术的端到端通信系统应运而生，目前语义通信系统仍处于发展阶段，如何通过语义通信系统进一步提升句子的语义理解率，使语义通信系统在复杂环境下工作，呈现出鲁棒性和抗干扰能力，提供更准确、可靠的交互结果，是亟需解决的问题。

技术实现思路

[0004]本专利技术提供一种基于Transformer和CNN的语义通信系统及建立方法，以克服由于现有的语义通信系统语义理解率低，准确度不足，影响通信效果的技术问题。
[0005]为了实现上述目的，本专利技术的技术方案是：
[0006]所述语义通信系统包括发射机模块、信道模块和接收机模块，发射机模块包括语义编码器模块和信道编码器模块，接收机模块包括信道解码器模块和语义解码器模块；
[0007]语义编码器模块包括若干编码Transformer层，用于提取输入数据的全局语义特征值，并传输给信道编码器模块；
[0008]信道编码器模块包括若干编码卷积层和若干编码BN层，用于提取语义编码器模块传输的全局语义特征值的局部语义特征值，并传输给信道模块；
[0009]信道模块用于接收信道编码器模块传输的数据并传输给信道解码器模块；
[0010]信道解码器模块包括若干解码卷积层和若干解码BN层，用于恢复信道模块传输的数据的语义特征值，并传输给语义解码器模块；
[0011]语义解码器模块包括若干解码Transformer层，用于将信道解码器模块传输的语义特征值解码还原并映射回原始句子输出。
[0012]进一步地，语义编码器模块采用Transformer的Transformer Encoder Layer来处
理输入数据，输入数据经过Transformer Encoder Layer的自注意力层和前馈网络层进行处理，具体过程为：
[0013]自注意力层基于多头注意力机制对输入数据进行处理以获取句子序列中的语义信息，再通过前馈网络层对语义信息进行非线性变化，进一步提取句子的全局语义特征值并输出数据，采用残差连接将输出数据与输入自注意力层的数据相加，并通过层归一化处理以形成最终输出数据，基于多头注意力机制对输入数据进行处理的计算公式为：
[0014]MultiHead(Q，K，V)＝Concat(head1，...，head
h
)W
O
[0015]式中，Q，K，V分别为输入的查询、键和值，h为头的数量，Concat(
·
)表示拼接操作，W
O
为输出的权重矩阵；
[0016]残差连接和层归一化处理以形成最终输出数据对应的计算公式为：
[0017][0018]式中，为输入编码Transformer层的数据，为编码Transformer层输出的数据，Dropout(
·
)表示随机失活操作，LayerNorm(
·
)表示层归一化操作。
[0019]进一步地，编码卷积层通过卷积操作将输入数据与卷积核权重矩阵相乘并添加偏置项向量，输出的数据通过编码BN层再进行处理以形成最终输出数据；
[0020]基于编码卷积层对输入数据进行处理的计算公式为：
[0021][0022]式中，为输入第i层编码卷积层的数据，为第i层编码卷积层输出的数据，*表示卷积操作，W为卷积核权重矩阵，b为偏置项向量；
[0023]基于编码BN层先对进行归一化处理，得到均值μ
c
和方差计算公式为：
[0024][0025]式中，N
batch
每次输入的数据数量；
[0026]结合得到的均值μ
c
和方差经过缩放和偏移得到最终输出信号计算公式为：
[0027][0028]式中，γ
i
为缩放参数，β
i
为偏移参数，∈为一个正数。
[0029]一种基于Transformer和CNN的语义通信系统的建立方法，包括如下步骤：
[0030]S1：获取包括语义通信文本信息的数据集，并进行预处理，将得到的预处理后的数据集划分为训练集与测试集；
[0031]S2：构建如权利要求1的基于Transformer和CNN的语义通信系统；
[0032]S3：初始化语义通信系统，并基于训练集进行训练，利用梯度下降更新参数集，最小化损失函数，直到损失函数收敛，停止训练并保存相应的参数集；
[0033]S4：基于测试集对训练后的语义通信系统进行测试，根据测试结果确定最优参数
集；
[0034]S5：基于得到的最优参数集对语义通信系统进行设置，基于设置后的语义通信系统进行通信。
[0035]进一步地，S2中，
[0036]语义编码器模块采用Transformer的Transformer Encoder Layer来处理输入数据，输入数据经过Transformer Encoder Layer的自注意力层和前馈网络层进行处理，具体过程为：
[0037]自注意力层基于多头注意力机制对输入数据进行处理以获取句子序列中的语义信息，再通过前馈网络层对语义信息进行非线性变化，进一步提取句子的全局语义特征值并输出数据，采用残差连接将输出数据与输入自注意力层的数据相加，并通过层归一化处理以形成最终输出数据，基于多头注意力机制对输入的数据进行处理的计算公式为：
[0038]MultiHead(Q，K，V)＝Concat(head1，...，head
h
)W
O
[0039]式中，Q，K，V分别为输入的查询、键和值，h为头的数量，Concat(
·
)表示拼接操作，W
O
为输出的权重矩阵；
[0040]残差连接和层归一化处理以形成最终输出数据对应的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于Transformer和CNN的语义通信系统，其特征在于，所述语义通信系统包括发射机模块、信道模块和接收机模块，发射机模块包括语义编码器模块和信道编码器模块，接收机模块包括信道解码器模块和语义解码器模块；语义编码器模块包括若干编码Transformer层，用于提取输入数据的全局语义特征值，并传输给信道编码器模块；信道编码器模块包括若干编码卷积层和若干编码BN层，用于提取语义编码器模块传输的全局语义特征值的局部语义特征值，并传输给信道模块；信道模块用于接收信道编码器模块传输的数据并传输给信道解码器模块；信道解码器模块包括若干解码卷积层和若干解码BN层，用于恢复信道模块传输的数据的语义特征值，并传输给语义解码器模块；语义解码器模块包括若干解码Transformer层，用于将信道解码器模块传输的语义特征值解码还原并映射回原始句子输出。2.根据权利要求1的基于Transformer和CNN的语义通信系统，其特征在于，语义编码器模块采用Transformer的Transformer Encoder Layer来处理输入数据，输入数据经过Transformer Encoder Layer的自注意力层和前馈网络层进行处理，具体过程为：自注意力层基于多头注意力机制对输入数据进行处理以获取句子序列中的语义信息，再通过前馈网络层对语义信息进行非线性变化，进一步提取句子的全局语义特征值并输出数据，采用残差连接将输出数据与输入自注意力层的数据相加，并通过层归一化处理以形成最终输出数据，基于多头注意力机制对输入数据进行处理的计算公式为：MultiHead(Q，K，V)＝Concat(head1，...，head
h
)W
O
式中，Q，K，V分别为输入的查询、键和值，h为头的数量，Concat(
·
)表示拼接操作，W
O
为输出的权重矩阵；残差连接和层归一化处理以形成最终输出数据对应的计算公式为：式中，为输入编码Transformer层的数据，为编码Transformer层输出的数据，Dropout(
·
)表示随机失活操作，LayerNorm(
·
)表示层归一化操作。3.根据权利要求1的基于Transformer和CNN的语义通信系统，其特征在于，编码卷积层通过卷积操作将输入数据与卷积核权重矩阵相乘并添加偏置项向量，输出的数据通过编码BN层再进行处理以形成最终输出数据；基于编码卷积层对输入数据进行处理的计算公式为：式中，为输入第i层编码卷积层的数据，为第i层编码卷积层输出的数据，*表示卷积操作，W为卷积核权重矩阵，b为偏置项向量；基于编码BN层先对进行归一化处理，得到均值μ
c
和方差计算公式为：式中，N
batch
每次输入的数据数量；
结合得到的均值μ
c
和方差和方差经过缩放和偏移得到最终输出信号计算公式为：式中，γ
i
为缩放参数，β
i
为偏移参数，∈为一个正数。4.一种基于Transformer和CNN的语义通信系统的建立方法，其特征在于，包括如下步骤：S1：获取包括语义通信文本信息的数据集，并进行预处理，将得到的预处理后的数据集划分为训练集与测试集；S2：构建如权利要求1的基于Transformer和CNN的语义通信系统；S3：初始化语义通信系统，并基于训练集进行训练，利用梯度下降更新参数...

【专利技术属性】
技术研发人员：林彬，韩晓玲，吴楠，邵帅，
申请(专利权)人：大连海事大学，
类型：发明
国别省市：