语义通信方法、电子设备及存储介质技术

本申请提供一种语义通信方法、电子设备及存储介质，通过控制传输信号语义特征的提取范围，以实现对实时信号的处理，进而实现语义通信的实时传输。信的实时传输。信的实时传输。

【技术实现步骤摘要】
语义通信方法、电子设备及存储介质


[0001]本申请涉及通信
，尤其涉及一种语义通信方法、电子设备及存储介质。

技术介绍

[0002]语义通信区别于传统通信，以传输语法数据为目标，是一种新型通信方式。在具有实时性需求的语义通信场景中，如实时移动通话场景、实时音频与视频会议、在线车联网场景等，端到端的语义通信传输由于无法对实时信号进行处理与传输，进而无法应用于具有实时性需求的语义通信场景中。

技术实现思路

[0003]有鉴于此，本申请的目的在于提出一种语义通信方法、电子设备及存储介质。
[0004]基于上述目的，本申请提供了一种语义通信方法，包括：
[0005]获取传输信号；
[0006]提取所述传输信号一定范围内的语义特征，得到局部语义特征；
[0007]将所述局部语义特征进行编码，以得到编码信号，并将所述编码信号输入信道进行通信传输。
[0008]可选地，所述获取传输信号，具体包括：
[0009]将所述传输信号进行分块处理，以得到具有若干信号块的传输信号。
[0010]可选地，所述提取所述传输信号一定范围内的语义特征，得到局部语义特征，包括：
[0011]提取所述信号块内的语义特征，得到所述局部语义特征。
[0012]可选地，所述提取所述传输信号一定范围内的语义特征，得到局部语义特征，包括：
[0013]根据所述传输信号，得到中间值；
[0014]基于所述中间值，提取所述传输信号一定范围内的语义特征，得到所述局部语义特征。
[0015]可选地，所述提取所述传输信号一定范围内的语义特征，得到局部语义特征，包括：
[0016]获取缓存语义特征；
[0017]根据所述缓存语义特征和所述传输信号，得到中间值；
[0018]基于所述中间值，提取所述传输信号一定范围内的语义特征，得到所述局部语义特征。
[0019]可选地，所述基于所述中间值，提取所述传输信号一定范围内的语义特征，得到所述局部语义特征，包括：
[0020]基于预先构建的语义特征提取矩阵，根据所述中间值，得到语义特征的注意力分布；
等类似的词语并非限定于物理的或者机械的连接，而是可以包括电性的连接，不管是直接的还是间接的。“上”、“下”、“左”、“右”等仅用于表示相对位置关系，当被描述对象的绝对位置改变后，则该相对位置关系也可能相应地改变。
[0040]如
技术介绍
所述，端到端的语义通信传输由于无法对实时信号进行处理与传输，进而无法应用于具有实时性需求的语义通信场景中。在相关技术中，在对传输信号进行处理时，只能处理一段完整的信源数据(例如，一个句子或一段语音)，无法自由地控制对传输信号的处理范围，导致信号处理的灵活性差。
[0041]本申请提供的一种语义通信方法、电子设备及存储介质。通过灵活地控制信号语义信息的计算范围，在具有一定噪声与衰落的无线信道条件下实现实时信号的语义特征的提取、传输与恢复，在保证传输准确率的同时，降低通信开销，减少收发端通信处理延时。
[0042]图1示出了基于本申请实施例的语义通信方法的示例性通信系统的示意图。
[0043]如图1所示，为了实现实时语音信号的通信传输，在获取了信号s后，将信号s进行分块操作得到具有若干信号块的信号m。将信号m输入到基于Transformer(一种机器学习模型)的流式语义编码器中提取信号的语义特征b。其中，流式即为实时语音信号的意思，语义编码器通过设计的掩码注意力机制控制神经元的激活范围使网络具备流式语义信息提取的能力。将语义特征b输入到信道编码器进行信道编码得到信号x。将信号x输入无线信道进行传输得到信号带有信道噪声的信号y＝hx+n，其中，h为信道系数，n为信道噪声。将信号y输入信道译码器进行信道译码得到信号将信号输入基于Transformer的流式语义译码器进行语义特征的恢复，将不断恢复出来实时语音信号帧进行整合重建得到恢复的实时语音信号其中，基于Transformer的语义译码器结构与基于Transformer的语义编码器结构基本保持一致。
[0044]在对流式语义通信系统的训练过程中，以端到端的方式进行。本申请实施例以实时语音恢复为例进行说明。训练整个基于Transformer的流式语义通信系统需要设计一个高效的损失函数来优化整个收发端的网络参数，使网络最终达到收敛。本申请实施例的损失函数分为两个部分，分别为在时域上计算原始信号s与重建信号的时域采样值的最小均方误差(TMSE)，以及在频域上计算信号s与重建信号的短时傅里叶变换的平均绝对误差(FMAE)，表达式如下：
[0045][0046]其中，L
TMSE
为最小均方误差，N为语音信号s的时域采样点数，s
n
为语音信号s的第n个时域采样值，为重建信号的第n个时域采样值。
[0047][0048]其中，L
FMAE
为平均绝对误差，T为语音信号s的帧数，F为语音信号s的频域采样点数，S(t,f)语音信号s在t帧，第f个采样点处的离散傅里叶变换频域值，S为信号s的短时傅
里叶变换，为重建信号的短时傅里叶变换，r与i分别表示S或的实部与虚部。
[0049]通过上述公式可以得到总的损失函数为：
[0050][0051]其中，L
TFME
为总的损失函数，θ
T
表示发送端的参数，θ
R
表示接收端的参数，λ为控制这两项权重的加权因子。
[0052]整个网络收发端的参数通过随机梯度下降方法进行优化与更新，表达式为：
[0053][0054]其中，θ为模型参数，i为模型参数迭代处于第i步，η为模型训练的学习率，为微分函数运算操作符。
[0055]有了以上损失函数，本申请实施例将流式语义编译码器与信道编译码进行联合训练，利用随机梯度下降的方式使模型参数最终得到收敛。
[0056]图2示出了根据本申请实施例的示例性语义通信方法的流程图。该方法可以包括如下步骤。
[0057]在步骤201，获取传输信号。在进行语音信号的通信传输时，传输的内容通常为一段完整的信源数据。因此，要实现实时语音信号的传输，在获取了传输信号后，需要对该传输信号进行分块处理。
[0058]在一些实施例中，所述获取传输信号，具体可以包括：将所述传输信号进行分块处理，以得到具有若干信号块的传输信号。进行分块处理后的信号具有若干信号块。再将具有若干信号块的信号输入基于Transformer的流式语义编码器进行语义特征的提取。
[0059]在步骤203，提取所述传输信号一定范围内的语义特征，得到局部语义特征。通过基于Transformer的流式语义编码器进行信号的特征提取和编码。
[0060]本申请实施例的基于Transformer的流式语义编译码器主要由自适应掩码注意力网络、多头自注意力网络以及前馈神经网络三部分组成，并增加了用于缓本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种语义通信方法，其特征在于，包括：获取传输信号；提取所述传输信号一定范围内的语义特征，得到局部语义特征；将所述局部语义特征进行编码，以得到编码信号，并将所述编码信号输入信道进行通信传输。2.根据权利要求1所述的方法，其特征在于，所述获取传输信号，具体包括：将所述传输信号进行分块处理，以得到具有若干信号块的传输信号。3.根据权利要求2所述的方法，其特征在于，所述提取所述传输信号一定范围内的语义特征，得到局部语义特征，包括：提取所述信号块内的语义特征，得到所述局部语义特征。4.根据权利要求1所述的方法，其特征在于，所述提取所述传输信号一定范围内的语义特征，得到局部语义特征，包括：根据所述传输信号，得到中间值；基于所述中间值，提取所述传输信号一定范围内的语义特征，得到所述局部语义特征。5.根据权利要求1所述的方法，其特征在于，所述提取所述传输信号一定范围内的语义特征，得到局部语义特征，包括：获取缓存语义特征；根据所述缓存语义特征和所述传输信号，得到中间值；基于所述中间值，提取所述传输信号一定范围内的语义特征，得到所述局部语义特征。6.根据权利要求4或5所述的方法，其特征在于，所述基于所述中间值，提取所述传输信号...

【专利技术属性】
技术研发人员：王凤玉，魏昊，许文俊，张天魁，别志松，张平，
申请(专利权)人：北京邮电大学，
类型：发明
国别省市：