离散面向任务的联合信源信道编码框架制造技术

本发明专利技术涉及一种离散面向任务的联合信源信道编码框架，在编码表示中量化了信息性鲁棒性权衡，并旨在最大化编码冗余以提高鲁棒性，同时为下游推理任务保留足够的信息。它解决了提高鲁棒性和在没有额外通信开销的情况下为下游推理任务保留足够的相关信息之间的矛盾。由于互信息的计算难处理性，本发明专利技术利用变分近似技术导出了目标的可处理变分上界。变分分布由接收器处的基于学习的推理模型参数化，并通过端到端训练进行优化。基于联合信源信道编码框架，开发具有离散表示的面向任务的通信方案，引入概率矢量量化机制以将数据样本编码为信息离散表示，并且具有有限点星座的数字调制模块将离散表示发送到接收器进行推理任务。解决了数字传输下发射机和接收机之间的协作推理问题。理问题。理问题。

【技术实现步骤摘要】
离散面向任务的联合信源信道编码框架


[0001]本专利技术涉及一种通信技术，特别涉及一种离散面向任务的联合信源信道编码框架。

技术介绍

[0002]随着人工智能(AI)在各种领域的快速发展，如虚拟/增强现实(VR/AR)、自动驾驶汽车网络和智能医疗保健，第六代通信(6G)有望在AI的帮助下带来无线网络的新范例。为了支持无处不在的互联智能设备和AI服务，人们设想6G将超越香农范式，以满足包括超可靠性、低延迟和可扩展连接在内的严格要求。最近，只提取和传输下游任务所需信息的面向任务型通信越来越受到学术界和业界的关注。与传统的比特级通信系统忽略了所传输消息的语义含义不同，面向任务的通信旨在仅提取和传输与任务相关的信息，这反过来可以显著压缩源，提高通信效率并实现低端到端延迟。为了提取和传输任务相关信息，广泛研究了基于学习的联合信源信道编码(JSCC)技术。在基于学习的JSCC中，深度神经网络(DNN)用于学习和提取相关信息，并将提取的任务相关信息映射到连续信道输入。结果表明，JSCC优于单独的源信道编码策略，例如，在有限块长度编码情况下和面向任务的通信系统。
[0003]尽管基于学习的JSCC在多个领域取得了经验上的成功，但它在任务导向通信中的应用仍存在两个主要问题。第一个是稳健性问题，它来自于这样一个事实，即压缩的任务相关信息可能更容易受到信息失真的影响。在面向任务的通信中，冗余消除减少了通信开销，但如果没有添加冗余，则保留在接收表示中的信息更有可能被干扰因素扭曲，例如传输不可靠性、由于数据隐私问题引起的信息混淆等。第二个问题是通用数字通信系统中JSCC的兼容性问题。随着5G的全球部署，现代移动系统基于数字调制，而在JSCC中，连续特征表示的直接传输需要使用模拟调制或全分辨率星座图进行调制，这给资源受限的发射机带来了巨大的负担，并且对当前的射频(RF)系统提出了实现挑战。

技术实现思路

[0004]针对现有面对任务型通信系统的健壮性和对于数字通信的兼容性问题，提出了一种离散面向任务的联合信源信道编码框架，研究编码表示的信息性和通信系统的鲁棒性之间的内在权衡，并提出一种面向任务的JSCC方法，该方法联合提取面向任务的信息以减少通信开销，实现对信道变化的鲁棒性，并且与当前的数字通信系统兼容。
[0005]本专利技术的技术方案为：一种离散面向任务的联合信源信道编码框架，数据x送入发射机中可调参数φ参数化的概率编码器，概率编码器中特征提取器对输入数据进行特征提取，提取特征向量送入向量量化器中被可学习码本编码为离散表示向量z；离散向量z经数字调制器调制成信道输入符号，信道输入符号在带宽受限的无线信道上传输；在接收机上，有噪声的传输符号被解调器解调为损坏的离散表示向量向量反量化器中可学习码本将损坏的离散向量映射成特征向量，特征向量送入可调参数θ参数化的推断器中，输出相应目标y的推理结果
[0006]其中可学习码本是在发射机上的概率编码器和接收机上的推断器网络的一组共享参数，可学习码本是通过反向传播以端到端方式联合训练的参数φ和θ的一部分。
[0007]一种基于离散面向任务的联合信源信道编码框架的通信系统建立方法，具体包括如下步骤：
[0008]1)概率编码器中有d个基于DNN的特征提取器产生d个特征向量对具有不同层结构的DNN采用不同的特征分割策略，对于具有完全连接层的神经网络将最后一个密集层的输出向量平均地分割为一组特征向量，对于具有卷积层的神经网络，最后一个卷积层产生的特征在将每个通道分割为对应的特征向量；
[0009]2)基于Gumbel的离散表征学习：首先，定义一个可学习码本，由K个D维码字组成，可学习码本M是在发射机上的编码器和接收机上的推理器网络的一组共享参数，第j个特征向量f
φ，j
(x)被投影到可学习码本M从而得到相对应的logitsl
j
：
[0010][0011]对于离散表示向量z，每个离散维度z
i
∈[K]索引到可学习码本M中以获得对应的码字利用logits l
j
，概率编码器p
φ
(z
j
|x)通过具有以下概率质量函数的分类分布进行建模：
[0012][0013]以上的条件概率用来计算系统变分目标函数的条件熵项；
[0014]为了计算系统变分目标函数的蒙特卡洛近似，从分类分布p
φ
(z
j
|x)中进行抽样，由于直接从离散分布中直接抽样会让模型变得不可微，引入了基于Gumbel
‑
softmax分布再参数技巧，这个分类分布的抽样的可微的近似通过抽样向量得到：
[0015][0016]其中υ1，υ2，...，υ
K
是通过υ
k
＝
‑
log(
‑
log(u
k
))计算的Gumbel分布的独立同分布的样本，其中u
k
～Uniform(0，1)和τ≥0是softmax的温度参数，当τ接近0时，样本向量w
j
接近一个one
‑
hot向量，Gumbel
‑
softmax分布接近类别分布p
φ
(z
j
|x)；使用Gumbel
‑
Softmax技巧，通过使用向量w
j
上的argmax函数来估计分类分布p
φ
(z
j
|x)的采样：
[0017]z
j
＝argmax
k∈[K]w
j，k
.
[0018]5)在发射器上，计算每个维度z
j
的样本向量w
j
，然后，通过基于Gumbel
‑
softmax分
布的再参数化技巧对每个离散维度z
j
进行采样来生成离散表示向量z，并在退火温度τ下对可微样本向量进行反向传播；对于接收机处的反量化部分，用可学习码本M将损坏的离散向量映射成一组特征向量
[0019]6)数字调制：为了在信道模型下发送编码的离散表示z，使用数字调制将每个离散维度z
j
映射到星座符号中，具体而言，每个离散维度z
j
∈[K]采用数字调制和K点星座设计；形式上，每个离散维度z
j
通过调制函数h
m
映射到复值信道符号中：AWGN信道模型由不可训练的物理层模拟，并注入高斯噪声
[0020]在接收机侧，解调器使用解调函数将有噪声的复值符号解调为损坏的离散表示z
j
；每个带噪的离散维度z
j
通过以下公式形式化地获得：
[0021][0022]由以上的公式可知，条件分布由h
m
，g
m
和高斯噪声的方差σ2决定，可以由离散表征计算可得，而条件熵是的合，在端到端的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种离散面向任务的联合信源信道编码框架，其特征在于，数据x送入发射机中可调参数φ参数化的概率编码器，概率编码器中特征提取器对输入数据进行特征提取，提取特征向量送入向量量化器中被可学习码本编码为离散表示向量z；离散向量z经数字调制器调制成信道输入符号，信道输入符号在带宽受限的无线信道上传输；在接收机上，有噪声的传输符号被解调器解调为损坏的离散表示向量向量反量化器中可学习码本将损坏的离散向量映射成特征向量，特征向量送入可调参数θ参数化的推断器中，输出相应目标y的推理结果其中可学习码本是在发射机上的概率编码器和接收机上的推断器网络的一组共享参数，可学习码本是通过反向传播以端到端方式联合训练的参数φ和θ的一部分。2.基于离散面向任务的联合信源信道编码框架的通信系统建立方法，其特征在于，具体包括如下步骤：1)概率编码器中有d个基于DNN的特征提取器f
φ，j
：产生d个特征向量对具有不同层结构的DNN采用不同的特征分割策略，对于具有完全连接层的神经网络将最后一个密集层的输出向量平均地分割为一组特征向量，对于具有卷积层的神经网络，最后一个卷积层产生的特征在将每个通道分割为对应的特征向量；2)基于Gumbel的离散表征学习：首先，定义一个可学习码本，由K个D维码字组成，可学习码本M是在发射机上的编码器和接收机上的推理器网络的一组共享参数，第j个特征向量f
φ，j
(x)被投影到可学习码本M从而得到相对应的logits得到相对应的logits对于离散表示向量z，每个离散维度z
i
∈[K]索引到可学习码本M中以获得对应的码字利用logits概率编码器p
φ
(z
j
|x)通过具有以下概率质量函数的分类分布进行建模：以上的条件概率用来计算系统变分目标函数的条件熵项；为了计算系统变分目标函数的蒙特卡洛近似，从分类分布p
φ
(z
j
|x)中进行抽样，由于直接从离散分布中直接抽样会让模型变得不可微，引入了基于Gumbel
‑
softmax分布再参数技巧，这个分类分布的抽样的可微的近似通过抽样向量得到：
其中v1，u2，...，v
K
是通过v
k
＝
‑
log(
‑
log(u
k
))计算的Gumbel分布的独立同分布的样本，其中u
k
～Uniform(0，1)和r≥0是softmax的温度参数，当τ接近0时，样本向量w
j
接近一个one
‑
hot向量，Gumbel
‑
softmax分布接近类别分布p
φ
(z
j
|x)；使用Gumbel
‑
Softmax技巧，通过使用向量w
j
上的argmax函数来估计分类分布p
φ
(z
j
|x)的采样：z
j
＝argmax
k∈[K]
w
j，k
.3)在发射器上，计算每个维...

【专利技术属性】
技术研发人员：吴幼龙，谢松杰，
申请(专利权)人：上海科技大学，
类型：发明
国别省市：