一种基于语义通信的低比特率图像压缩编码方法技术

本发明专利技术提出一种基于语义通信的低比特率图像压缩编码方法。本发明专利技术结合语义编码技术与LDPC信道编码技术，并考虑了硬件设备的弱计算能力，一方面实现了高于传统图像编码技术的压缩比率和清晰度，另一方面保证了数据在实际无线信道中的可靠传输，使性能受限的传感器网络得以满足大数据量业务可靠传输的需求。且得益于神经网络模型的泛化能力，本发明专利技术使图像解码过程摆脱编码格式的限制，在无法重传或是比特差错超出编码技术纠错范围等情况下仍能保证图片被正常恢复且满足一定清晰度。图片被正常恢复且满足一定清晰度。图片被正常恢复且满足一定清晰度。

【技术实现步骤摘要】
一种基于语义通信的低比特率图像压缩编码方法


[0001]本专利技术属于深度学习、无线通信
，特别是涉及一种基于语义通信的低比特率图像压缩编码方法。

技术介绍

[0002]近年的山火给自然界带来的沉痛的灾难，传统基于卫星和无人机的探测技术效率低且成本高昂，随着通信技术与物联网(InternetofThings,IoT)技术的发展，人们开始利用大规模无线传感器网络(WirelessSensorNetwork，WSN)进行实时监测，然而偏远地区中的传感器网络性能受限，难以承载大数据量业务的传输，尤其是图片等可以提供现场环境变化的有效信息。此外，经过数十年的发展，基于熵的图像压缩编码方法已经逐渐逼近香农极限，而借助深度学习的语义通信技术将基于图像语义进行压缩编码，实现对香农极限的超越，进而使边缘网络传输大量图片成为可能。
[0003]目前关于语义通信相关研究大多集中在文本等轻量数据集上，且均在仿真软件针对单一信道实现，对于图片语义相关共享知识库的建立与更新，端到端传输对物理无线信道时变、频选特征的自适应等相关研究较少，即尚未有图像语义编码并在实际无线环境中传输的成功案例。

技术实现思路

[0004]本专利技术目的是为了解决目前传统图像压缩编码技术压缩比率低，清晰度低，以及语义通信技术在实际无线环境中难以直接应用的问题，提出了一种基于语义通信的低比特率图像压缩编码方法。
[0005]本专利技术是通过以下技术方案实现的，本专利技术提出一种边缘设备基于语义通信的低比特率图像压缩编码方法，所述方法包括：
[0006]步骤一、进行网络训练前准备，设计编解码过程中所需的编码器、量化器、生成器、鉴别器，以及网络训练过程的优化函数及优化器，然后对各自的网络参数进行初始化；对所提供的数据集预处理，将其打乱、分批和归一化；
[0007]步骤二、将分批后的数据输入到步骤一中搭建的训练网络，依次经过编码器，量化器和生成器，然后将原图与生成器输出的重建图像一同输入到鉴别器中，计算相应损失函数值，并利用随机梯度下降法与反向传播更新网络参数；
[0008]步骤三、判断损失函数值是否收敛至预设值，是则提前终止训练并保存相应模型参数，供边缘设备离线工作，否则重复步骤二；
[0009]步骤四、边缘设备启动，自动加载步骤三中保存的预训练编码器和量化器，将捕获到的图片依次经过编码器，量化器和低密度奇偶校验码LDPC编码器，并选取合适的调制模式进行调制，发送数据至无线环境中；
[0010]步骤五、接收端加载步骤三中保存的预训练生成器，对接收到的信号依次进行解调制、LDPC解码、生成重建图像。
[0011]进一步地，在步骤一所述的编码器和生成器网络结构中：
[0012]input表示输入层；reflectionpadding()指反射填充层，括号中为填充尺寸；h
×
w
×
cconv,strides指卷积核尺寸为h
×
w，通道数为c，步长为k的卷积层，后接实例归一化层和ReLU激活层；编码器结构中最后一层卷积层中的通道数C指瓶颈层，用于控制压缩比率；Residual bloock指残差网络块，其中BatchNorm指批归一化层。
[0013]进一步地，所述优化函数为：
[0014][0015]其中D(
·
)和G(
·
)分别表示鉴别器网络与生成器网络所对应的函数，表示寻找能使损失函数取极小值时对应的编码器E和生成器G以及能使损失函数取极大值的鉴别器D过程中所使用的极小化极大算法；f(
·
)和g(
·
)表示衡量样本真实程度的辅助函数，d(
·
)表示原图与生成图片的失真函数，H(
·
)表示熵编码算法，即量化后数据表示所需要的比特开销，表示取期望值，λ和β表示失真函数项和熵编码项的权重，x和表示原图与生成图，z表示接收到的信号样本，y表示量化后数据。
[0016]进一步地，所述步骤二中量化器实现过程，包括以下步骤：
[0017]第一部分为前向推导过程：
[0018][0019]其中，z
i
表示第i个数据流中的第i个数据样本，c
j
表示量化集中的元素，满足L表示量化集的长度；
[0020]第二部分为反向传播过程：
[0021][0022]其中，exp(
·
)表示指数函数，σ表示softmax函数中的温度超参数。
[0023]进一步地，对应鉴别器的损失函数为：
[0024][0025]其中，k表示鉴别器的个数，每个鉴别器结构相同且相互独立，对于第k个鉴别器，其输入为对原图像进行因子为2
k
‑1的下采样操作的图像对，每一次下采样都能提供图像对的全局特征的高度抽象，来保证原图与生成图片之间从局部特征到全局特征的高保真度。
[0026]进一步地，对应生成器的损失函数为：
[0027][0028]进一步地，采用Adam优化算法对求得的损失函数值的梯度值反向传播，分别更新鉴别器网络和生成器网络中的可训练参数，其中Adam算法具体过程如下：
[0029]v
k
＝β1v
k
‑1+(1
‑
β1)g
k
[0030][0031][0032][0033][0034]θ
k
＝θ
k
‑1‑
Δg
k
[0035]其中，g
k
表示第k批数据的随机梯度，v
k
表示第k批数据的梯度所对应的动量变量，s
k
表示第k批数据的梯度平方的累加变量，和表示偏差修正后的动量变量与累加变量，常数β1和β2分别为梯度指数加权移动平均的超参数和梯度平方指数加权移动平均的超参数，η为优化器的学习率，常数ε表示防止分母为0所添加的一个极小值，取值为10
‑8。
[0036]进一步地，所述选取合适的调制模式进行调制，发送数据至无线环境中，具体公式为：
[0037]s
data
＝modulate(LDPC(y；r))
[0038]其中，s
data
表示发送的数据，modulate(
·
)表示调制过程，LDPC(
·
)表示LDPC码编码过程，r表示码率，y表示编码量化后的数据。
[0039]进一步地，所述步骤五具体过程公式为：
[0040][0041]其中，demodulate(
·
)表示解调过程，LDPC
‑1(
·
)表示LDPC解码过程，r
data
表示经过无线信道后的数据，表示生成器的输入；
[0042]其中发送数据与接收数据满足r
data
＝hs
data
+n本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种边缘设备基于语义通信的低比特率图像压缩编码方法，其特征在于：所述方法包括：步骤一、进行网络训练前准备，设计编解码过程中所需的编码器、量化器、生成器、鉴别器，以及网络训练过程的优化函数及优化器，然后对各自的网络参数进行初始化；对所提供的数据集预处理，将其打乱、分批和归一化；步骤二、将分批后的数据输入到步骤一中搭建的训练网络，依次经过编码器，量化器和生成器，然后将原图与生成器输出的重建图像一同输入到鉴别器中，计算相应损失函数值，并利用随机梯度下降法与反向传播更新网络参数；步骤三、判断损失函数值是否收敛至预设值，是则提前终止训练并保存相应模型参数，供边缘设备离线工作，否则重复步骤二；步骤四、边缘设备启动，自动加载步骤三中保存的预训练编码器和量化器，将捕获到的图片依次经过编码器，量化器和低密度奇偶校验码LDPC编码器，并选取合适的调制模式进行调制，发送数据至无线环境中；步骤五、接收端加载步骤三中保存的预训练生成器，对接收到的信号依次进行解调制、LDPC解码、生成重建图像。2.根据权利要求1所述的方法，其特征在于，在步骤一所述的编码器和生成器网络结构中：input表示输入层；reflection padding()指反射填充层，括号中为填充尺寸；h
×
w
×
c conv,stride s指卷积核尺寸为h
×
w，通道数为c，步长为k的卷积层，后接实例归一化层和ReLU激活层；编码器结构中最后一层卷积层中的通道数C指瓶颈层，用于控制压缩比率；Residual bloock指残差网络块，其中Batch Norm指批归一化层。3.根据权利要求1所述的方法，其特征在于，所述优化函数为：其中D(
·
)和G(
·
)分别表示鉴别器网络与生成器网络所对应的函数，表示寻找能使损失函数取极小值时对应的编码器E和生成器G以及能使损失函数取极大值的鉴别器D过程中所使用的极小化极大算法；f(
·
)和g(
·
)表示衡量样本真实程度的辅助函数，d(
·
)表示原图与生成图片的失真函数，H(
·
)表示熵编码算法，即量化后数据表示所需要的比特开销，表示取期望值，λ和β表示失真函数项和熵编码项的权重，x和表示原图与生成图，z表示接收到的信号样本，y表示量化后数据。4.根据权利要求1所述的方法，其特征在于，所述步骤二中量化器实现过程，包括以下步骤：第一部分为前向推导过程：其中，z
i
表示第i个数据流中的第i个数据样本，c
j
表示量化集中的元素，满...

【专利技术属性】
技术研发人员：何晨光，黄声显，陈舒怡，陈晧，马宇川，李晶，
申请(专利权)人：哈尔滨工业大学，
类型：发明
国别省市：