【技术实现步骤摘要】
一种基于深度学习网络的图像及语义信息传输方法
[0001]本专利技术涉及信息传输，特别是涉及一种基于深度学习网络的图像及语义信息传输方法。
技术介绍
[0002]随着5G通信时代的到来，多媒体应用的爆发式增长使得通信频谱资源的利用面临巨大挑战，因此需要从传统的比特级通讯升级到语义级通讯。
[0003]传统的比特级通信方式，只是对数据进行简单的压缩和发送，无法高效的完成众多的语义任务，如人脸识别，物体识别等。语义通信技术是利用先进的深度学习技术，对原始数据的语义信息进行提取，压缩与编码，具有更高的频谱利用效率。然而，目前的语义通信技术，缺少对于图像及其语义信息联合传输的分析，使得图像的传输和语义任务的性能远远没有达到最优。
技术实现思路
[0004]本专利技术的目的在于克服现有技术的不足，提供一种基于深度学习网络的图像及语义信息传输方法，能够实现图像信息和图像的语义信息进行联合恢复。
[0005]本专利技术的目的是通过以下技术方案来实现的：一种基于深度学习网络的图像及语义信息传输方法，包括以下步...
【技术保护点】
【技术特征摘要】
1.一种基于深度学习网络的图像及语义信息传输方法，其特征在于：包括以下步骤：S1.给定发射端的数据处理模型：发射端基于神经网络，对图像进行特征向量提取后对特征向量进行量化，然后结合概率密度函数进行编码得到符号序列传输给接收端；S2.给定接收端的数据处理模型：接收端接收符号序列，进行解码并基于神经网络得到特征向量，根据特征向量恢复出图像信息，然后恢复出图像的语义信息；S3.神经网络参数训练：构建训练样本，对图像及语义信息传输过程中，发射端和接收端的数据处理模型中包含的神经网络参数进行训练，训练结束后将得到的神经网络参数更新到发射端和接收端的数据处理模型中；S4.图像及语义信息传输：利用更新后发射端的数据处理模型，对待传输的图像及语义信息进行处理，然后传输给接收端；然后利用更新接收端的数据处理模型，对接收到的信息进行处理，实现图像及语义信息的回复，从而完成图像及语义传输。2.根据权利要求1所述的一种基于深度学习网络的图像及语义信息传输方法，其特征在于：所述步骤S1包括以下子步骤：S101.发射端将图像数据先通过函数提取特征，输出为特征向量，代表所有维度为K的实数向量；其中，函数是由神经网络构成的函数，神经网络参数为；S102.得到特征向量后，通过均匀量化器将特征向量进行量化，输出为量化后的特征向量，均匀量化器主要原理为通过四舍五入的原理，将特征向量的每个元素量化为相邻整数；同时将特征向量，通过一个分布学习模块，输出为特征向量和条件分布概率值，其中，是指概率分布函数中，为取值为的向量时得到的值；为K维任意整数向量，满足；S103.得到特征向量、特征向量和条件分布概率值后，作如下处理：对于特征向量，给定概率密度函数满足：
其中是向量中的第个元素，是向量中的第个元素，是参数化神经网络的输出，参数为，总共有D个参数，构成参数集合；当取值为n，，它的概率值计算为利用概率计算值，采用算数编码技术将特征向量编码为比特序列；同样地，利用条件分布概率值，将向量利用算数编码技术编码为比特序列；S104. 将得到的比特流和，利用信道编码编码为符号序列，经过信道后，得到接受信号，其满足：其中，，，L为信号和的维度；为高斯白噪声，满足均值为0，方差为。3.根据权利要求2所述的一种基于深度学习网络的图像及语义信息传输方法，其特征在于：所述步骤S101中，神经网络构成的函数由一个归一化函数和三个级联的卷积神经网络构成，神经网络参数集合为。4.根据权利要求2所述的一种基于深度学习网络的图像及语义信息传输方法，其特征在于：所述步骤S102中，将特征向量，通过一个分布学习模块，输出特征向量和条件分布概率值的过程包括：在分布学习模块中,首先将输入特征向量通过一个参数为的神经网络，输出为特征向量；接着，将特...
【专利技术属性】
技术研发人员：黄川，崔曙光，黄坚豪，张晗，唐心怡，
申请(专利权)人：香港中文大学深圳，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。