一种利用神经网络求解语义信息最小压缩速率的方法技术

本发明专利技术公开了一种利用神经网络求解语义信息最小压缩速率的方法,包括以下步骤：S1.构建语义压缩模型，并定义语义信息率失真函数；S2.将语义信息率失真函数作为求解一个极小极大化问题；S3.基于神经网络模型来获取针对语义信息最小压缩速率的神经网络估计器；S4.通过对神经网络进行迭代训练，得到语义信息最小压缩速率的估计结果。本发明专利技术利用神经网络能够有效求解分布的语义信源的最小压缩速率。有效求解分布的语义信源的最小压缩速率。有效求解分布的语义信源的最小压缩速率。

【技术实现步骤摘要】
一种利用神经网络求解语义信息最小压缩速率的方法


[0001]本专利技术涉及信息压缩领域，特别是涉及一种利用神经网络求解语义信息最小压缩速率的方法。

技术介绍

[0002]传统通信技术遭遇发展瓶颈，难以满足未来无线通信高可靠、高频谱效率传输的需求。基于语义信息论的语义通信技术相较于传统通信技术在特定场景下能够显著提高传输可靠性和频谱效率。然而对语义信息论的研究还处于初步阶段，其中，语义信息论中的语义率失真函数决定了语义压缩的最小压缩速率，是分析信源编码性能的关键指标。
[0003]现有技术或相关文件中对语义信息的最小压缩速率的求解方法只能针对高斯信源使用反向注水法求解。缺乏针对一般分布的语义信源的最小压缩速率的求解算法。

技术实现思路

[0004]本专利技术的目的在于克服现有技术的不足，提供一种利用神经网络求解语义信息最小压缩速率的方法，能够有效求解分布的语义信源的最小压缩速率。
[0005]本专利技术的目的是通过以下技术方案来实现的：一种利用神经网络求解语义信息最小压缩速率的方法，包括以下步骤：S1.构建语义压缩模型，并定义语义信息率失真函数；S2.将语义信息率失真函数作为求解一个极小极大化问题；S3.基于神经网络模型来获取针对语义信息最小压缩速率的神经网络估计器；S4.通过对神经网络进行迭代训练，得到语义信息最小压缩速率的估计结果。
[0006]本专利技术的有益效果是：本专利技术利用神经网络求解语义信息最小压缩速率的方法，能够有效求解分布的语义信源的最小压缩速率，并通过对神经网络的不断迭代，能够有效提高求解结果的精度。
附图说明
[0007]图1为本专利技术的方法流程图；图2为语义信息压缩模型的原理图；图3为最小压缩速率随语义失真的变化关系图；图4为最小压缩速率随观测失真的变化关系图；图5为MNIST数据集下最小压缩速率变化示意图。
具体实施方式
[0008]下面结合附图进一步详细描述本专利技术的技术方案，但本专利技术的保护范围不局限于以下所述。
[0009]如图1所示，一种利用神经网络求解语义信息最小压缩速率的方法，包括以下步
骤：S1.构建语义压缩模型，并定义语义信息率失真函数；如2所示，我们考虑一个语义信源的有损压缩编解码框架。语义信源满足联合分布由两部分组成：表示原始的观测消息，表示从观测消息中提取的语义信息；语义信源中的观测消息通过编码器进行压缩编码，从而生成编码速率为的数据流；在解码过程，速率为的数据流经过一个解码器进行解码，从而恢复观测消息和语义信息。因为X与S是相关的，且满足联合分布，所有根据X的编码信息总可以解码出S的部分信息，即解码得到的恢复的语义信息；这里，满足联合分布的随机变量对表示从解码器中恢复的观测消息和对应的语义信息。表示原始观测消息的样本与恢复的观测消息的样本之间的失真度量函数，失真度量函数的选择由语义压缩任务决定，常见的失真度量函数有平方误差失真函数，即。类似地，表示语义信息的样本与恢复的语义信息的样本之间的失真度量函数，失真度量函数的选择也由语义压缩任务决定，常见的失真度量函数有平方误差失真函数，即。根据上述语义信源的有损压缩编解码模型，语义信息在满足观测失真最大为和语义失真最大为时的最小压缩速率, 即，语义信息率失真函数，可以定义为（1）其中，是在原始的观测消息下恢复的信息的条件概率，且是（1）中的优化变量。是失真函数关于条件分布的数学期望，并且可以通过联合分布求得：是在观测消息下语义信息的条件概率，计算方式为：对于任意的观测消息样本和语义信息的样本，和分别表示观测消息的样本和语义信息的样本的所有可能取值的集合，条件概率计算为
；根据，也能够确定：，也能够确定：是关于随机变量和的联合分布的数学期望，是失真函数关于随机变量和的联合分布的数学期望, 并且、的联合分布和、的联合分布通过语义信源的联合分布以及优化变量得到：对于任意的观测消息样本和恢复的语义信息的样本，，和分别表示恢复的观测消息的样本和恢复的语义信息的样本的所有取值的集合；计算为：，为互信息。
[0010]S2.将语义信息率失真函数作为求解一个极小极大化问题；由于原始的观测消息与语义信息的高维度特性，它们的联合分布很复杂，甚至难以直接构建，例如，在图像类型的语义传输任务中，图片的维度有数百到上千，利用数据集中有限的样本很难直接得到的解析式。在这种情况下，我们利用联合分布的样本集训练一个神经网络，从而可以估计出语义信息的最小压缩速率，即，语义率失真函数。具体做法如下：首先，根据式（1）的对偶问题，可以看作是求解一个极小极大化问题 （2）
其中，和表示两个待优化的中间变量，表示关于联合分布求数学期望，表示关于原始的观测消息的分布的数学期望。表示针对（2）的目标函数求关于变量和的极大化问题，表示针对（2）的目标函数进一步求极小化问题。且可以证明，目标函数是一个关于和的严格凹函数。
[0011]S3.基于神经网络模型来获取针对语义信息最小压缩速率的神经网络估计器；由于难以直接得到，这里采用神经网络中的生成模型来生成，并通过优化生成模型的参数实现对的估计：首先，假设是一个低维空间中的简单分布，定义是一个映射类中的映射。将映射带入到式（2），可以得到式（2），可以得到（3）其中，和分别表示低维空间中的变量通过生成模型生成的观测消息和对应的语义信息，表示关于分布求数学期望。对于语义源，考虑我们可以得到来自的独立同分布(i.i.d.)的观测样本，并且针对每个观测样本，我们都可以得到一组服从条件分布的i.i.d.的语义信息样本，即该组样本独立同分布于条件分布；然后，利用神经网络的泛化能力，定义生成型的神经网络为，表示神经网络的待优化参数，且表示所有可能取值的集合。该网络的输入由潜在变量的分布生成的i.i.d的样本，其中，潜在变量为自定义的随机变量，一
般服从高斯分布。利用上述i.i.d.样本和生成网络来估计式（3）中的，即可得到如下针对语义信息最小压缩速率的神经网络估计器，即可得到如下针对语义信息最小压缩速率的神经网络估计器（4）容易证明，当样本数量足够多时，满足
ꢀꢀ
（5）因此通过训练一个合适的神经网络，是一个无偏一致估计器。因此，可以很好地实现对语义信息最小压缩速率的估计。
[0012]S4.通过对神经网络进行迭代训练，得到语义信息最小压缩速率的估计结果；通过不断地迭代训练来收敛达到最优的估计效果，具体步骤如下：初始化： 失真度量函数和，最大的观测消息失真和语义信息失真和，联合分布对应的样本集（若只知道，可以通过随机抽样的方式生成样本集），迭代训练的周期数；初始化是一个低维空间中的高斯分布，初始化一个生成神经网络，初始化并设置学习速率。
[0013]第次迭代：在第次迭代中，随机抽取个观测样本；同时针对每个观测样本随机抽取个服从条件分布的语义信息样本；另外随机抽取个潜在变量的样本。接下来，利用这些抽样的样本和式（4），得到如下考虑批量样本下的基于神经网络的估计器
ꢀ
（6）第一步，由于式（6）中的目标函数是和的凹函数，可以利本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种利用神经网络求解语义信息最小压缩速率的方法，其特征在于：包括以下步骤：S1.构建语义压缩模型，并定义语义信息率失真函数；S2.将语义信息率失真函数作为求解一个极小极大化问题；S3.基于神经网络模型来获取针对语义信息最小压缩速率的神经网络估计器；S4.通过对神经网络进行迭代训练，得到语义信息最小压缩速率的估计结果。2.根据权利要求1所述的一种利用神经网络求解语义信息最小压缩速率的方法，其特征在于：所述步骤S1包括：设语义信源中包括原始观测消息和从观测消息中提取的语义信息，且语义信源满足联合分布；所述语义压缩模型为有损压缩编解码模型，包括编码器和解码器；语义信源中的观测消息通过编码器进行压缩编码，从而生成编码速率为的数据流；在解码过程，速率为的数据流经过一个解码器进行解码，得到恢复的观测消息和语义信息，并形成恢复后的语义信源；设表示原始观测消息的样本与恢复的观测消息的样本之间的失真度量函数；表示语义信息的样本与恢复的语义信息的样本之间的失真度量函数；将语义信源在满足观测失真最大为和语义失真最大为时的最小压缩速率定义为语义信息率失真函数，记为：（1）其中，是在原始的观测消息下恢复的信息的条件概率，且是（1）中的优化变量，是失真函数关于条件分布的数学期望，通过联合分布求得，是在观测消息下语义信息的条件概率，计算方式为：对于任意的观测消息样本和语义信息的样本，和分别表示观测消息的样本和语义信息的样本的所有可能取值的集合，条件概率计算为；
是关于随机变量和的联合分布的数学期望，是失真函数关于随机变量和的联合分布的数学期望, 并且、的联合分布和、的联合分布通过语义信源的联合分布以及优化变量得到：对于任意的观测消息样本和恢复的语义信息的样本，，和分别表示恢复的观测消息的样本和恢复的语义信息的样本的所有取值的集合；计算为：，为互信息。3.根据权利要求2所述的一种利用神经网络求解语义信息最小压缩速率的方法，其特征在于：所述步骤S2包括：将看作是求解一个极小极大化问题：（2）其中，和表示两个待优化的中间变量，表示关于联合分布求数学期望，表示关于原始的观测消息的分布的数学期望，表示针对（2）的目标函数求关于变量和的极大化问题，表示针对（2）的目标函数进一步求极小化问题，目标函数...

【专利技术属性】
技术研发人员：黄川，崔曙光，李东旭，黄坚豪，
申请(专利权)人：香港中文大学深圳，
类型：发明
国别省市：