【技术实现步骤摘要】
本专利技术属于语义通信，具体涉及一种基于图像内容自适应编码的语义通信方法。
技术介绍
1、语义是一种高度抽象的知识载体，通常由机器理解的图像特征或人类理解的图像内容说表示，用于文本、图像或视频等信号的结构、内部特征或机制。语义广泛分布在各类具有内涵意义表征的文本、图像或者视频等模态的信号中；对这类特殊含义的表征特征的分析与理解是进行知识抽取、高效率通信的重要基础，也是机器智能和先进人工智能的重要组成部分。语义特征的编解码是语义通信的基础。但已有的编解码方法主要使用定长特征来表示，或者通过信源信号的统计特性和信道条件进行自适应编解码，无法针对每一个具体通信实例及其图像特征进行自适应编码。主要原因在于具体通信实例迥异的语义特征较难获取：一是图像特征的语义信息复杂，信源通信样本中的各类语义信息差异较大且其难以进行统一的表征和处理；二是图像语义特征表征无法有效的指导每一个通信样本进行基于语义复杂度的自适应编码，即无法有效利用图像的语义复杂性来来指导图像语义的生成和传输。目前已有的自适应编码方法，没有针对每一个通信传输实例进行自适应编码，因此导致语义通信编码无法对每一个传输实例进行优化处理，影响了语义通信中信源编码和传输效率的进一步提升。
2、因此，当前的采用固定长度进行编码的语义通信方法，会造成对通信资源的浪费。而另一种通过一个数据集中的多个图像的统计特征对图像进行编码的语义通信方法，不能实现根据每一个图像语义特征对其进行自适应编码。
技术实现思路
1、本专利技术实施例提供了一
2、第一方面，本专利技术实施例提供了一种基于图像内容自适应编码的语义通信方法，所述方法包括：
3、根据待传输图像的语义特征信息，确定待传输图像中每一个图像块的初始连接概率，其中，图像块是传输图像中的部分图像，所有的图像块构成传输图像；
4、根据初始连接概率对图像块进行聚类，得到待传输图像的解析树，其中，解析树包括l个层级，解析树的结构复杂度与待传输图像包含的语义信息的复杂度成正比；
5、根据解析树中的图像块的连接概率，确定图像块的编码长度，并根据编码长度对图像块进行编码，得到待传输图像的编码后的语义特征向量组；
6、其中，连接概率是根据初始连接概率确定的，图像块的编码长度与图像块包含的语义信息的复杂度成正比。
7、在第一方面的一种可能的实现方式中，可以提取待传输图像的语义特征信息，得到待传输图像中每个图像块的位置特征向量，然后根据位置特征向量，确定图像块的初始连接概率。
8、在第一方面的一种可能的实现方式中，可以对待传输图像进行分割处理，得到多个图像块；提取每个图像块的语义特征信息，得到每个图像块的特征向量；对特征向量进行位置编码，以将图像块的位置信息嵌入特征向量中，得到每个图像块的位置特征向量。
9、在第一方面的一种可能的实现方式中，可以将位置特征向量输入至信源编码器组，得到每个图像块的x个初始连接概率。
10、示例性的，信源编码器组包括x个串联连接的信源编码器。
11、示例性的，第x个信源编码器用于根据位置特征向量，确定图像块的第x个初始连接概率。
12、示例性的，图像块的第x个初始连接概率用于确定解析树中图像块第l层的连接概率。
13、示例性的，x＝l，x＝0,1,2……x，l＝1,2……l,x≥l。
14、在第一方面的一种可能的实现方式中，可以根据图像块的位置特征向量对图像块进行多头自注意力操作，得到待传输图像的第x个多头自注意力矩阵；根据图像块的位置特征向量，在多头自注意力操作的每个支路中对图像块进行交叉自注意力操作，得到待传输图像的第x个交叉连接概率矩阵；融合第x个交叉连接概率矩阵和第x个多头自注意矩阵，得到待传输图像的第x个概率图。
15、示例性的，第x个概率图是由每一个图像块的第x个初始连接概率构成的概率矩阵。
16、在第一方面的一种可能的实现方式中，可以根据图像块第l层的连接概率和图像块第x+1个初始连接概率，确定图像块第l+1层的连接概率；从第0层的图像块簇团开始，根据图像块第l层的连接概率和第一分割阈值，对第l层的图像块簇团进行聚类，得到待传输图像的解析树。
17、示例性的，x＝l,图像块第0层的连接概率为图像块的初始连接概率。
18、示例性的，第0层的图像块簇团仅包括一个图像块。
19、示例性的，图像块簇团至少包括一个根据图像块的位置信息顺序排列的图像块。
20、在第一方面的一种可能的实现方式中，可以从第0层的图像块簇团开始，确定第l层的每一个图像块簇团的边缘图像块的连接概率是否大于或者等于第一分割阈值；若边缘图像块的连接概率大于或者等于第一分割阈值，则将边缘图像块所属的第l层的图像块簇团和第l层的与边缘图像块相邻的另一个图像块簇团进行聚类，确定为第l+1层的图像块簇团。
21、示例性的，边缘图像块为位于图像块簇团两端的图像块。
22、在第一方面的一种可能的实现方式中，可以根据解析树中图像块第l层的连接概率，确定图像块的向量维度；根据图像块的向量维度和图像块的连接概率，确定图像块的编码长度。
23、在第一方面的一种可能的实现方式中，可以将图像块的归一化连接概率和最大连接概率的商，确定为图像块的第一编码长度；对第一编码长度和向量维度进行克罗内克积运算，得到图像块的编码长度。
24、示例性的，归一化连接概率是对连接概率进行归一化处理后得到的。
25、示例性的，最大连接概率为对图像块第l层的连接概率进行归一化处理后得到的最大值
26、在第一方面的一种可能的实现方式中，还可以向信宿端发送待传输图像的解析树和待传输图像的编码后的语义特征向量组，以令信宿端根据待传输图像的解析树，对待传输图像的编码后的语义特征向量组进行解码，得到待传输图像。
27、本专利技术实施例与现有技术相比存在的有益效果是：根据本专利技术提供的方法，通过能够表征图像块间相关性的初始连接概率对图像块进行聚类，得到待传输图像的解析树，由于解析树的结构复杂度和图像中的语义信息的复杂度成正比，因此根据通过解析树中图像块的连接概率确定的编码长度对待传输图像进行编码，能够使得语义信息更复杂的图像的编码长度更长，语义信息简单的图像的编码长度较短，从而实现根据图像的语义特征对图像进行自适应编码，提高通信资源的利用率。
本文档来自技高网...【技术保护点】
1.一种基于图像内容自适应编码的语义通信方法，其特征在于，所述方法应用于信源端，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据待传输图像的语义特征信息，确定每一个图像块的初始连接概率，包括：
3.根据权利要求2所述的方法，其特征在于，所述提取待传输图像的语义特征信息，得到所述待传输图像中每个图像块的位置特征向量，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述位置特征向量，确定所述图像块的初始连接概率，包括：
5.根据权利要求4所述的方法，其特征在于，第x个所述信源编码器具体用于：
6.根据权利要求1所述的方法，其特征在于，所述根据所述初始连接概率对所述图像块进行聚类，得到所述待传输图像的解析树，包括：
7.根据权利要求6所述的方法，其特征在于，所述从第0层的所述图像块簇团开始，根据所述图像块第l层的连接概率和第一分割阈值，对第l层的图像块簇团进行聚类，得到所述待传输图像的解析树，包括：
8.根据权利要求1所述的方法，其特征在于，所述根据所述解析树中的所述图像块的
9.根据权利要求8所述的方法，其特征在于，所述根据所述图像块的向量维度和所述图像块的连接概率，确定所述图像块的编码长度，包括：
10.根据权利要求1所述的方法，其特征在于，所述方法还包括：
...【技术特征摘要】
1.一种基于图像内容自适应编码的语义通信方法，其特征在于，所述方法应用于信源端，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述根据待传输图像的语义特征信息，确定每一个图像块的初始连接概率，包括：
3.根据权利要求2所述的方法，其特征在于，所述提取待传输图像的语义特征信息，得到所述待传输图像中每个图像块的位置特征向量，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述位置特征向量，确定所述图像块的初始连接概率，包括：
5.根据权利要求4所述的方法，其特征在于，第x个所述信源编码器具体用于：
6.根据权利要求1所述的方法，其特征在于，所...
【专利技术属性】
技术研发人员：高大化，李海雄，石光明，董宇波，宋晓丹，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。