结合语义分割的多描述编码方法及系统技术方案

本发明专利技术公开了结合语义分割的多描述编码方法及系统，包括：将原始图像与相对应的语义分割标签作为输入传至多描述特征生成网络；多描述特征生成网络利用图像上下文特征生成相似但又不完全相同的两个描述；生成的两个描述分别进入语义分割编码网络中编码，在该编码器中，描述首先上采样成与原始图像大小一致的上采样图像，之后与语义分割映射一起经过生成网络生成残差图像，残差图像又与上采样图像像素相加得到粗重构图像；生成的粗重构图像经信息道传输至多描述解码网络，而语义分割标签被标准编码器编码之后也传输至多描述解码网络，经解码得到最终重构图像。避免了因为传输过程中丢包问题导致的图像重构质量不理想的后果，更好的提高了编码效率。

Multiple description coding method and system combined with semantic segmentation

【技术实现步骤摘要】
结合语义分割的多描述编码方法及系统
本专利技术属于图像压缩领域，尤其涉及结合语义分割的多描述编码方法及系统。
技术介绍
本部分的陈述仅仅是提供了与本公开相关的
技术介绍
信息，不必然构成在先技术。多描述编码是一种在图像视频通信领域中常见的差错控制技术，主要作用是在数据传输过程中尽可能减少失误。多描述编码的主要思想是：一个输入信源编码成多个描述并且在网络上进行传输，利用这些描述中的一个或者多个实现信源重建。显然，重建质量会随着收到的描述增多而提高。20世纪70年代，Bell实验室提出了信道分离问题，即将信号进行奇偶采样形成两路信号并在两个信道上传输，这是最早的多描述编码的思想。至此，多描述问题被正式提出，但是在早期一直处于理论研究阶段，直到Vaishampayan等提出了一个实用型的多描述标量量化器(MDSQ，MultipleDescriptionScalarQuantization)。之后多描述编码从理论研究向实用型系统开发转变。典型的多描述编码方法举例如下：基于采样的多描述编码、基于量化的多描述编码、基于相关变换的多描述编码、基于运动矢量本文档来自技高网...

【技术保护点】
1.结合语义分割的多描述编码方法，其特征是，包括：/n将原始图像与相对应的语义分割标签作为输入传至多描述特征生成网络；/n多描述特征生成网络利用图像上下文特征生成相似但又不完全相同的两个描述；/n生成的两个描述分别进入语义分割编码网络中编码，在该编码器中，描述首先上采样成与原始图像大小一致的上采样图像，之后与语义分割映射一起经过生成网络生成残差图像，残差图像又与上采样图像像素相加得到粗重构图像；/n生成的粗重构图像经信息道传输至多描述解码网络，而语义分割标签被标准编码器编码之后也传输至多描述解码网络，经解码得到最终重构图像。/n

【技术特征摘要】
1.结合语义分割的多描述编码方法，其特征是，包括：
将原始图像与相对应的语义分割标签作为输入传至多描述特征生成网络；
多描述特征生成网络利用图像上下文特征生成相似但又不完全相同的两个描述；
生成的两个描述分别进入语义分割编码网络中编码，在该编码器中，描述首先上采样成与原始图像大小一致的上采样图像，之后与语义分割映射一起经过生成网络生成残差图像，残差图像又与上采样图像像素相加得到粗重构图像；
生成的粗重构图像经信息道传输至多描述解码网络，而语义分割标签被标准编码器编码之后也传输至多描述解码网络，经解码得到最终重构图像。


2.如权利要求1所述的结合语义分割的多描述编码方法，其特征是，两个描述标记为第一描述和第二描述；
对第一描述和第二描述，分别作上采样处理得到大小与原始图像一致的图像，结合初始的语义分割标签经过语义分割编码网络得到输入描述的残差图像，残差图像与上采样图像相加得到第一粗重构图像及第二粗重构图像。


3.如权利要求2所述的结合语义分割的多描述编码方法，其特征是，得到的第一粗重构图像及第二粗重构图像经过信息道传输，语义分割标签经过标准编码器编码也传输进信息道，而后经解码器解码。


4.如权利要求2所述的结合语义分割的多描述编码方法，其特征是，如果第一粗重构图像成功被多描述解码网络接收，然而第二粗重构图像在传输过程中丢失，则第一粗重构图像与语义分割标签一起被解码得到最终重构图像，此为第一边重构图像；
如果第二粗重构图像成功被多描述解码网络接收，然而第一粗重构图像在传输过程中丢失，则第二粗重构图像与语义分割标签一起被解码得到最终重构图像，此为第二边重构图像。


...

【专利技术属性】
技术研发人员：孟丽丽，李雪，谭艳艳，张佳，万文博，张化祥，
申请(专利权)人：山东师范大学，
类型：发明
国别省市：山东;37