【技术实现步骤摘要】
一种基于结构和纹理合成的概念图像压缩方法
[0001]本专利技术属于计算机视觉领域，具体涉及图像压缩、编码技术。
技术介绍
[0002]图像压缩，也称为图像编码，通常是指将图像压缩成二进制比特流以进行后续的传输和存储的技术。随着科学技术的发展，图像越来越多地出现在我们生活的各个方面。因此，有效的压缩是降低传输和存储成本的迫切要求。为此，本专利技术提出了一种基于结构和纹理合成的概念图像压缩方法。
[0003]目前，对图像压缩的研究工作可以分为两类：传统的混合图像编码和基于深度神经网络的图像压缩。传统的混合编码(如JPEG和HEVC)依赖于手工设计的技术，包括预测、变换、量化和熵编码等模块，以提高压缩效率。虽然他们在过去的十年中取得了巨大的成功，但其性能很难得到进一步的提升，并不能在较低的比特率(<0.1bpp)下实现高质量的图像重建。相比之下，基于深度学习的方法将图像压缩视为一个联合速率失真优化问题，其中非线性编码器和解码器都以端到端的方式联合训练。以上大部分的工作都是去除信号级冗余信息，主要关注的是像P...
【技术保护点】
【技术特征摘要】
1.一种基于结构和纹理合成的概念图像压缩方法，其特征在于包括以下步骤：步骤1：图像结构层的提取、压缩和重建；使用保边平滑方法Relative Total Variation(RTV)对原图进行处理；在RTV中，参数σ控制着平滑窗口空间尺度，将参数σ设置为3；考虑到结构图的平滑性，利用Lanczos降采样技术对保边平滑结构图进行4倍下采样，利用BPG编码端将图像结构层压缩成传输比特流，然后再BPG的解码端将图像的保边平滑图像进行解码还原；在合成图像之前，需要反过来先重构保边平滑图，使用超分辨率模型Image Restoration Using Swin Transformer(SwinIR)进行四倍上采样将保边平滑图像恢复到原来的分辨率；对SwinIR模型进行了重新训练，训练过程中的参数设置如表1所示：表1 SwinIR模型训练过程中参数设置参数值Upscale4Batch_size32Learningrate5*10
‑5optimizerAdam表中，Upscale代表生成网络netG的上采样尺度；Batch_size代表一次训练所选取的样本数，Learning rate代表学习率，Optimizer代表优化器；步骤2：图像纹理层的提取和压缩利用mask将图像分为前景和背景，然后在前景物体的中心提取一个纹理块I
t
来提供局部纹理信息，最后通过BPG对纹理块进一步的进行压缩重建；步骤3：图像合成包括两个阶段：预训练阶段和应用阶段；步骤3.1预训练阶段预训练阶段时，使用Shoes和Handbags两个数据集进行训练，其中包括原图和保边平滑图像，所使用的保边平滑图像是用步骤1中所介绍的Relative Total Variation(RTV)对原图进行处理，得到对应的保边平滑图像的数据集；训练SSGAN网络与超分辨网络SwinIR至最优；步骤3.1.1设计SSGAN网络输入图像I所对应的保边平滑图像为I
t
，设计的网络是以保边平滑图像I
t
和纹理块I
s
作为输入，最终生成与原图高度相似的输出图像；SSGAN是由生成器和判别器组成的，训练时需要提供成对的数据集(I，I
t
)，生成器的输入为I
t
和I
s
，使用I
t
和I
s
完成到I的映射；生成器的网络结构采用了典型的编码器
‑
解码器的网络结构，包括三个下采样模块，七个残差块和三个上采样模块；在编码器模块，通过4个卷积块对输入保边平滑图像I
t
∈R
(H*W*3)
和纹理块I
s
∈R
(d*d*3)
进行逐步的特征下采样，每个卷积块由一个卷积核大小为3*3，步长为2的卷积层、批量归一化层和ReLU激活函数组成，每个卷积块后跟随着一个残差块，残差块所使用的的步长为1,在4
个卷积块后跟随着3个残差块，最终，将其压缩为一个高级图像特征表示个卷积块后跟随着3个残差块，最终，将其压缩为一个高级图像特征表示在解码器模块中，通过三个上采样模块恢复图像到原来的分辨率，...
【专利技术属性】
技术研发人员：施云惠，赵新丽，王瑾，尹宝才，
申请(专利权)人：北京工业大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。