图像压缩方法、计算机设备及计算机存储介质技术

本申请实施例公开了一种图像压缩方法、计算机设备及计算机存储介质，编码端码率控制模块可对权重因子映射为码率控制向量，并将码率控制向量与稀疏特征图相乘，得到指定码率的潜在特征表示，量化单元将指定码率的潜在特征表示中的浮点数量化为整数，得到整数型潜在特征表示，无损编码模块对整数型潜在特征表示进行熵编码，得到二进制码流，因此，只需要训练一个目标神经网络图像压缩模型，且只需调节权重因子即可实现对图像的压缩率、码率和重建质量的任意调节，从而无需训练多个图像压缩模型，计算机设备也无需部署多个图像压缩模型，大大减少了用户设备的硬件存储开销。稀疏特征图的元素个数大大减少，可减少后续模块的计算量，节约计算资源。约计算资源。约计算资源。

【技术实现步骤摘要】
图像压缩方法、计算机设备及计算机存储介质


[0001]本申请实施例涉及图像处理领域，具体涉及一种图像压缩方法、计算机设备及计算机存储介质。

技术介绍

[0002]图像压缩是信号处理和计算机视觉领域的一项重要技术，其旨在减小数字图像传输和储存所需要的二进制比特数的基础上，尽可能地保持传输图像的重建质量。近年来，许多基于深度学习的神经网络图像压缩方法达到了比JPEG、BPG等传统图像压缩方法更好的性能。但是，要使神经网络图像压缩方法能在实际应用场景中得到部署，目前仍存在一些需要解决的问题。
[0003]神经网络图像压缩方法使用预先训练好的神经网络图像压缩模型来对图像进行压缩，即向神经网络图像压缩模型输入待压缩的图像，可得到其输出的完成压缩的图像。但是，预先训练好的神经网络图像压缩模型对图像的压缩率是固定的，以及对同一张输入图像的输出图像的码率和重建质量也是固定的，这一情况并不能适应于对图像压缩的实际需求，因为实际需求中图像接收端对输出图像的码率和重建质量的需求是多样化的，而且也要求图像的压缩率能够适应网络传输带宽的不断变化，以便于图像传输。显然，固定的压缩率、输出图像固定的码率和重建质量，均无法适应实际需求中对压缩率、码率和图像重建质量的多样化要求。
[0004]而为了获得不同压缩率、不同码率和重建质量的图像，一种方式是训练多个不同的神经网络图像压缩模型，每个神经网络图像压缩模型分别对应一种压缩率、码率和图像重建质量，然而这种方式却需要训练大量的神经网络图像压缩模型，这不仅增加了用户设备的硬件存储开销，也需要人员付出大量劳动去训练多个模型，因而此方式并不经济实用。

技术实现思路

[0005]本申请实施例提供了一种图像压缩方法、计算机设备及计算机存储介质，用于对图像进行压缩以实现对图像的压缩率、码率和图像重建质量的任意调节。
[0006]本申请实施例第一方面提供了一种图像压缩方法，所述方法应用于计算机设备，所述方法包括：获取待压缩的目标图像；获取预先训练完成的目标神经网络图像压缩模型，所述目标神经网络图像压缩模型由深度学习算法对多组图像训练样本训练得到，所述目标神经网络图像压缩模型包括至少一个稀疏压缩单元、与所述至少一个稀疏压缩单元连接的编码端码率控制模块、与所述编码端码率控制模块连接的量化单元以及与所述量化单元连接的无损编码模块；将所述目标图像输入所述目标神经网络图像压缩模型，以使所述目标神经网络图像压缩模型的至少一个稀疏压缩单元对所述目标图像进行特征提取得到所述目标图像的稀疏特征图，以及，
所述编码端码率控制模块将预先设置的权重因子映射为码率控制向量，并将所述码率控制向量与所述稀疏特征图相乘，得到指定码率的潜在特征表示，所述量化单元将所述指定码率的潜在特征表示中的浮点数量化为整数，得到整数型潜在特征表示，所述无损编码模块对所述整数型潜在特征表示进行熵编码，得到二进制码流。
[0007]优选的，每一个所述稀疏压缩单元包括特征提取模块及复杂度控制模块；将所述目标图像输入所述目标神经网络图像压缩模型，以使所述目标神经网络图像压缩模型的至少一个稀疏压缩单元对所述目标图像进行特征提取得到所述目标图像的稀疏特征图，包括：将所述目标图像输入所述目标神经网络图像压缩模型，以使所述特征提取模块对所述目标图像进行特征提取得到所述目标图像的第一目标特征图，以及所述复杂度控制模块对所述第一目标特征图进行稀疏操作，得到所述稀疏特征图。
[0008]优选的，将所述目标图像输入所述目标神经网络图像压缩模型，以使所述复杂度控制模块对所述第一目标特征图进行稀疏操作，包括：将所述目标图像输入所述目标神经网络图像压缩模型，以使所述复杂度控制模块提取所述第一目标特征图的各通道的通道内重要性信息，得到维度大小等于所述第一目标特征图的通道数的初始向量，根据所述初始向量提取所述第一目标特征图的各通道之间的相关性，得到维度大小等于所述第一目标特征图的通道数的重要性向量，对所述重要性向量和预设的阈值控制向量进行点积操作，得到维度大小等于所述第一目标特征图的通道数的阈值向量，以及，比较所述第一目标特征图的各通道的元素值与所述阈值向量规定的所述通道的阈值，若通道的元素值大于所述阈值向量规定的所述通道的阈值，则确定所述通道的该元素值对应的位置的二值掩膜为1；若通道的元素值小于所述阈值向量规定的所述通道的阈值，则确定所述通道的该元素值对应的位置的二值掩膜为0，获得各通道对应的二值掩膜；分别对各通道的元素值与元素值对应的二值掩膜做点积，得到所述稀疏特征图。
[0009]本申请实施例第二方面提供了一种计算机设备，所述计算机设备包括：获取单元，用于获取待压缩的目标图像；获取单元还用于获取预先训练完成的目标神经网络图像压缩模型，所述目标神经网络图像压缩模型由深度学习算法对多组图像训练样本训练得到，所述目标神经网络图像压缩模型包括至少一个稀疏压缩单元、与所述至少一个稀疏压缩单元连接的编码端码率控制模块、与所述编码端码率控制模块连接的量化单元以及与所述量化单元连接的无损编码模块；压缩单元，用于将所述目标图像输入所述目标神经网络图像压缩模型，以使所述目标神经网络图像压缩模型的至少一个稀疏压缩单元对所述目标图像进行特征提取得到所述目标图像的稀疏特征图，以及，所述编码端码率控制模块将预先设置的权重因子映射为码率控制向量，并将所述码率控制向量与所述稀疏特征图相乘，得到指定码率的潜在特征表示，所述量化单元将所述指定码率的潜在特征表示中的浮点数量化为整数，得到整数型潜在特征表示，所述无损编码模块对所述整数型潜在特征表示进行熵编码，得到二进制码流。
[0010]本申请实施例第三方面提供了一种计算机设备，包括存储器和处理器，所述存储
器存储有计算机程序，所述处理器执行所述计算机程序时实现前述第一方面的方法。
[0011]本申请实施例第四方面提供了一种计算机存储介质，计算机存储介质中存储有指令，该指令在计算机上执行时，使得计算机执行前述第一方面的方法。
[0012]从以上技术方案可以看出，本申请实施例具有以下优点：目标神经网络图像压缩模型中的编码端码率控制模块可对权重因子映射为码率控制向量，并将码率控制向量与稀疏特征图相乘，得到指定码率的潜在特征表示，量化单元将指定码率的潜在特征表示中的浮点数量化为整数，得到整数型潜在特征表示，无损编码模块对整数型潜在特征表示进行熵编码，得到二进制码流，因此，只需要训练一个目标神经网络图像压缩模型，当需要获得图像的不同压缩率、码率和图像重建质量时，只需调节权重因子即可改变图像的压缩率、码率和重建质量，实现对图像的压缩率、码率和重建质量的任意调节，从而无需训练多个图像压缩模型，计算机设备也无需部署多个图像压缩模型，从而大大减少了用户设备的硬件存储开销，大大减少人员的劳动付出。
[0013]同时，由于第一目标特征图经过复杂度控制模块的稀疏操作之后元素值大大减少，使得稀疏特征图的元素个数相比于第一目标特征图的元素个数大大减少，实现对特征图的数据量的精简，进而减少后续模块的计算量，便于计算能力有限的计本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像压缩方法，其特征在于，所述方法应用于计算机设备，所述方法包括：获取待压缩的目标图像；获取预先训练完成的目标神经网络图像压缩模型，所述目标神经网络图像压缩模型由深度学习算法对多组图像训练样本训练得到，所述目标神经网络图像压缩模型包括至少一个稀疏压缩单元、与所述至少一个稀疏压缩单元连接的编码端码率控制模块、与所述编码端码率控制模块连接的量化单元以及与所述量化单元连接的无损编码模块；将所述目标图像输入所述目标神经网络图像压缩模型，以使所述目标神经网络图像压缩模型的至少一个稀疏压缩单元对所述目标图像进行特征提取得到所述目标图像的稀疏特征图，以及，所述编码端码率控制模块将预先设置的权重因子映射为码率控制向量，并将所述码率控制向量与所述稀疏特征图相乘，得到指定码率的潜在特征表示，所述量化单元将所述指定码率的潜在特征表示中的浮点数量化为整数，得到整数型潜在特征表示，所述无损编码模块对所述整数型潜在特征表示进行熵编码，得到二进制码流。2.根据权利要求1所述的方法，其特征在于，每一个所述稀疏压缩单元包括特征提取模块及复杂度控制模块；将所述目标图像输入所述目标神经网络图像压缩模型，以使所述目标神经网络图像压缩模型的至少一个稀疏压缩单元对所述目标图像进行特征提取得到所述目标图像的稀疏特征图，包括：将所述目标图像输入所述目标神经网络图像压缩模型，以使所述特征提取模块对所述目标图像进行特征提取得到所述目标图像的第一目标特征图，以及所述复杂度控制模块对所述第一目标特征图进行稀疏操作，得到所述稀疏特征图。3.根据权利要求2所述的方法，其特征在于，将所述目标图像输入所述目标神经网络图像压缩模型，以使所述复杂度控制模块对所述第一目标特征图进行稀疏操作，包括：将所述目标图像输入所述目标神经网络图像压缩模型，以使所述复杂度控制模块提取所述第一目标特征图的各通道的通道内重要性信息，得到维度大小等于所述第一目标特征图的通道数的初始向量，根据所述初始向量提取所述第一目标特征图的各通道之间的相关性，得到维度大小等于所述第一目标特征图的通道数的重要性向量，对所述重要性向量和预设的阈值控制向量进行点积操作，得到维度大小等于所述第一目标特征图的通道数的阈值向量，以及，比较所述第一目标特征图的各通道的元素值与所述阈值向量规定的所述通道的阈值，若通道的元素值大于所述阈值向量规定的所述通道的阈值，则确定所述通道的该元素值对应的位置的二值掩膜为1；若通道的元素值小于所述阈值向量规定的所述通道的阈值，则确定所述通道的该元素值对应的位置的二值掩膜为0，获得各通道对应的二值掩膜；分别对各通道的元素值与元素值对应的二值掩膜做点积，得到所述稀疏特征图。4.根据权利要求2所述的方法，其特征在于，所述特征提取模块包括下采样模块和非线性特征增强模块；将所述目标图像输入所述目标神经网络图像压缩模型，以使所述特征提取模块对所述目标图像进行特征提取得到所述目标图像的第一目标特征图，包括：将所述目标图像输入所述目标神经网络图像压缩模型，以使所述下采样模块对所述目
标图像进行下采样以及对所述目标图像的通道数进行扩展，得到所述目标图像的第一初始特征图，以及，所述非线性特征增强模块提取所述第一初始特征图的空间特征和通道特征，并根据所述空间特征和通道特征对所述第一初始特征图进行强化，得到所述第一目标特征图。5.根据权利要求2所述的方法，其特征在于，所述至少一个稀疏压缩单元按顺序排列且每一个稀疏压缩单元连接相邻的稀疏压缩单元；将所述目标图像输入所述目标神经网络图像压缩模型，以使所述特征提取模块对所述目标图像进行特征提取得到所述目标图像的第一目标特征图，以及所述复杂度控制模块对所述第一目标特征图进行稀疏操作，得到所述稀疏特征图，包括：将所述目标图像输入所述目标神经网络图像压缩模型，以使第一个稀疏压缩单元对所述目标图像进行特征提取得到所述目标图像的稀疏特征图，第一个稀疏压缩单元之后的每一个稀疏压缩单元均对前一个稀疏压缩单元的输出进行特征提取得到稀疏特征图，直至最后一个稀疏压缩单元对前一个稀疏压缩单元的输出进行特征提取得到稀疏特征图。6.根据权利要求1至5任一项所述的方法，其特征在于，所述目标神经网络图像压缩模型还包括无损解码模块、与所述无损解码模块连接的解码端码率控制...

【专利技术属性】
技术研发人员：梁永生，尹珊至，鲍有能，李超，谭文，
申请(专利权)人：哈尔滨工业大学深圳哈尔滨工业大学深圳科技创新研究院，
类型：发明
国别省市：