【技术实现步骤摘要】
本申请涉及图像处理，具体涉及一种图像处理方法、装置、电子设备及存储介质。
技术介绍
1、随着人工智能的发展，传统图像编码标准（如jpeg（joint photographic expertsgroup，联合图像专家组格式）、mpeg（moving picture expert group，运动图像专家组格式）、avs（audio video coding standard，信源编码标准）、bpg（better portablegraphics，更好的可移植图形）等）是面向人类视觉的像素级优化，无法很好支持各式各样的机器视觉要求，人们尝试将神经网络加入到图像编码中，实现更加智能、高效的图像编码，因此基于深度学习的神经网络编码成为研究重点。但无论是传统图像编码标准还是神经网络编码技术的编码码流都是由单一码流构成，在低码率下信息损失大，图像重建效果差，视觉体验效果差。
技术实现思路
1、本申请的目的是针对上述现有技术的不足提出的一种图像处理方法、装置、电子设备及存储介质，该目的是通过以下技术方案实现的。
2、本申请的第一方面提出了一种图像处理方法，应用于编码端，所述方法包括：
3、提取原始图像块的一维特征向量；
4、基于所述一维特征向量将所述原始图像块变换为多维特征图；
5、对所述一维特征向量进行量化编码，得到第一码流；
6、对所述多维特征图进行离散编码，得到第二码流；
7、将所述第一码流和所述第二码流发送至解码端。
8、基于上述第一方面所述的图像处理方法，本申请至少具有如下有益效果或优点：
9、通过提取原始图像块的一维特征向量，也即一个低维的空域无关向量，该向量包含了图像的纹理结构信息，然后基于这个一维特征向量再将原始图像块变换为多维特征图，该多维特征图不仅包含图像的空域相关信息，还会包含图像的高频信息，考虑到空域无关向量和多维特征图分别包含了图像的不同层面信息，通过对一维特征向量量化编码为第一码流，而对多维特征图离散编码为第二码流，以实现空域无关向量和多维特征图的高效压缩。由于编码码流由两层码流构成，包含图像的不同层信息，这样即使在低码率下也不会损失很多信息，因此由两层码流重建获得的图像，可以改善视觉效果，提升视觉体验。
10、可选的，所述基于所述一维特征向量将所述原始图像块变换为多维特征图，包括：通过预设的扩散模型利用所述一维特征向量对所述原始图像块进行多次迭代加噪，得到多维特征图。
11、可选的，所述扩散模型包括第一噪声预测网络和加噪层；所述通过预设的扩散模型利用所述一维特征向量对所述原始图像块进行多次迭代加噪，包括：针对每次加噪过程，通过所述第一噪声预测网络根据上一次加噪结果和所述一维特征向量预测当前次的噪声；通过所述加噪层将所述第一噪声预测网络输出的噪声加入到上一次加噪结果；其中，对于首次加噪过程，上一次加噪结果为所述原始图像块。
12、可选的，通过所述加噪层将所述第一噪声预测网络输出的噪声加入到上一次加噪结果，包括：获取上一次使用的噪声水平系数和当前次的噪声水平系数；根据上一次使用的噪声水平系数、当前次的噪声水平系数、所述第一噪声预测网络输出的噪声、所述上一次加噪结果获得当前次的加噪结果。
13、可选的，所述对所述一维特征向量进行量化编码，得到第一码流，包括：通过预设的量化编码模型对所述一维特征向量进行量化编码，得到第一码流。
14、可选的，所述量化编码模型包括特征编码网络、量化层、熵估计网络；所述通过预设的量化编码模型对所述一维特征向量进行量化编码，得到第一码流，包括：通过所述特征编码网络对所述一维特征向量进行下采样处理，得到下采样特征；通过所述量化层将所述下采样特征的特征值转换为整型数值，得到量化特征；通过所述熵估计网络将所述量化特征编码为第一码流。
15、可选的，所述对所述多维特征图进行离散编码，得到第二码流，包括：通过预设的离散编码模型对所述多维特征图进行离散编码，得到第二码流。
16、可选的，所述离散编码模型包括特征编码网络、离散表示层、码流转换层；所述通过预设的离散编码模型对所述多维特征图进行离散编码，得到第二码流，包括：通过所述特征编码网络对所述多维特征图进行下采样处理，得到下采样特征；通过所述离散表示层对所述下采样特征进行离散表示，得到索引矩阵；通过所述码流转换层将所述索引矩阵转换为第二码流。
17、可选的，所述通过所述离散表示层对所述下采样特征进行离散表示，得到索引矩阵，包括：在预设特征字典中，为所述下采样特征的每维特征向量匹配最相似的向量；利用与每维特征向量匹配的向量的索引获得索引矩阵。
18、本申请的第二方面提出了一种图像处理方法，应用于解码端，所述方法包括：
19、接收来自编码端的第一码流和第二码流；
20、对所述第一码流进行反量化解码，得到一维特征向量；
21、对所述第二码流进行反离散解码，得到多维特征图；
22、基于所述一维特征向量对所述多维特征图进行图像重建，得到重建图像块。
23、基于上述第二方面所述的图像处理方法，本申请至少具有如下有益效果或优点：
24、由于接收的第一码流和第二码流包含了图像的不同层面信息，第一码流包含有图像的纹理风格信息，第二码流包含图像的高频信息和结构信息，因此由第一码流和第二码流解码获得的重建图像，可以提升图像视觉效果，并且即使在带宽限制条件下也不会损失很多信息。
25、可选的，所述对所述第一码流进行反量化解码，得到一维特征向量，包括：通过预设的反量化解码模型对所述第一码流进行反量化解码，得到一维特征向量；
26、所述反量化解码模型包括熵解码网络、反量化层和特征解码网络；所述通过预设的反量化解码模型对所述第一码流进行反量化解码，得到一维特征向量，包括：通过所述熵解码网络将所述第一码流解码为量化特征；通过所述反量化层将所述量化特征转换为浮点数值，得到反量化特征；通过所述特征解码网络对所述反量化特征进行上采样处理，得到一维特征向量。
27、可选的，所述对所述第二码流进行反离散解码，得到多维特征图，包括：通过预设的离散解码模型对所述第二码流进行反离散解码，得到多维特征图；
28、所述离散解码模型包括码流解码层、反离散表示层和特征解码网络；所述通过预设的离散解码模型对所述第二码流进行反离散解码，得到多维特征图，包括：通过所述码流解码层将所述第二码流解码为索引矩阵；通过所述反离散表示层基于预设特征字典将所述索引矩阵转换为连续特征；通过所述特征解码网络对所述连续特征进行上采样处理，得到多维特征图。
29、可选的，所述基于所述一维特征向量对所述多维特征图进行图像重建，得到重建图像块，包括：通过预设的扩散模型利用所述一维特征向量对所述多维特征图进行多次迭代去噪，得到重建图像块。
30、可选的，所述扩散模型包括第二噪声预本文档来自技高网...
【技术保护点】
1.一种图像处理方法，其特征在于，应用于编码端，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述一维特征向量将所述原始图像块变换为多维特征图，包括：
3.根据权利要求2所述的方法，其特征在于，所述扩散模型包括第一噪声预测网络和加噪层；所述通过预设的扩散模型利用所述一维特征向量对所述原始图像块进行多次迭代加噪，包括：
4.根据权利要求3所述的方法，其特征在于，通过所述加噪层将所述第一噪声预测网络输出的噪声加入到上一次加噪结果，包括：
5.根据权利要求1所述的方法，其特征在于，所述对所述一维特征向量进行量化编码，得到第一码流，包括：
6.根据权利要求5所述的方法，其特征在于，所述量化编码模型包括特征编码网络、量化层、熵估计网络；
7.根据权利要求1所述的方法，其特征在于，所述对所述多维特征图进行离散编码，得到第二码流，包括：
8.根据权利要求7所述的方法，其特征在于，所述离散编码模型包括特征编码网络、离散表示层、码流转换层；
9.根据权利要求8所述的方法，其特征在于，
10.一种图像处理方法，其特征在于，应用于解码端，所述方法包括：
11.根据权利要求10所述的方法，其特征在于，所述对所述第一码流进行反量化解码，得到一维特征向量，包括：
12.根据权利要求10所述的方法，其特征在于，所述对所述第二码流进行反离散解码，得到多维特征图，包括：
13.根据权利要求10所述的方法，其特征在于，所述基于所述一维特征向量对所述多维特征图进行图像重建，得到重建图像块，包括：
14.根据权利要求13所述的方法，其特征在于，所述扩散模型包括第二噪声预测网络和去噪层；所述通过预设的扩散模型利用所述一维特征向量对所述多维特征图进行多次迭代去噪，得到重建图像块，包括：
15.根据权利要求14所述的方法，其特征在于，通过所述去噪层利用所述第二噪声预测网络输出的噪声对上一次去噪结果进行去噪，包括：
16.一种图像处理装置，其特征在于，应用于编码端，所述装置包括：
17.一种图像处理装置，其特征在于，应用于解码端，所述装置包括：
18.一种图像处理系统，其特征在于，所述系统包括：
19.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序以实现如权利要求1-15任一项所述的方法。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行以实现如权利要求1-15任一项所述的方法。
...【技术特征摘要】
1.一种图像处理方法，其特征在于，应用于编码端，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述基于所述一维特征向量将所述原始图像块变换为多维特征图，包括：
3.根据权利要求2所述的方法，其特征在于，所述扩散模型包括第一噪声预测网络和加噪层；所述通过预设的扩散模型利用所述一维特征向量对所述原始图像块进行多次迭代加噪，包括：
4.根据权利要求3所述的方法，其特征在于，通过所述加噪层将所述第一噪声预测网络输出的噪声加入到上一次加噪结果，包括：
5.根据权利要求1所述的方法，其特征在于，所述对所述一维特征向量进行量化编码，得到第一码流，包括：
6.根据权利要求5所述的方法，其特征在于，所述量化编码模型包括特征编码网络、量化层、熵估计网络；
7.根据权利要求1所述的方法，其特征在于，所述对所述多维特征图进行离散编码，得到第二码流，包括：
8.根据权利要求7所述的方法，其特征在于，所述离散编码模型包括特征编码网络、离散表示层、码流转换层；
9.根据权利要求8所述的方法，其特征在于，所述通过所述离散表示层对所述下采样特征进行离散表示，得到索引矩阵，包括：
10.一种图像处理方法，其特征在于，应用于解码端，所述方法包括：
11.根据权利要求10所述的方法，其特...
【专利技术属性】
技术研发人员：马思伟，蒋云，滕波，常建慧，高文，
申请(专利权)人：浙江省北大信息技术高等研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。