编解码方法及装置制造方法及图纸

本申请提供一种解码方法及装置。本申请的解码方法包括：对码流进行解码得到第一特征图，所述第一特征图的分辨率小于原始图像的分辨率；根据第一神经网络对第二特征图进行重建，得到重建图像，所述第二特征图和所述重建图像的分辨率均为目标分辨率，所述目标分辨率小于所述原始图像的分辨率，其中所述第二特征图为所述第一特征图、或所述第二特征图为通过第二神经网络对所述第一特征图进行处理得到的特征图。本申请可以提高获取重建图像的效率，从而提高数字视频应用显示原始图像的缩略图的速度。图的速度。图的速度。

【技术实现步骤摘要】
编解码方法及装置


[0001]本申请实施例涉及数据压缩
，尤其涉及一种编解码方法及装置。

技术介绍

[0002]视频编解码(视频编码和解码)广泛用于数字视频应用，例如广播数字电视、互联网、 相册以及移动网络上的视频传输、视频聊天和视频会议等实时会话应用、数字多功能影音 光盘(Digital Versatile Disc，DVD)和蓝光光盘、视频内容采集和编辑系统以及可携式摄 像机的安全应用。
[0003]视频的数据量通常较多，当视频数据要在带宽容量受限的网络中发送或以其它方式传 输时，这样可能会造成困难。因此，视频数据通常要先压缩然后在现代电信网络中传输。 由于内存资源可能有限，当在存储设备上存储视频时，视频的大小也可能成为问题。视频 压缩设备通常在信源侧使用软件和/或硬件，以在传输或存储之前对视频数据进行编码，从 而减少用来表示数字视所需的数据量。然后，压缩的视频数据在目的地侧由视频解压缩设 备接收。在有限的网络资源以及对更高视频质量的需求不断增长的情况下，需要改进压缩 和解压缩技术，这些改进的技术能够提高压缩率而几乎不影响图像质量。
[0004]数字视频应用的部分操作中需要显示原始图像的缩略图，以在显示界面中显示数量较 多的图像。相关技术中先对接收到的原始图像的码流进行解码和重建，得到原始图像。之 后对原始图像的分辨率进行缩小，得到原始图像的缩略图。但是上述获取原始图像的缩略 图的方式复杂度较高且耗时较长，从而影响数字视频应用显示原始图像的缩略图的速度。

技术实现思路

[0005]本申请提供一种编解码方法及装置，以提高获取重建图像的效率，从而提高数字视频 应用显示原始图像的缩略图的速度。
[0006]第一方面，本申请提供一种解码方法，所述方法包括：对码流进行解码得到第一特征 图，所述第一特征图的分辨率小于原始图像的分辨率；根据第一神经网络对第二特征图进 行重建，得到重建图像，所述第二特征图和所述重建图像的分辨率均为目标分辨率，所述 目标分辨率小于所述原始图像的分辨率，其中所述第二特征图为所述第一特征图、或所述 第二特征图为通过第二神经网络对所述第一特征图进行处理得到的特征图。
[0007]其中，特征图是卷积神经网络中卷积层、激活层、池化层、批量归一化层等层输出的 三维数据，其三个维度分别称为宽(Width)、高(Height)、通道(Channel)。特征图可 以为M
×
W
×
H，表示该特征图包括M个通道的分辨率为W
×
H的二维特征图，W表示 宽，H表示高。
[0008]第一神经网络输出的重建图像的分辨率与输入的第二特征图的分辨率相同，均为目标 分辨率。当第二特征图为第一特征图时，目标分辨率等于第一特征图的分辨率。当第二特 征图为对通过第二神经网络对第一特征图进行处理得到的特征图时，目标分辨率大于第一 特征图的分辨率。
[0009]第二神经网络用于对第一特征图进行处理得到第二特征图，该处理可以包括卷积操作 和/或反卷积操作，进一步地，处理还可以包括归一化操作。
[0010]该解码方法中，解码器对码流进行解码得到第一特征图，之后根据第一神经网络对第 二特征图进行重建，得到重建图像，第二特征图和重建图像的分辨率均为目标分辨率，目 标分辨率小于原始图像的分辨率，第二特征图包括第一特征图，或第二特征图为通过第二 神经网络对原始图像的特征图进行处理得到的特征图。经过解码和重建得到的重建图像的 分辨率小于原始图像的分辨率，在获取重建图像的过程中无需先重建得到原始图像，而是 直接得到重建图像，提高了获取重建图像的效率，从而提高了数字视频应用显示原始图像 的缩略图的速度
[0011]当第一神经网络的数量为一个时，在一种示例中，无需应用第二神经网络，第一神经 网络可以独立存在，此时第二特征图为第一特征图，第一神经网络仅能输出一种分辨率的 重建图像，该一种分辨率即为第一特征图的分辨率。
[0012]在另一种示例中，该一个第一神经网络可以与第二神经网络的输入端连接和/或与一 个或多个输出节点连接。此时第二特征图为第一特征图或通过第二神经网络对第一特征图 进行处理得到的特征图，第一神经网络能输出一种或多种分辨率的重建图像。
[0013]当第一神经网络的数量为多个时，第二神经网络的输入端和/或每个输出节点连接有 第一神经网络。此时第二特征图为第一特征图或通过第二神经网络对第一特征图进行处理 得到的特征图，第一神经网络能输出多种分辨率的重建图像。
[0014]在一种可能的实现方式中，当第二特征图为通过第二神经网络对第一特征图进行处理 得到的特征图，所述第二神经网络包括一个或多个输出节点和多个卷积层，所述输出节点 位于第一层卷积层的输出端与最后一层卷积层的输入端之间，所述输出节点与所述第一神 经网络的输入端连接，所述方法还包括：将所述第一特征图输入所述第二神经网络，得到 所述第二神经网络的目标输出节点输出的所述第二特征图，所述目标输出节点属于所述一 个或多个输出节点；所述根据第一神经网络对第二特征图进行重建，得到重建图像，包括： 将所述目标输出节点输出的第二特征图输入所述第一神经网络，得到所述第一神经网络输 出的所述重建图像。
[0015]其中，第二神经网络是相关技术中用于编解码的网络中已有的神经网络，其用于生成 原始分辨率的重建图像。在第二神经网络的不同位置设置输出节点，利用输出节点以及现 有的第二神经网络即可实现多种目标分辨率的重建图像的生成。该过程中第二神经网络用 于对第一特征图进行处理，在生成不同目标分辨率的重建图像的过程中，各个输出节点共 享第二神经网络中的层。这样能够减小用于生成重建图像的神经网络(包括第一神经网络 和第二神经网络)的大小，减小了用于生成重建图像的神经网络占用解码器的存储空间， 从而降低了用于生成重建图像的神经网络在解码器中的运行开销和运行复杂度。
[0016]在一种可能的实现方式中，当第一神经网络的数量为一个时，直接将目标输出节点输 出的第二特征图输入该一个网络，得到该一个神经网络输出的重建图像。当所述第一神经 网络的数量为多个，所述将所述目标输出节点输出的第二特征图输入所述第一神经网络， 得到所述第一神经网络输出的所述重建图像，包括：将所述第二特征图输入所述目标输出 节点连接的第一神经网络，得到所述目标输出节点连接的第一神经网络输出的所述重建图 像。
[0017]在一种可能的实现方式中，当所述目标分辨率的个数为多个，所述目标输出节点的个 数为多个，所述将所述第一特征图输入所述第二神经网络，得到所述第二神经网络的目标 输出节点输出的所述第二特征图，包括：将所述第一特征图输入所述第二神经网络，得到 所述第二神经网络的多个目标输出节点输出的多个分辨率的第二特征图；所述将所述第二 特征图输入所述目标输出节点连接的第一神经网络，得到所述目标输出节点连接的第一神 经网络输出的所述重建图像，包括：将每个所述目标输出节点输出的第二特征图输入所述 目标输出节点连接的第一神经网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种解码方法，其特征在于，所述方法包括：对码流进行解码得到第一特征图，所述第一特征图的分辨率小于原始图像的分辨率；根据第一神经网络对第二特征图进行重建，得到重建图像，所述第二特征图和所述重建图像的分辨率均为目标分辨率，所述目标分辨率小于所述原始图像的分辨率，其中所述第二特征图为所述第一特征图、或所述第二特征图为通过第二神经网络对所述第一特征图进行处理得到的特征图。2.根据权利要求1所述的方法，其特征在于，当所述第二特征图为通过所述第二神经网络对所述第一特征图进行处理得到的特征图，所述第二神经网络包括一个或多个输出节点和多个卷积层，所述输出节点位于第一层卷积层的输出端与最后一层卷积层的输入端之间，所述输出节点与所述第一神经网络的输入端连接，所述方法还包括：将所述第一特征图输入所述第二神经网络，得到所述第二神经网络的目标输出节点输出的所述第二特征图，所述目标输出节点属于所述一个或多个输出节点；所述根据第一神经网络对第二特征图进行重建，得到重建图像，包括：将所述目标输出节点输出的第二特征图输入所述第一神经网络，得到所述第一神经网络输出的所述重建图像。3.根据权利要求2所述的方法，其特征在于，当所述第一神经网络的数量为多个，所述将所述目标输出节点输出的第二特征图输入所述第一神经网络，得到所述第一神经网络输出的所述重建图像，包括：将所述第二特征图输入所述目标输出节点连接的第一神经网络，得到所述目标输出节点连接的第一神经网络输出的所述重建图像。4.根据权利要求2所述的方法，其特征在于，当所述目标分辨率的个数为多个，所述目标输出节点的个数为多个，所述将所述第一特征图输入所述第二神经网络，得到所述第二神经网络的目标输出节点输出的所述第二特征图，包括：将所述第一特征图输入所述第二神经网络，得到所述第二神经网络的多个目标输出节点输出的多个分辨率的第二特征图；所述将所述第二特征图输入所述目标输出节点连接的第一神经网络，得到所述目标输出节点连接的第一神经网络输出的所述重建图像，包括：将每个所述目标输出节点输出的第二特征图输入所述目标输出节点连接的第一神经网络，得到所述多个目标输出节点分别连接的第一神经网络输出的多个分辨率的重建图像。5.根据权利要求2至4任一项所述的方法，其特征在于，当所述第二神经网络包括多个输出节点，每个所述输出节点对应一个输出分辨率，所述方法还包括：确定所述目标分辨率；将输出分辨率为所述目标分辨率的输出节点确定为所述目标输出节点。6.根据权利要求1至5任一项所述的方法，其特征在于，所述第一神经网络包括至少一个卷积层，所述至少一个卷积层的卷积步长为1。7.根据权利要求1至6任一项所述的方法，其特征在于，所述码流对应M1个通道的二维特征图，所述对码流进行解码得到第一特征图，包括：对所述M1个通道中M2个通道的二维特征图对应的码流进行解码，得到所述第一特征
图，M2<M1，所述第一特征图包括所述M2个通道的二维特征图。8.根据权利要求7所述的方法，其特征在于，所述方法还包括：对所述重建图像进行上采样处理，得到第一图像，所述第一图像的分辨率与所述原始图像的分辨率相同。9.根据...

【专利技术属性】
技术研发人员：杨海涛，赵寅，张恋，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：