图像编码方法和装置制造方法及图纸

提供一种图像编码方法和装置。该方法包括获取待编码图像；根据待编码图像，通过训练出的神经网络模型，得到待编码图像对应的最优编码参数；根据待编码图像对应的最优编码参数，对待编码图像进行编码。利用训练出的神经网络模型自动选取待编码图像对应的最优编码参数，然后利用该待编码图像对应的最优编码参数对该待编码图像进行编码，这种处理方式充分考虑了各待编码图像之间的差异性，可以为各待编码图像选取与其最为匹配的编码参数，提高了待编码图像的编码质量。

Image coding method and device

【技术实现步骤摘要】
【国外来华专利技术】图像编码方法和装置版权申明本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
本申请涉及图像编解码领域，并且更为具体地，涉及一种图像编码方法和装置。
技术介绍
随着图像或视频技术的快速发展，如何提高图像的编解码质量成为人们关心的热点问题。对于图像编解码质量而言，编码参数的选取尤为关键。传统编解码技术通常采用固定的编码参数对待编码图像进行编码，或者采用人工方式选择待编码图像的编码参数，导致待编码图像的编码质量较差。
技术实现思路
本申请提供一种图像编码方法和装置，能够提高待编码图像的编码质量。第一方面，提供一种图像编码方法，包括：获取待编码图像；根据所述待编码图像，通过训练出的神经网络模型，得到所述待编码图像对应的最优编码参数；根据所述待编码图像对应的最优编码参数，对所述待编码图像进行编码。第二方面，提供一种图像编码装置，包括：存储器，用于存储程序；处理器，用于执行所述存储器中存储的程序，以执行如下操作：获取待编码图像；根据所述待编码图像，通过训练出的神经网络模型，得到所述待编码图像对应的最优编码参数；根据所述待编码图像对应的最优编码参数，对所述待编码图像进行编码。第三方面，提供一种图像编码装置包括用于执行第一方面的方法的模块。第四方面，提供一种计算机可读存储介质，其上存储有用于执行第一方面中的方法的指令。第五方面，提供一种计算机程序产品，包括用于执行第一方面中的方法的指令。本申请首先利用训练出的神经网络模型自动选取待编码图像对应的最优编码参数，然后利用该待编码图像对应的最优编码参数对该待编码图像进行编码。上述图像编码方式充分考虑了各待编码图像之间的差异性，为各待编码图像选取与其最为匹配的编码参数，从而可以提高待编码图像的编码质量。附图说明图1是传统图像编码过程示意图。图2是本申请实施例提供的图像编码方法的示意性流程图。图3是本申请实施例提供的图像编码过程示意图。图4是本申请实施例提供的神经网络模型对待编码图像的处理方式的示例图。图5是本申请实施例提供的神经网络模型的示意性结构图。图6是本申请实施例提供的空间金字塔池化的实现过程的示意图。图7是本申请实施例提供的输入图像格式与通道数量的配置方式的示例图。图8是本申请实施例提供的神经网络模型的训练过程的示意图。图9是本申请实施例提供的神经网络模型的训练步骤的示意性流程图。图10是本申请实施例提供的图像编码装置的示意性结构图。具体实施方式本申请实施例可适用于标准或非标准的图像或视频编码器。例如，可适用于JPEG(jointphotograthicexpertsgroup)，JPEG2000，H.264，H.265等标准的编码器。为了便于理解，先结合图1，对传统图像编码过程(或视频编码过程)进行简单介绍。如图1所示，在接收到待编码图像之后，传统图像编码过程通常包括变换12、量化14和熵编码16等过程，最终输出待编码图像的码流。解码端通常是按照上述过程的逆过程对接收到的码流进行解码，以恢复出编码前的图像信息。本申请实施例提及的编码参数可以指编码过程中需要使用的任意参数，例如可以包括以下参数中的一种或多种：用于指示待编码图像的变换方式的参数(或称变换过程的相关参数)，用于指示待编码图像的量化方式的参数(或称量化过程的相关参数)，以及用于指示待编码图像的熵编码方式的参数(或称熵编码过程的相关参数)。变换过程的相关参数例如可以包括指示变换方式和/或变换精度的参数。变化方式可包括离散余弦变换(discretecosinetransform，DCT)、离散小波变换(discretewavelettransform，DWT)等。量化过程的相关参数例如可以包括指示量化参数的选取方式的参数，以及指示量化表的设计方式的参数。熵编码过程的相关参数例如可以包括指示熵编码方式的参数，指示熵编码的概率分布的估计的参数等。熵编码方式例如可以是香浓编码，霍夫曼编码或算数编码等。传统的图像编码过程中，编码参数的取值一般为固定值，即无论待编码图像是否相同，均采用统一的编码参数进行编码，没有针对各图像的差异为其选取合适的编码参数，导致编码参数的普适性较差。有些厂商提出了编码参数的优化方案，但此类优化方案大多需要采用人工的方式对编码参数进行优化，人工的编码参数优化方式对编码人员的专业素质要求较高，存在耗时耗力、实现复杂等问题。考虑到图像之间的差异性，本申请实施例从深度学习的角度出发，提出一种根据图像自身的特征，采用神经网络模型自适应地为待编码图像选取最优编码参数的图像编码方案，以期提高图像的编码质量。为了便于理解，在详细介绍本申请实施例提供的图像编码方式之前，先对深度学习和神经网络模型的概念进行简单介绍。深度学习起源于对神经网络的研究。20世纪60年代，受神经科学对人脑结构研究的启发，为了让机器也具有类似人一样的智能，人工神经网络被提出，用于模拟人脑处理数据的流程。20世纪80年代中期，反向传播(backpropogation，BP)算法的提出，提供了一条如何学习含有多隐层结构的神经网络模型的途径，让神经网络研究得高速发展。但是，由于传统的神经网络基本都是全连接网络，导致在输入维度较大的情况下网络参数太多，难以训练。为此，针对高维数据的神经网络的研究一直处于停滞状态。但是，随着卷积神经网络(convolutionalneuralnetwork，CNN)等神经网络模型的提出，解决了神经网络模型参数太多、难以训练的问题，也使得神经网络模型在各个领域的应用越来越多。目前，基于深度学习的神经网络模型被广泛应用于图像领域，如广泛应用于图像中的目标检测、人脸识别，并取得了极大的成功。相对于传统图像检测算法，基于深度学习的神经网络模型不需要人为选择特征，而是通过学习的方式训练神经网络模型提取图像的特征，然后将提取出的图像特征用于后续的决策，从而实现图像的分类、识别等功能。本申请实施例利用神经网络模型对图像的编码参数进行优化，以期提高图像的编码质量。下面结合图2，对本申请实施例提供的图像编码方法进行详细介绍。在步骤22，获取待编码图像。本申请实施例对待编码图像的图像格式不做具体限定，可以是YUV格式的图像，也可以是RGB格式的图像。在步骤24，根据待编码图像，通过训练出的神经网络模型，得到待编码图像对应的最优编码参数。上述神经网络模型可用于指示待编码图像与其对应的最优编码参数之间的映射关系。例如，神经网络模型可以直接输出待编码图像对应的最优编码参数；又如，神经网络模型可以输出预设的各个候选编码参数为最优编码参数的概率，然后可以再利用一个参数选取模块(或参数选取步骤)从中选取概率最大的候选编码参数作为待编码图像对应的最本文档来自技高网...

【技术保护点】
1.一种图像编码方法，其特征在于，包括：/n获取待编码图像；/n根据所述待编码图像，通过训练出的神经网络模型，得到所述待编码图像对应的最优编码参数；/n根据所述待编码图像对应的最优编码参数，对所述待编码图像进行编码。/n

【技术特征摘要】
【国外来华专利技术】1.一种图像编码方法，其特征在于，包括：
获取待编码图像；
根据所述待编码图像，通过训练出的神经网络模型，得到所述待编码图像对应的最优编码参数；
根据所述待编码图像对应的最优编码参数，对所述待编码图像进行编码。


2.根据权利要求1所述的方法，其特征在于，所述神经网络模型用于对所述待编码图像进行特征提取，得到特征向量；并根据所述特征向量，确定所述待编码图像对应的最优编码参数。


3.根据权利要求2所述的方法，其特征在于，所述根据所述特征向量，确定所述待编码图像对应的最优编码参数，包括：
根据所述特征向量，生成输出向量，所述输出向量用于表示预先设定的多个候选编码参数各自为最优编码参数的概率；
根据多个所述候选编码参数各自为最优编码参数的概率，从多个所述候选编码参数中选取概率最大的作为所述待编码图像对应的最优编码参数。


4.根据权利要求1-3中任一项所述的方法，其特征在于，在所述获取待编码图像之前，所述方法还包括：
根据最优编码参数已知的输入图像对所述神经网络模型进行训练。


5.根据权利要求4所述的方法，其特征在于，所述神经网络模型的训练过程采用交叉熵函数为损失函数。


6.根据权利要求4或5所述的方法，其特征在于，所述输入图像的数据为经过归一化的数据。


7.根据权利要求4-6中任一项所述的方法，其特征在于，所述输入图像的数据为双通道数据，所述双通道数据之一包括所述输入图像的两个颜色分量对应的数据。


8.根据权利要求4-6中任一项所述的方法，其特征在于，所述输入图像的数据为单通道数据，所述单通道数据包括所述输入图像的各个颜色分量对应的数据。


9.根据权利要求7或8所述的方法，其特征在于，所述输入图像的数据为YUV或RGB格式的数据。


10.根据权利要求4-9中任一项所述的方法，其特征在于，所述输入图像包括第一图像集合和第二图像集合，所述第一图像集合中的各图像具有相同的分辨率，所述第二图像集合中的图像的分辨率不同于所述第一图像集合中的图像的分辨率，
所述根据最优编码参数已知的输入图像对所述神经网络模型进行训练，包括：
采用所述第一图像集合中的图像对所述神经网络模型进行训练，得到所述神经网络模型的参数；
采用所述第二图像集合中的图像对所述神经网络模型的参数进行修正。


11.根据权利要求1-10中任一项所述的方法，其特征在于，所述根据所述待编码图像对应的最优编码参数，对所述待编码图像进行编码，包括：
根据所述待编码图像对应的最优编码参数，采用标准或非标准编码器对所述待编码图像进行编码。


12.根据权利要求1-11中任一项所述的方法，其特征在于，所述待编码图像对应的最优编码参数包括以下中的至少一种：用于指示所述待编码图像的变换方式的参数，用于指示所述待编码图像的量化方式的参数，以及用于指示所述待编码图像的熵编码方式的参数。


13.一种图像编码装置，其特征在于，包括：
存储器，用于存储程序；
处理器，用于执行所述存储器中存储的程序，以执行如下操作：
获取待编码图像；
根据所述待编码图像，通过训练出的神经网络模型，得到所述待编码图像对...

【专利技术属性】
技术研发人员：赵文军，牛兵兵，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44