一种图像解码、编码方法、装置及其设备制造方法及图纸

本申请提供一种图像解码、编码方法、装置及其设备，该图像解码方法包括：获取编码比特流，所述编码比特流携带编码图像序列数据；获取神经网络决策信息，并从神经网络集合中选择与所述神经网络决策信息对应的神经网络；利用选择的神经网络对所述编码图像序列数据进行解码。通过本申请的技术方案，可以使编码性能较高、使解码性能较高。而且，解码端使用的神经网络与编码端使用的神经网络相同，从而可以对编码图像序列数据进行正确的解码。

An image decoding and coding method, device and equipment

【技术实现步骤摘要】
一种图像解码、编码方法、装置及其设备
本申请涉及视频编解码领域，尤其是涉及一种图像解码、编码方法、装置及其设备。
技术介绍
神经网络(NeuralNetwork，NN)是一种非程序化、类大脑风格的信息处理方式，神经网络的本质是：通过网络变换和动力学行为得到一种并行分布式的信息处理功能，并在不同程度和层次上模仿人脑神经系统的信息处理功能。其中，神经网络是一种运算模型，其处理单元可以包括输入单元、输出单元和隐单元。输入单元用于接受外部的信号与数据，输出单元用于实现处理结果的输出，而隐单元是处在输入单元和输出单元之间、且不能由外部观察的单元。由于神经网络能够在训练数据驱动下，自适应地构建特征描述，具有更高的灵活性和普适性，因此，神经网络在图像分类、目标检测、图像编码和图像解码等领域得到了广泛应用。其中，为了实现图像编码和图像解码，在编码端和解码端设置相同的神经网络，编码端使用该神经网络进行图像编码，解码端使用该神经网络进行图像解码，从而利用该神经网络实现图像编码和图像解码。上述方式是使用固定的神经网络实现图像编码和图像解码，编码性能、解码性能可能较低。例如，在编码端和解码端设置神经网络A，而神经网络A可能并不适合进行图像编码和图像解码，因此，导致编码性能、解码性能较低。
技术实现思路
本申请提供了一种图像解码、编码方法、装置及其设备，可以提高编码性能，并可以提高解码性能。本申请提供一种图像解码方法，应用于解码端，所述方法包括：获取编码比特流，所述编码比特流携带编码图像序列数据；获取神经网络决策信息，并从神经网络集合中选择与所述神经网络决策信息对应的神经网络；利用选择的神经网络对所述编码图像序列数据进行解码。本申请提供一种图像编码方法，应用于编码端，所述方法包括：从神经网络集合选择神经网络；利用选择的神经网络对图像序列数据进行编码，得到编码图像序列数据；向解码端发送编码比特流，所述编码比特流携带所述编码图像序列数据。本申请提供一种图像解码装置，应用于解码端，所述装置包括：获取模块，用于获取编码比特流，所述编码比特流携带编码图像序列数据；选择模块，用于获取神经网络决策信息，并从神经网络集合中选择与所述神经网络决策信息对应的神经网络；解码模块，用于利用选择的神经网络对所述编码图像序列数据进行解码。本申请提供一种图像编码装置，应用于编码端，所述装置包括：选择模块，用于从神经网络集合中选择神经网络；编码模块，用于利用选择的神经网络对图像序列数据进行编码，得到编码图像序列数据；发送模块，用于向解码端发送编码比特流，所述编码比特流携带所述编码图像序列数据。本申请提供一种解码端设备，处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现上述的图像解码方法。本申请提供一种编码端设备，处理器和机器可读存储介质，所述机器可读存储介质存储有能够被所述处理器执行的机器可执行指令；所述处理器用于执行机器可执行指令，以实现上述的图像编码方法。由以上技术方案可见，本申请实施例中，编码端可以从神经网络集合的多个神经网络中选择一个神经网络，并使用该神经网络对图像序列数据进行编码，而不是使用固定的神经网络对图像序列数据进行编码，从而使编码性能较高。解码端可以从神经网络集合的多个神经网络中选择一个神经网络，并使用该神经网络对编码图像序列数据进行解码，而不是使用固定的神经网络对编码图像序列数据进行解码，从而使解码性能较高。此外，解码端使用的神经网络与编码端使用的神经网络相同，从而可以对编码图像序列数据进行正确的解码。附图说明图1是本申请一种实施方式中的图像编码方法的流程图；图2是本申请另一种实施方式中的图像编码方法的流程图；图3是本申请一种实施方式中的图像解码方法的流程图；图4是本申请另一种实施方式中的图像解码方法的流程图；图5是本申请一种实施方式中的图像解码装置的结构图；图6是本申请一种实施方式中的图像编码装置的结构图；图7是本申请一种实施方式中的解码端设备的硬件结构图；图8是本申请一种实施方式中的编码端设备的硬件结构图。具体实施方式在本申请实施例使用的术语仅仅是出于描述特定实施例的目的，而非限制本申请。本申请和权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其它含义。还应当理解，本文中使用的术语“和/或”是指包含一个或多个相关联的列出项目的任何或所有可能组合。应当理解，尽管在本申请实施例可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，此外，所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。本申请实施例提出一种图像编码方法、与该图像编码方法对应的图像解码方法。在编码端，可以设置神经网络集合，该神经网络集合可以包括至少一个神经网络；在对图像序列数据进行编码时，是从神经网络集合中选择一个神经网络，并利用选择的神经网络对图像序列数据进行编码，而不是使用固定的神经网络对图像序列数据进行编码。在解码端，设置与编码端相同的神经网络集合，在对编码图像序列数据进行解码时，是从神经网络集合中选择一个神经网络(与编码端选择的神经网络相同)，并利用选择的神经网络对编码图像序列数据进行解码，而不是使用固定的神经网络对编码图像序列数据进行解码。在传统方式中，是使用固定的神经网络进行编码和解码，由于神经网络仍处于快速迭代的过程，新神经网络层出不穷，因此，哪个神经网络的性能最优还无法确定。例如，在对图像序列数据A进行编码时，神经网络1的性能优于神经网络2的性能，在对图像序列数据B进行编码时，神经网络2的性能优于神经网络1的性能。显然，编码端在使用固定的神经网络(如神经网络1)对图像序列数据B进行编码时，编码性能较低。解码端在使用固定的神经网络(如神经网络1)对图像序列数据B的编码图像序列数据进行解码时，解码性能较低。与上述方式不同的是，本申请实施例中，在编码端和解码端的神经网络集合中，均可以包括神经网络1和神经网络2。在对图像序列数据A进行编码时，编码端可以从神经网络集合中选择神经网络1，并使用神经网络1对图像序列数据A进行编码，从而提高编码性能；在对图像序列数据B进行编码时，编码端可以从神经网络集合中选择神经网络2，并使用神经网络2对图像序列数据B进行编码，从而提高编码性能。同理，解码端可以从神经网络集合中选择神经网络1，并使用神经网络1对图像序列数据A的编码图像序列数据进行解码，从而提高解码性能。解码端可以从神经网络集合中选择神经网络2，并使用神经网络2对图像序列数据B的编码图像序列数据进行解码，从而提高解码性能。以下结合具体实施例，对图像编码方法、图像解码方法进行详细说明。实施例一：参见图1所示，为图像编码方法的一个流程示意图，该方法可以包括：步骤101，编码端从神经网络集合选择神经网络，该神经网络集合包括至少一个神经网络。其中，在神经网络集合内的神经网络，可以包括但不限于：卷积神经网络(简称CNN)、循环神经网络(简称RNN)、全本文档来自技高网...

【技术保护点】
1.一种图像解码方法，其特征在于，应用于解码端，所述方法包括：获取编码比特流，所述编码比特流携带编码图像序列数据；获取神经网络决策信息，并从神经网络集合中选择与所述神经网络决策信息对应的神经网络；利用选择的神经网络对所述编码图像序列数据进行解码。

【技术特征摘要】
1.一种图像解码方法，其特征在于，应用于解码端，所述方法包括：获取编码比特流，所述编码比特流携带编码图像序列数据；获取神经网络决策信息，并从神经网络集合中选择与所述神经网络决策信息对应的神经网络；利用选择的神经网络对所述编码图像序列数据进行解码。2.根据权利要求1所述的方法，其特征在于，所述获取神经网络决策信息，并从神经网络集合中选择与所述神经网络决策信息对应的神经网络，包括：若所述编码比特流携带神经网络的索引值，则将所述索引值确定为所述神经网络决策信息，并从神经网络集合中选择与所述索引值对应的神经网络。3.根据权利要求2所述的方法，其特征在于，所述索引值是采用可变长度编码策略编码的索引值，所述获取编码比特流之后，还包括：采用可变长度解码策略对编码比特流进行解码，得到神经网络的索引值。4.根据权利要求1所述的方法，其特征在于，所述获取神经网络决策信息，并从神经网络集合中选择与所述神经网络决策信息对应的神经网络，包括：根据神经网络决策策略确定神经网络的索引值，并将所述索引值确定为所述神经网络决策信息，并从神经网络集合中选择与所述索引值对应的神经网络。5.根据权利要求4所述的方法，其特征在于，所述根据神经网络决策策略确定神经网络的索引值，包括：若神经网络决策策略为默认索引值，将默认索引值确定为神经网络的索引值；或，若神经网络决策策略为上次索引值，将上次使用的索引值确定为神经网络的索引值。6.根据权利要求1所述的方法，其特征在于，所述从神经网络集合中选择与所述神经网络决策信息对应的神经网络之前，所述方法还包括：获取神经网络集合决策信息，并确定与所述神经网络集合决策信息对应的神经网络集合。7.根据权利要求6所述的方法，其特征在于，所述获取神经网络集合决策信息，并确定与所述神经网络集合决策信息对应的神经网络集合，包括：若所述编码比特流携带神经网络集合的标识，则将所述标识确定为所述神经网络集合决策信息，并确定与所述标识对应的神经网络集合。8.根据权利要求7所述的方法，其特征在于，所述标识是采用可变长度编码策略编码的标识，所述获取编码比特流之后，还包括：采用可变长度解码策略对所述编码比特流进行解码，得到神经网络集合的标识。9.根据权利要求6所述的方法，其特征在于，所述获取神经网络集合决策信息，并确定与所述神经网络集合决策信息对应的神经网络集合，包括：根据神经网络集合决策策略确定神经网络集合的标识，并将所述标识确定为所述神经网络集合决策信息，并确定与所述标识对应的神经网络集合。10.根据权利要求1所述的方法，其特征在于，所述神经网络集合包括的至少一个神经网络，按照实际使用频率从大到小的顺序进行排序，或者，按照实际使用频率从小到大的顺序进行排序。11.一种图像编码方法，其特征在于，应用于编码端，所述方法包括：从神经网络集合选择神经网络；利用选择的神经网络对图像序列数据进行编码，得到编码图像序列数据；向解码端发送编码比特流，所述编码比特流携带所述编码图像序列数据。12.根据权利要求11所述的方法，其特征在于，所述从神经网络集合选择神经网络，包括：根据所述神经网络集合中每个神经网络的性能参数，从所述神经网络集合中选择神经网络。13.根据权利要求12所述的方法，其特征在于，所述根据所述神经网络集合中每个神经网络的性能参数，从所述神经网络集合中选择神经网络，包括：根据所述编码端的运算能力、所述神经网络集合中每个神经网络的运算复杂度，从所述神经网络集合中选择神经网络；或者，获取所述神经网络集合中每个神经网络的编码性能，从所述神经网络集合中选择编码性能最优的神经网络。14.根据权利要求11所述的方法，其特征在于，所述从神经网络集合选择神经网络之后，所述方法还包括：确定选择的神经网络在所述神经网络集合中的索引值；所述向解码端发送编码比特流时，在所述编码比特流中添加所述索引值。15.根据权利要求14所述的方法，其特征在于，所述在所述编码比特流中添加所述索引值，包括：采用可变长度编码策略编码所述索引值，并在所述...

【专利技术属性】
技术研发人员：陈方栋，王莉，武晓阳，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江,33