编码方法、解码方法、编码设备和解码设备技术

一种编码方法(100)、解码方法、编码设备和解码设备，该编码方法(100)包括：对待编码图像进行编码以生成码流，该待编码图像包括不输出图像和输出图像，该输出图像中显示顺序相邻的任意两个输出图像的图像顺序序号的差大于1，该输出图像中的任意两个输出图像的图像顺序序号的差与该任意两个输出图像的拍摄时间间隔的比值相同，至少一个该不输出图像的图像顺序序号在显示顺序相邻的两个输出图像的图像顺序序号之间(S110)；发送该码流(S120)。编码方法(100)使得不输出图像可以在不影响输出图像的POC的时间相关性的情况下，被插入输出图像中，能够避免编码时出现运动矢量预测错误及缩放失效等问题。

Encoding method, decoding method, encoding device and decoding device

【技术实现步骤摘要】
【国外来华专利技术】编码方法、解码方法、编码设备和解码设备版权申明本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
本申请涉及视频编解码领域，尤其涉及一种编码方法、解码方法、编码设备和解码设备。
技术介绍
在现有的一些视频编解码技术中，编码设备会对一些特定图像进行编码并将其在码流中进行传输。这些特定图像被解码设备解码，并用于作为参考图像或作为其它参考，其不被解码设备输出。本文中将这些特定图像称为不输出图像。现有的视频编解码技术通常不在码流中对不输出图像进行编码，而是在编码设备和解码设备两端分别构造不输出图像。在解码设备构造不输出图像会造成解码设备的处理较为复杂，因此在另外一些视频编解码技术中，编码设备编码时在输出图像中插入不输出图像，然后将所有图像进行图像顺序序号(pictureordercount，POC)的连续编码。然而，不输出图像的随意插入会导致输出图像的POC的时间相关性被破坏，从而可能会引起编码或解码时运动矢量预测错误及缩放失效等问题。
技术实现思路
本申请提供了一种编码方法、解码方法、编码设备和解码设备，能够避免编码时出现运动矢量预测错误及缩放失效等问题。第一方面，提供了一种编码方法，包括：对待编码图像进行编码以生成码流，所述待编码图像包括不输出图像和输出图像，所述输出图像中显示顺序相邻的任意两个输出图像的图像顺序序号的差大于1，所述输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值相同，至少一个所述不输出图像的图像顺序序号在显示顺序相邻的两个输出图像的图像顺序序号之间；发送所述码流。第二方面，提供了一种解码方法，包括：接收码流，所述码流中包括不输出图像和输出图像的待解码数据，所述输出图像中显示顺序相邻的任意两个输出图像的图像顺序序号的差大于1，所述输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值相同，至少一个所述不输出图像的图像顺序序号在显示顺序相邻的两个输出图像的图像顺序序号之间；对所述码流进行解码。第三方面，提供了一种编码设备，所述编码设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器执行所述计算机指令时，使得所述编码设备执行以下步骤：对待编码图像进行编码以生成码流，所述待编码图像包括不输出图像和输出图像，所述输出图像中显示顺序相邻的任意两个输出图像的图像顺序序号的差大于1，所述输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值相同，至少一个所述不输出图像的图像顺序序号在显示顺序相邻的两个输出图像的图像顺序序号之间；发送所述码流。第四方面，提供了一种解码设备，所述解码设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器执行所述计算机指令时，使得所述解码设备执行以下步骤：接收码流，所述码流中包括不输出图像和输出图像的待解码数据，所述输出图像中显示顺序相邻的任意两个输出图像的图像顺序序号的差大于1，所述输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值相同，至少一个所述不输出图像的图像顺序序号在显示顺序相邻的两个输出图像的图像顺序序号之间；对所述码流进行解码。第五方面，提供了一种计算机可读存储介质，其上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行第一方面所述的方法。第六方面，提供了一种计算机可读存储介质，其上存储有指令，当所述指令在计算机上运行时，使得所述计算机执行第二方面所述的方法。第七方面，提供了一种计算机程序，该计算机程序使得计算机执行第一方面的方法。第八方面，提供了一种计算机程序，该计算机程序使得计算机执行第二方面的方法。本申请各方面，将不输出图像编入码流中，通过使得输出图像中显示顺序相邻的任意两个输出图像的POC的差大于1，输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值相同，并且POC上相邻的两个输出图像的POC之间可以存在不输出图像的POC，这样使得不输出图像可以在不影响输出图像的POC的时间相关性的情况下，被插入输出图像中，能够避免编码时出现运动矢量预测错误及缩放失效等问题。附图说明图1是本申请一个实施例提供的编码方法的示意性流程图。图2是本申请一个实施例提供的GOP中图像的参考关系的示意图。图3是本申请另一个实施例提供的GOP中图像的参考关系的示意图。图4是本申请又一个实施例提供的GOP中图像的参考关系的示意图。图5是本申请又一个实施例提供的GOP中图像的参考关系的示意图。图6是本申请一个实施例提供的解码方法的示意性流程图。图7是本申请一个实施例提供的编码设备的示意性框图。图8是本申请另一个实施例提供的编码设备的示意性框图。图9是本申请一个实施例提供的解码设备的示意性框图。图10是本申请另一个实施例提供的解码设备的示意性框图。具体实施方式下面将结合附图，对本申请实施例中的技术方案进行描述。除非另有定义，本文所使用的所有的技术和科学术语与属于本申请的
的技术人员通常理解的含义相同。本文中在本申请的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本申请。首先介绍本申请实施例涉及的相关技术及概念。近年来，由于便携式设备、手持式设备以及可穿戴设备的盛行，视频的内容量不断增长。随着视频形式变得越来越复杂，视频的存储和传输变得越来越具有挑战性。为了减少视频存储和传输所占用的带宽，通常在编码端对视频数据进行编码压缩，在解码端进行解码。编码压缩过程包括预测、变换、量化和熵编码等处理。其中，预测包括帧内预测和帧间预测两种类型，其目的在于利用预测块数据去除当前待编码图像块的冗余信息。帧内预测利用本帧图像的信息获得预测块数据。帧间预测利用参考图像的信息获得预测块数据，其过程包括将当前待编码图像划分成若干个待编码图像块，再针对待编码图像块进行至少一次的划分(例如利用HEVC标准中的四叉树划分方法，或者利用四叉树二叉树划分方法)，划分成若干个图像块；然后，针对每个子图像块，在参考图像中搜索与当前子图像块最匹配的图像块作为预测图像块，预测图像块与当前子图像块的相对位移即为运动矢量；其后，将该子图像块与预测图像块的相应像素值相减得到残差。将得到的各子图像块对应的残差组合在一起，得到待编码图像块的残差。残差经过变换、量化和熵编码等处理后得到熵编码比特流，将熵编码比特流及进行编码后的编码模式信息，例如帧内预测模式、运动矢量(或运动矢量残差)等信息，进行存储或发送到解码端。在图像的解码端，获得熵编码比特流后进行熵解码，得到相应的残差；根据解码得到的运动矢量、帧内预测等信息找到待解码图像块对应的预测图像块；根据预测图像块与残差得到待解码图像块中本文档来自技高网...

【技术保护点】
1.一种编码方法，其特征在于，包括：/n对待编码图像进行编码，所述待编码图像包括不输出图像和输出图像，所述输出图像中显示顺序相邻的任意两个输出图像的图像顺序序号的差大于1，所述输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值相同，至少一个所述不输出图像的图像顺序序号在显示顺序相邻的两个输出图像的图像顺序序号之间；/n生成所述带编码图像的码流。/n

【技术特征摘要】
【国外来华专利技术】1.一种编码方法，其特征在于，包括：
对待编码图像进行编码，所述待编码图像包括不输出图像和输出图像，所述输出图像中显示顺序相邻的任意两个输出图像的图像顺序序号的差大于1，所述输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值相同，至少一个所述不输出图像的图像顺序序号在显示顺序相邻的两个输出图像的图像顺序序号之间；
生成所述带编码图像的码流。


2.根据权利要求1所述的编码方法，其特征在于，所述输出图像中，至少部分显示顺序相邻的两个输出图像的图像顺序序号的差相等。


3.根据权利要求1或2所述的编码方法，其特征在于，所述显示顺序相邻的任意两个输出图像的图像顺序序号的差是2。


4.根据权利要求1至3中任一项所述的编码方法，其特征在于，在所述对待编码图像进行编码以生成码流之前，所述编码方法还包括：
将所述待编码图像划分为多个图像组，所述图像组由单独的帧内预测图像组成，或者由多个帧间预测图像组成。


5.根据权利要求1至4中任一项所述的编码方法，其特征在于，所述待编码图像包括第一不输出图像，所述第一不输出图像的编码顺序在第一图像组之后且在第二图像组之前。


6.根据权利要求5所述的编码方法，其特征在于，所述对待编码图像进行编码以生成码流，包括：
参考与所述第一图像组中的最后一个图像所使用的短期参考图像相同的短期参考图像，对所述第一不输出图像进行编码。


7.根据权利要求5所述的编码方法，其特征在于，所述对待编码图像进行编码以生成码流，包括：
参考与所述第二图像组中的第一个图像所使用的短期参考图像相同的短期参考图像，对所述第一不输出图像进行编码。


8.根据权利要求1至7中任一项所述的编码方法，其特征在于，所述待编码图像包括第二不输出图像，所述码流中包括用于指示编码所述第二不输出图像所使用的第一类参考图像集的信息，所述第一类参考图像集包括短期参考图像。


9.根据权利要求8所述的编码方法，其特征在于，所述码流的序列头中包括至少一帧短期参考图像的配置参数与索引的对应关系；
所述第一类参考图像集的信息包括：
用于指示所述第二不输出图像所使用的短期参考图像的配置参数对应的索引。


10.根据权利要求8所述的编码方法，其特征在于，所述第一类参考图像集的信息包括：
用于指示所述第二不输出图像所使用的短期参考图像的配置参数。


11.根据权利要求9或10所述的编码方法，其特征在于，所述第一类参考图像集的信息位于所述第二不输出图像的条带头内。


12.根据权利要求9至11中任一项所述的编码方法，其特征在于，所述第二不输出图像所使用的短期参考图像的配置参数包括：
所述第二不输出图像所使用的短期参考图像的图像顺序序号相对于所述第二不输出图像的图像顺序序号的偏移。


13.根据权利要求1至12中任一项所述的编码方法，其特征在于，所述码流中包括用于指示编码图像所使用的第二类参考图像集的信息，所述第二类参考图像集包括长期参考图像。


14.根据权利要求13所述的编码方法，其特征在于，所述第二类参考图像集的信息位于所述码流的序列头中，
所述第二类参考图像集的信息包括：
第三不输出图像的图像顺序序号，所述第三不输出图像作为所述序列头对应的序列中的图像的图像块的长期参考图像。


15.根据权利要求13或14所述的编码方法，其特征在于，所述第二类参考图像集的信息位于所述码流的图像的第一条带的条带头中，
所述第二类参考图像集的信息包括：作为所述第一条带中的图像块的长期参考图像的配置参数。


16.根据权利要求15所述的编码方法，其特征在于，所述作为所述第一条带中的图像块的长期参考图像的配置参数中，包括：
不输出图像的数量和不输出图像的图像顺序序号。


17.根据权利要求16所述的编码方法，其特征在于，所述作为所述第一条带中的图像块的长期参考图像的配置参数中，还包括：
用于指示不输出图像是否作为所述第一条带的长期参考图像的第一标识符。


18.根据权利要求17所述的编码方法，其特征在于，所述对待编码图像进行编码以生成码流，包括：
当所述第一标识符指示所述不输出图像中的第四不输出图像不作为所述第一条带中的图像块的长期参考图像时，将所述第四不输出图像从参考图像缓冲区中删除。


19.根据权利要求1至18中任一项所述的编码方法，其特征在于，所述码流的所述至少一个不输出图像中包括第五不输出图像和第六不输出图像，所述第六不输出图像在所述第五不输出图像之后完成编码；
所述对待编码图像进行编码以生成码流，包括：
以所述第五不输出图像作为长期参考图像，对编码顺序位于所述第一不输出图像之后且位于所述第六不输出图像之前的所述输出图像进行编码。


20.根据权利要求1至19中任一项所述的编码方法，其特征在于，所述编码方法还包括：
根据编码顺序位于所述不输出图像之前的多个图像的图像块，构造所述不输出图像。


21.根据权利要求20任一项所述的编码方法，其特征在于，所述根据编码顺序位于所述不输出图像之前的多个图像的图像块，构造所述不输出图像，包括：
基于原始图像，根据所述多个图像更新所述原始图像的图像块；
当被更新的图像块的数量大于或等于预设阈值时，将更新后的原始图像作为所述不输出图像。


22.根据权利要求21任一项所述的编码方法，其特征在于，所述原始图像为帧内预测图像。


23.根据权利要求1至22中任一项所述的编码方法，其特征在于，所述不输出图像的编码数据中包括用于指示不对所述不输出图像进行输出的第二标识符。


24.根据权利要求1至23中任一项所述的编码方法，其特征在于，所述不输出图像包括以下至少一种：长期参考图像、构造帧、短期参考图像、构造的长期参考图像。


25.一种解码方法，其特征在于，包括：
接收码流，所述码流中包括不输出图像和输出图像的待解码数据，所述输出图像中显示顺序相邻的任意两个输出图像的图像顺序序号的差大于1，所述输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值相同，至少一个所述不输出图像的图像顺序序号在显示顺序相邻的两个输出图像的图像顺序序号之间；
对所述码流进行解码。


26.根据权利要求25所述的编码方法，其特征在于所述输出图像中，至少部分显示顺序相邻的两个输出图像的图像顺序序号的差相等


27.根据权利要求25或26所述的解码方法，其特征在于，所述显示顺序相邻的任意两个输出图像的图像顺序序号的差是2。


28.根据权利要求25至27中任一项所述的解码方法，其特征在于，所述待编码图像包括第二不输出图像，所述码流中包括用于指示编码所述第二不输出图像所使用的第一类参考图像集的信息，所述第一类参考图像集包括短期参考图像。


29.根据权利要求28所述的解码方法，其特征在于，所述码流的序列头中包括至少一帧短期参考图像的配置参数与索引的对应关系；
所述第一类参考图像集的信息包括：
用于指示所述第二不输出图像所使用的短期参考图像的配置参数对应的索引。


30.根据权利要求28所述的解码方法，其特征在于，所述第一类参考图像集的信息包括：
用于指示所述第二不输出图像所使用的短期参考图像的配置参数。


31.根据权利要求29或30所述的解码方法，其特征在于，所述第一类参考图像集的信息位于所述第二不输出图像的条带头内。


32.根据权利要求29至31中任一项所述的解码方法，其特征在于，所述第二不输出图像所使用的短期参考图像的配置参数包括：
所述第二不输出图像所使用的短期参考图像的图像顺序序号相对于所述第二不输出图像的图像顺序序号的偏移。


33.根据权利要求25至32中任一项所述的解码方法，其特征在于，所述码流中包括用于指示编码图像所使用的第二类参考图像集的信息，所述第二类参考图像集包括长期参考图像。


34.根据权利要求33所述的解码方法，其特征在于，所述第二类参考图像集的信息位于所述码流的序列头中，
所述第二类参考图像集的信息包括：
第三不输出图像的图像顺序序号，所述第三不输出图像作为所述序列头对应的序列中的图像的图像块的长期参考图像。


35.根据权利要求33或34所述的解码方法，其特征在于，所述第二类参考图像集的信息位于所述码流的图像的第一条带的条带头中，
所述第二类参考图像集的信息包括：作为所述第一条带中的图像块的长期参考图像的配置参数。


36.根据权利要求35所述的解码方法，其特征在于，所述作为所述第一条带中的图像块的长期参考图像的配置参数中，包括：
不输出图像的数量和不输出图像的图像顺序序号。


37.根据权利要求36所述的解码方法，其特征在于，所述作为所述第一条带中的图像块的长期参考图像的配置参数中，还包括：
用于指示不输出图像是否作为所述第一条带的长期参考图像的第一标识符。


38.根据权利要求37所述的解码方法，其特征在于，所述对所述码流进行解码，包括：
当所述第一标识符指示所述不输出图像中的第四不输出图像不作为所述第一条带中的图像块的长期参考图像时，将所述第四不输出图像从参考图像缓冲区中删除。


39.根据权利要求25至38中任一项所述的解码方法，其特征在于，所述码流的所述至少一个不输出图像中包括第五不输出图像和第六不输出图像，所述第六不输出图像在所述第五不输出图像之后完成解码；
所述对所述码流进行解码，包括：
以所述第五不输出图像作为长期参考图像，对待解码顺序位于所述第一不输出图像之后且位于所述第六不输出图像之前的所述输出图像进行解码。


40.根据权利要求25至39中任一项所述的解码方法，其特征在于，所述不输出图像的编码数据中包括用于指示不对所述不输出图像进行输出的第二标识符。


41.根据权利要求25至40中任一项所述的解码方法，其特征在于，所述不输出图像包括以下至少一种：长期参考图像、构造帧、短期参考图像、构造的长期参考图像。


42.一种编码设备，其特征在于，所述编码设备包括处理器和存储器，所述存储器中存储有计算机指令，所述处理器执行所述计算机指令时，使得所述编码设备执行以下步骤：
对待编码图像进行编码以生成码流，所述待编码图像包括不输出图像和输出图像，所述输出图像中显示顺序相邻的任意两个输出图像的图像顺序序号的差大于1，所述输出图像中的任意两个输出图像的图像顺序序号的差与所述任意两个输出图像的拍摄时间间隔的比值相同，至少一个所述不输出图像的图像顺序序号在显示顺序相邻的两个输出图像的图像顺序序号之间；
发送所述码流。

【专利技术属性】
技术研发人员：郑萧桢，李蔚然，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44