图像编解码方法及装置制造方法及图纸

本申请提供一种图像编解码方法及装置，对于待编码视频序列中的待编码图像，可以从知识库图像集中的至少一幅知识库图像中选取参考图像，相对于待编码图像仅能从其所在的随机访问片段中选取参考图像来说，增加待编码图像可参考的参考图像的数量，即在一定程度上扩展待编码图像的参考图像的候选范围，进而有利于在一定程度上提高图像编码的效率，并且待编码图像的码流数据中包括用于标识待编码图像的参考图像的标识信息，这样即使参考图像被编码为基于全帧内模式编码或者帧间编码的随机访问图像，解码端在接收到码流数据后，解码端根据参考图像的标识信息可以查找到与其唯一对应的参考图像的重建图像，实现图像的正确解码。

Image codec method and device

The present application provides an image coding and decoding method and a device for selecting a reference image from at least one knowledge base image in the knowledge base image set for the pending image in a coded video sequence, and an additional code to be encoded relative to the selection of a reference image from the random access fragment in which the image is to be encoded. The number of reference images which can be referenced by the image, that is, to a certain extent, extends the candidate range of the reference image of the image to be encoded, and further improves the efficiency of the image coding to a certain extent, and the symbol information of the reference image for identifying the coded image is included in the code stream data of the coded image, so that even if the image is identified, the information of the reference image for the image to be encoded is included, so that even if the image is identified, The reference image is coded as a random access image based on the full frame pattern coding or inter frame coding. After receiving the stream data, the decoder can find the reconstructed image of the only corresponding reference image according to the identification information of the reference image, and realize the correct decoding of the image.

【技术实现步骤摘要】
图像编解码方法及装置
本申请涉及编解码
，更具体的说，尤其涉及图像编解码方法及装置。
技术介绍
在现有视频序列处理中，为了使编码后的视频序列支持随机访问功能，视频序列被分割成多个具有随机访问功能的片段(简称为随机访问片段)，如图1所示，一个视频序列包括至少一个随机访问片段，每个随机访问片段包括一幅随机访问图像以及多幅非随机访问图像。其中，一个随机访问片段中的图像可以进行帧内编码，或者，参考该随机访问片段中的其他图像利用帧间预测进行编码，这种帧间预测进行编码简称为帧间编码。然而在现有技术中，一个随机访问片段中的图像只能作为该随机访问片段中的其他图像的参考图像，即不允许跨随机访问点的帧间预测(Interprediction)，这种现有技术的机制会的限制图像编码和图像解码的效率。
技术实现思路
本申请提供一种图像编解码方法及装置，以提高图像编码和图像解码的效率，并根据码流数据中待解码图像的参考图像的标识信息，查找到唯一对应的图像，提高图像解码的正确率。技术方案如下：本申请的第一方面提供一种图像编码方法，所述方法包括：获取待编码视频序列的待编码图像以及知识库图像集中的至少一幅知识库图像；从所述至少一幅知识库图像中选取所述待编码图像的参考图像，其中，所述知识库图像集中的图像用于作为所述待编码视频序列中的图像的备选参考图像；根据所述参考图像对所述待编码图像进行帧间编码，从而获得所述待编码图像的码流数据，所述待编码图像的码流数据包括所述待编码图像的编码数据和用于标识所述参考图像的标识信息。由此可知，对于待编码视频序列中的待编码图像，可以从知识库图像集中的至少一幅知识库图像中选取参考图像，相对于待编码图像仅能从其所在的随机访问片段中选取参考图像来说，增加待编码图像可参考的参考图像的数量，即在一定程度上扩展待编码图像的参考图像的候选范围，进而有利于在一定程度上提高图像编码的效率，并且待编码图像的码流数据中包括用于标识待编码图像的参考图像的标识信息，这样即使参考图像被编码为基于全帧内模式编码或者帧间编码的随机访问图像，解码端在接收到码流数据后，解码端根据参考图像的标识信息可以查找到与其唯一对应的参考图像的重建图像，实现图像的正确解码。其中，在获取待编码视频序列的待编码图像以及知识库图像集中的至少一幅知识库图像之前，该方法还可以包括：从所述待编码视频序列中选取知识库图像作为知识库图像集中的部分或者全部的图像。其中，知识库图像集可以是待编码视频序列的子集，也可以与所述待编码视频序列有交集(知识库图像集中有不属于待编码视频序列的图像)，也可以与待编码视频序列无交集(比如基于待编码视频序列中的图像建模得到)。其中，用于标识所述参考图像的标识信息包括参考图像在知识库图像集中的编号。在一个实现方式中，所述待编码图像为所述待编码图像所在的随机访问片段中在解码顺序上的第一幅图像、第二幅图像和第三幅图像中的任意一幅图像。在一个实现方式中，所述至少一幅知识库图像中至少一幅图像不属于所述待编码图像所在的随机访问片段，使得不属于待编码图像所在的随机访问片段的图像也可能被选为参考图像，扩展了待编码图像的参考图像的候选范围。在一个实现方式中，所述知识库图像集中的图像可以是所述待编码视频序列中的背景图像、所述待编码视频序列中的场景切换图像、所述待编码视频序列中的图像建模得到的图像和所述待编码视频序列中的图像合成的图像中的至少一种图像。在一个实现方式中，所述知识库图像可以是待编码视频序列中的背景图像、待编码视频序列中的场景切换图像、待编码视频序列中的图像建模得到的图像和待编码视频序列中的图像合成的图像中的至少一种图像。在一个实现方式中，知识库图像构成的图像集与待编码视频序列构成的图像集是两个互相独立的图像集合，但知识库图像集中包括从待编码视频序列中选取出的图像。在一个实现方式中，所述知识库图像集中的图像仅用于作为待编码视频序列中的图像的备选参考图像，以将知识库图像集中的图像和待编码视频序列中的图像进行区分。在一个实现方式中，从所述至少一幅知识库图像中选取所述待编码图像的参考图像包括：从所述至少两幅知识库图像中选取所述待编码图像的参考图像，以为待编码图像选取多幅参考图像。在一个实现方式中，所述知识库图像集中不同的图像具有不同的标识信息，以通过标识信息查找到唯一对应的图像。在一个实现方式中，所述参考图像的标识信息包括：所述参考图像在所述知识库图像集中的编号信息。在一个实现方式中，所述待编码视频序列包括至少两个序列分段，所述参考图像的标识信息包括所述待编码图像所在的参考序列分段的标识信息，一个参考序列分段可以对应一个所述知识库图像集，且知识库图像集中不同的参考图像在知识库图像集中具有相同的编号信息时，通过待编码图像所在的参考序列分段的标识信息仍可以对参考图像进行区分，所述参考序列分段的标识信息用于指示所述参考图像用于作为所述参考序列分段中的图像的备选参考图像，所述参考序列分段包括所述待编码图像所在的随机访问片段，所述参考序列分段为所述至少两个序列分段中的任意一个序列分段。在一个实现方式中，所述根据所述参考图像对所述待编码图像进行帧间编码包括：根据所述参考图像，获取所述参考图像的重建图像；根据所述参考图像的重建图像对所述待编码图像进行帧间编码；相应的，所述参考图像的标识信息包括所述参考图像的质量层信息，所述参考图像的质量层信息用于指示所述参考图像的重建图像的分辨率和所述参考图像的重建图像的码流码率中的至少一种，这样当同一个知识库图像具有多个质量层的重建图像时，可以明确参考哪个重建图像。多个质量层的待编码视频序列的码流数据可以共用一个质量层的知识库码流数据，这样当解码端因为网络带宽波动而切换不同质量层的码流数据时，如果这些质量层对应于同一个质量层的知识库码流数据，则解码端可以减少知识库码流数据的下载量，提高传输效率，知识库码流数据由知识库图像集中图像的码流数据组成。其中，在一个实现方式中，所述根据所述参考图像对所述待编码图像进行帧间编码也可以包括：在已存在所述参考图像的重建图像时，获取所述参考图像的重建图像。已存在的原因在于，参考图像之前已被用于待编码视频序列中其它图像的参考图像。根据第一方面，在一个实现方式中，所述方法还包括：向解码端发送所述参考图像的码流数据，所述参考图像的码流数据不属于所述待编码视频序列的码流数据，所述参考图像的码流数据包括所述参考图像的编码数据和所述参考图像的图像类型，所述参考图像的图像类型用于指示所述参考图像为所述知识库图像集中的图像，所述解码端为执行图像解码方法的解码器、终端或计算机设备。其中，待编码视频序列的码流数据与知识库图像集(或者参考图像)的码流数据可以是两个独立的码流，也就是说，即便参考图像是待编码视频序列中的图像，在生成码流数据时，参考图像会作为待编码视频序列中的图像生成码流数据，同时也会作为知识库图像生成码流数据，两个码流数据的编码方式可以不同，在参考图像会作为待编码视频序列中的图像时，按照现有的方式对参考图像进行编码，在参考图像作为知识库图像时，进行全帧内模式编码或者以其他知识库作为参考图像进行编码。在一个实现方式中，所述参考图像的码流数据还包括所述参考图像的标识信息。在一个实现方式中，所述参考图像的码本文档来自技高网...

【技术保护点】
1.一种图像编码方法，其特征在于，所述方法包括：获取待编码视频序列的待编码图像以及知识库图像集中的至少一幅知识库图像；从所述至少一幅知识库图像中选取所述待编码图像的参考图像，其中，所述知识库图像集中的图像用于作为所述待编码视频序列中的图像的备选参考图像；根据所述参考图像对所述待编码图像进行帧间编码，从而获得所述待编码图像的码流数据，所述待编码图像的码流数据包括所述待编码图像的编码数据和用于标识所述参考图像的标识信息。

【技术特征摘要】
1.一种图像编码方法，其特征在于，所述方法包括：获取待编码视频序列的待编码图像以及知识库图像集中的至少一幅知识库图像；从所述至少一幅知识库图像中选取所述待编码图像的参考图像，其中，所述知识库图像集中的图像用于作为所述待编码视频序列中的图像的备选参考图像；根据所述参考图像对所述待编码图像进行帧间编码，从而获得所述待编码图像的码流数据，所述待编码图像的码流数据包括所述待编码图像的编码数据和用于标识所述参考图像的标识信息。2.根据权利要求1所述的方法，其特征在于，所述知识库图像集中不同的图像具有不同的标识信息。3.根据权利要求2所述的方法，其特征在于，所述待编码视频序列包括至少两个序列分段，所述参考图像的标识信息包括所述待编码图像所在的参考序列分段的标识信息，所述参考序列分段的标识信息用于指示所述参考图像用于作为所述参考序列分段中的图像的备选参考图像，所述参考序列分段包括所述待编码图像所在的随机访问片段，所述参考序列分段为所述至少两个序列分段中的任意一个序列分段。4.根据权利要求2或3所述的方法，其特征在于，所述根据所述参考图像对所述待编码图像进行帧间编码包括：根据所述参考图像，获取所述参考图像的重建图像；根据所述参考图像的重建图像对所述待编码图像进行帧间编码；相应的，所述参考图像的标识信息包括所述参考图像的质量层信息，所述参考图像的质量层信息用于指示所述参考图像的重建图像的分辨率和所述参考图像的重建图像的码流码率中的至少一种。5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：向解码端发送所述参考图像的码流数据，所述参考图像的码流数据不属于所述待编码视频序列的码流数据，所述参考图像的码流数据包括所述参考图像的编码数据和所述参考图像的图像类型，所述参考图像的图像类型用于指示所述参考图像为所述知识库图像集中的图像。6.根据权利要求5所述的方法，其特征在于，所述参考图像的码流数据还包括所述参考图像的标识信息。7.根据权利要求5或6所述的方法，其特征在于，所述参考图像的码流数据携带在所述参考图像对应的网络提取层单元中。8.根据权利要求6所述的方法，其特征在于，所述参考图像的图像类型以及所述参考图像的标识信息携带在所述参考图像对应的网络提取层单元的网络提取层单元头中；或者，所述参考图像的图像类型携带在所述参考图像对应的网络提取层单元的网络提取层单元头中，所述参考图像的标识信息携带在所述参考图像对应的网络提取层单元的网络提取层条带头中。9.根据权利要求1至8任一项所述的方法，其特征在于，所述待编码图像的码流数据还包括所述待编码图像的图像类型，所述待编码图像的图像类型用于指示所述待编码图像的编码数据根据所述知识库图像集中的图像进行帧间编码得到。10.根据权利要求9所述的方法，其特征在于，所述待编码图像的图像类型还用于指示所述参考图像的数量。11.根据权利要求9或10所述的方法，其特征在于，所述待编码图像的图像类型以及所述参考图像的标识信息携带在所述待编码图像对应的网络提取层单元的网络提取层单元头中；或者，所述待编码图像的图像类型携带在所述待编码图像对应的网络提取层单元的网络提取层单元头中，所述参考图像的标识信息携带在所述待编码图像对应的网络提取层单元的网络提取层条带头中。12.一种图像解码方法，其特征在于，所述方法包括：获取待解码图像的码流数据，所述待解码图像的码流数据包括所述待解码图像的编码数据和用于标识所述待解码图像的参考图像的标识信息；根据所述参考图像的标识信息，在已重建图像集中查找具有所述参考图像的标识信息的已重建图像，所述已重建图像为已重建得到的知识库重建图像，所述知识库重建图像为知识库图像集中的图像的重建图像，所述知识库图像集中的图像用于作为所述待解码图像所在的待解码视频序列中的图像的备选参考图像；在查找到具有所述参考图像的标识信息的已重建图像的情况下，根据具有所述参考图像的标识信息的已重建图像，对所述待解码图像的编码数据进行帧间解码，从而获得所述待解码图像的重建图像。13.根据权利要求12所述的方法，其特征在于，所述方法还包括：在未查找到具有所述参考图像的标识信息的已重建图像的情况下，根据所述参考图像的标识信息，获取具有所述参考图像的标识信息的码流数据作为所述参考图像的码流数据，所述参考图像的码流数据不属于所述待解码视频序列的码流数据，所述参考图像的码流数据包括所述参考图像的编码数据和所述参考图像的标识信息；根据所述参考图像的编码数据，解码得到所述参考图像的重建图像，所述参考图像的重建图像具有所述参考图像的标识信息；根据所述参考图像的重建图像，对所述待解码图像的编码数据进行帧间解码，从而获得所述待解码图像的重建图像。14.根据权利要求13所述的方法，其特征在于，所述方法还包括：将所述参考图像的重建图像作为所述已重建图像集中的新的已重建图像，从而更新所述已重建图像集。15.根据权利要求13或14所述的方法，其特征在于，所述参考图像的码流数据包括所述参考图像的图像类型，所述参考图像的图像类型用于指示所述参考图像为所述知识库图像集中的图像。16.根据权利要求15所述的方法，其特征在于，所述参考图像的图像类型以及所述参考图像的标识信息携带在所述参考图像对应的网络提取层单元的网络提取层单元头中；或者，所述参考图像的图像类型携带在所述参考图像对应的网络提取层单元的网络提取层单元头中，所述参考图像的标识信息携带在所述参考图像对应的网络提取层单元的网络提取层条带头中。17.根据权利要求13至16任一项所述的方法，其特征在于，所述参考图像的码流数据携带在所述参考图像对应的网络提取层单元中。18.根据权利要求13至17任一项所述的方法，其特征在于，所述已重建图像集中不同的已重建图像具有不同的标识信息。19.根据权利要求12至18任一项所述的方法，其特征在于，所述待解码视频序列包括至少两个序列分段，所述参考图像的标识信息包括所述待解码图像所在的参考序列分段的标识信息，所述参考序列分段的标识信息用于指示所述参考图像用于作为所述参考序列分段中的图像的备选参考图像，所述参考序列分段包括所述待解码图像所在的随机访问片段，所述参考序列分段为所述至少两个序列分段中的任意一个序列分段。20.根据权利要求19所述的方法，其特征在于，所述方法还包括：在所述待解码视频序列的播放顺序为顺序播放时，删除所述已重建图像集中具有先前序列分段的标识信息的已重建图像，从而更新所述已重建图像集，所述先前序列分段为在播放顺序上在所述参考序列分段之前的序列分段。21.根据权利要求12至20任一项所述的方法，其特征在于，所述参考图像的标识信息包括所述参考图像的质量层信息，所述参考图像的质量层信息用于指示所述参考图像的重建图像的分辨率和所述参考图像的重建图像的码流码率中的至少一种。22.根据权利要求12至21任一项所述的方法，其特征在于，所述待解码图像的码流数据还包括所述待解码图像的图像类型，所述待解码图像的图像类型用于指示所述待解码图像的编码数据根据所述知识库图像集中的图像进行帧间编码得到。23.根据权利要求22所述的方法，其特征在于，所述待解码图像的图像类型还用于指示所述参考图像的数量，在所述待解码图像的图像类型指示所述参考图像的数量为至少两个时，所述参考图像的标识信息为至少两个，所述参考图像与所述参考图像的标识信息一一对应。24.根据权利要求22或23所述的方法，其特征在于，所述待解码图像的图像类型以及所述待解码图像的标识信息携带在所述待解码图像对应的网络提取层单元的网络提取层单元头中；或者，所述待解码图像的图像类型携带在所述待解码图像对应的网络提取层单元的网络提取层单元头中，所述待解码图像的标识信息携带在所述待解码图像对应的网络提取层单元的网络提取层条带头中。25.一种图像编码装置，其特征在于，所述装置包括：获取单元，用于获取待编码视频序列的待编码图像以及知识库图像集中的至少一幅知...

【专利技术属性】
技术研发人员：赵寅，邸佩云，虞露，
申请(专利权)人：浙江大学，华为技术有限公司，
类型：发明
国别省市：浙江,33