虚拟参考帧的建立方法及设备技术

本申请公开了一种虚拟参考帧的建立方法及设备，涉及图像处理领域，能够解决现有技术中建立虚拟参考帧时造成的解码器复杂度较高，功耗较大或者需要额外码率传输的问题。具体方案为：接收编码器传输的至少一个图像帧，利用至少一个图像帧中带有虚拟参考帧标识的块建立虚拟参考帧。因为用于建立虚拟参考帧的块添加了虚拟参考帧标识，在传输过程中不需要传输虚拟参考帧，不会造成码率上升，而且，解码器只需要将带有虚拟参考帧标识的块提取出来组成虚拟参考帧，不需要用和编码器相同的算法基于图像帧建立虚拟参考帧，减少了解码器的复杂度和功耗。本申请用于建立虚拟参考帧。

Method and apparatus for establishing virtual reference frame

The invention discloses a method and apparatus for establishing a virtual reference frame, relates to the field of image processing, can solve the decoder make virtual reference frame in the prior art of high complexity, large power consumption or extra bit rate transmission problem. The specific scheme is to receive at least one image frame transmitted by an encoder, and establish a virtual reference frame using a block with a virtual reference frame identifier in at least one image frame. As for the establishment of virtual reference frame block add virtual reference frame identification in the transmission process does not need to transmit the virtual reference frame, will not cause the rate rise, and the decoder only needs to be identified with a virtual reference frame block extracted virtual reference frame, do not need to use the same algorithm and encoder virtual image frame based on the reference frame, to reduce the complexity and power consumption of the decoder. This application is used to build virtual reference frames.

【技术实现步骤摘要】
虚拟参考帧的建立方法及设备
本申请涉及图像处理领域，特别涉及一种虚拟参考帧的建立方法及设备。
技术介绍
在视频文件的传输过程中，编码器将每一帧图像进行编码后传输至解码器，解码器将图像解码然后在显示设备上播放视频，在播放视频时，有一些图像会重复出现，例如固定的背景，会在前景物体离开后重新出现，将这些重复出现的图像作为虚拟参考帧，虚拟参考帧在视频播放的过程中并不会显示，只是用来在编码和解码时进行参考，提高编码和解码效率。例如，相关技术中，编码器根据待传输的至少一个图像帧以及预设的建模算法生成背景图像，该背景图像可以是视频播放时固定的背景，对于至少一个图像帧中每一个图像帧，如果该图像帧中某个块与背景图像中对应的块相似，则将相似的块作为用于建立虚拟参考帧的块，将用于建立虚拟参考帧的块存储在一个缓存区中，然后将挑选过建立虚拟参考帧的块的图像帧发送至解码器，这样，当存入足够多的用于建立虚拟参考帧的块时，将缓存区中存储的用于建立虚拟参考帧的块提取出来作为虚拟参考帧，参考该虚拟参考帧对之后待传输的图像帧进行编码，并且将该虚拟参考帧作为单独的一帧发送至解码器。又如，另一相关技术中，编码器不需要将虚拟参考帧单独作为一帧传输至解码器；解码器接收到图像帧后，基于和编码器相同的建模算法生成背景图像，并根据并根据背景图像挑选每一个图像帧中用于建立虚拟参考帧的块，将用于建立虚拟参考帧的块存储在一个缓存区中，当存入与编码器相同的建立虚拟参考帧的块时，将缓存区中用于建立虚拟参考帧的块提取出来作为虚拟参考帧，并参考该虚拟参考帧对之后的图像帧解码。但是，如果将虚拟参考帧作为单独的一帧传输，增加了数据传输量，增加了额外的码率，占用了过多的网络资源；如果不传输虚拟参考帧，解码器需要基于和编码器相同的算法建立虚拟参考帧，解码器复杂度较高，功耗较大。
技术实现思路
为了解决现有技术中建立虚拟参考帧时造成的解码器复杂度较高，功耗较大，或者使用额外码率的问题，本申请实施例提供了一种虚拟参考帧的建立方法及设备。所述技术方案如下：第一方面，提供了一种虚拟参考帧的建立方法，应用于解码器，该方法包括：接收编码器传输的至少一个图像帧，至少一个图像帧中每一个图像帧包含至少一个块；利用至少一个图像帧中带有虚拟参考帧标识的块建立虚拟参考帧，虚拟参考帧标识用于指示所在的块用于建立虚拟参考帧。在一种可能的实现方式中，利用至少一个图像帧中带有虚拟参考帧标识的块建立虚拟参考帧之前，方法还包括：分配第一虚拟参考帧缓存区；利用至少一个图像帧中带有虚拟参考帧标识的块建立虚拟参考帧，包括：确定每一个带有虚拟参考帧标识的块的位置，并将每一个带有虚拟参考帧标识的块分别存储在第一虚拟参考帧缓存区中。在一种可能的实现方式中，确定每一个带有虚拟参考帧标识的块的位置，包括：根据预设的位置映射关系确定每一个带有虚拟参考帧标识的块的位置。在一种可能的实现方式中，虚拟参考帧标识还用于指示所在的块的位置信息，确定每一个带有虚拟参考帧标识的块的位置，包括：根据虚拟参考帧标识的指示确定每一个带有虚拟参考帧标识的块的位置。在一种可能的实现方式中，该方法还包括：接收编码器发送的指示信息，指示信息用于指示预设的位置映射关系。在一种可能的实现方式中，虚拟参考帧标识承载在新增的预设数量的比特上。在一种可能的实现方式中，虚拟参考帧标识承载在预设格式的字段上，预设格式的字段用于指示预设量化步长、预设块大小、预设编码方式、预设运动矢量、预设残差、预设量化参数中的至少一项。在一种可能的实现方式中，利用至少一个图像帧中带有虚拟参考帧标识的块建立虚拟参考帧之后，方法还包括：接收编码器发送的解码指示信号，根据解码指示信号，参照虚拟参考帧进行解码，解码指示信号用于指示参照虚拟参考帧进行解码。第二方面，提供了一种虚拟参考帧的建立方法，应用于编码器，该方法包括：获取至少一个图像帧，至少一个图像帧中每一个图像帧包含至少一个块；在至少一个图像帧中确定用于建立虚拟参考帧的块，至少一个图像帧不包含虚拟参考帧；对至少一个图像帧中用于建立虚拟参考帧的块添加虚拟参考帧标识，虚拟参考帧标识用于指示所在的块用于建立虚拟参考帧；向解码器传输至少一个图像帧。在一种可能的实现方式中，在至少一个图像帧中确定用于建立虚拟参考帧的块，包括：当目标块与目标背景块中相似像素对的数量大于或等于第一阈值时，将目标块确定为用于建立虚拟参考帧的块；其中，所述目标块为目标图像帧中的任意一个块，所述目标背景块是根据所述目标块在目标图像帧中的位置确定的所述目标块在背景图像中对应的块，所述至少一个图像帧包含所述目标图像帧；所述相似像素对包括分别位于所述目标块与所述目标背景块中位置相对应的两个像素，且所述相似像素对包括的两个像素满足至少一个分量之差的绝对值小于或等于第二阈值。在一种可能的实现方式中，在至少一个图像帧中确定用于建立虚拟参考帧的编码块之前，该方法还包括：基于所述至少一个图像帧，按照预设的建模算法生成所述背景图像。在一种可能的实现方式中，在至少一个图像帧中确定用于建立虚拟参考帧的块之前，该方法还包括：分配第二虚拟参考帧缓存区；在所述至少一个图像帧中确定用于建立虚拟参考帧的块之后，所述方法还包括：根据预设的位置映射关系确定每一个用于建立虚拟参考帧的块的位置，并将每一个用于建立虚拟参考帧的块分别存储在所述第二虚拟参考帧缓存区中。在一种可能的实现方式中，虚拟参考帧标识还用于指示所在的块的位置信息。在一种可能的实现方式中，该方法还包括：向所述解码器发送指示信息，所述指示信息用于指示所述预设的位置映射关系。在一种可能的实现方式中，对至少一个图像帧中用于建立虚拟参考帧的块添加虚拟参考帧标识，包括：对所述用于建立虚拟参考帧的块增加预设数量的比特，所述虚拟参考帧标识承载在新增的所述预设数量的比特上。在一种可能的实现方式中，对至少一个图像帧中用于建立虚拟参考帧的块添加虚拟参考帧标识，包括：在所述用于建立虚拟参考帧的块中设定预设格式的字段，所述虚拟参考帧标识承载在预设格式的字段上，所述预设格式的字段用于指示预设量化步长、预设块大小、预设编码方式、预设运动矢量、预设残差、预设量化参数中的至少一项。在一种可能的实现方式中，对至少一个图像帧中用于建立虚拟参考帧的块添加虚拟参考帧标识之后，该方法还包括：当至少一个图像帧中用于建立虚拟参考帧的块组合成虚拟参考帧时，参照虚拟参考帧进行编码；向解码器发送解码指示信号，解码指示信号用于指示参照虚拟参考帧进行解码。第三方面，提供了一种解码器，包括：接收单元，用于接收编码器传输的至少一个图像帧，至少一个图像帧中每一个图像帧包含至少一个块；处理单元，用于利用至少一个图像帧中带有虚拟参考帧标识的块建立虚拟参考帧，虚拟参考帧标识用于指示所在的块用于建立虚拟参考帧。在一种可能的实现方式中，处理单元，还用于分配第一虚拟参考帧缓存区；确定每一个带有虚拟参考帧标识的块的位置，并将每一个带有虚拟参考帧标识的块分别存储在第一虚拟参考帧缓存区中。在一种可能的实现方式中，处理单元，还用于根据预设的位置映射关系确定每一个带有虚拟参考帧标识的块的位置。在一种可能的实现方式中，虚拟参考帧标识还用于指示所在的块的位置信息，处理单元，还用于根据虚拟参考帧标识的指示确定每一个带有虚拟参考帧本文档来自技高网...

【技术保护点】
一种虚拟参考帧的建立方法，其特征在于，应用于解码器，所述方法包括：接收编码器传输的至少一个图像帧，所述至少一个图像帧中每一个图像帧包含至少一个块；利用所述至少一个图像帧中带有虚拟参考帧标识的块建立虚拟参考帧，所述虚拟参考帧标识用于指示所在的块用于建立虚拟参考帧。

【技术特征摘要】
1.一种虚拟参考帧的建立方法，其特征在于，应用于解码器，所述方法包括：接收编码器传输的至少一个图像帧，所述至少一个图像帧中每一个图像帧包含至少一个块；利用所述至少一个图像帧中带有虚拟参考帧标识的块建立虚拟参考帧，所述虚拟参考帧标识用于指示所在的块用于建立虚拟参考帧。2.根据权利要求1所述的方法，其特征在于，利用所述至少一个图像帧中带有虚拟参考帧标识的块建立虚拟参考帧之前，所述方法还包括：分配第一虚拟参考帧缓存区；利用所述至少一个图像帧中带有虚拟参考帧标识的块建立虚拟参考帧，包括：确定每一个带有虚拟参考帧标识的块的位置，并将每一个带有虚拟参考帧标识的块分别存储在所述第一虚拟参考帧缓存区中。3.根据权利要求2所述的方法，其特征在于，确定每一个带有虚拟参考帧标识的块的位置，包括：根据预设的位置映射关系确定每一个带有虚拟参考帧标识的块的位置。4.根据权利要求2所述的方法，其特征在于，所述虚拟参考帧标识还用于指示所在的块的位置信息，确定每一个带有虚拟参考帧标识的块的位置，包括：根据所述虚拟参考帧标识的指示确定每一个带有虚拟参考帧标识的块的位置。5.根据权利要求2所述的方法，其特征在于，所述方法还包括：接收所述编码器发送的指示信息，所述指示信息用于指示所述预设的位置映射关系。6.根据权利要求1所述的方法，其特征在于，所述虚拟参考帧标识承载在新增的预设数量的比特上。7.根据权利要求1所述的方法，其特征在于，所述虚拟参考帧标识承载在预设格式的字段上，所述预设格式的字段用于指示预设量化步长、预设块大小、预设编码方式、预设运动矢量、预设残差、预设量化参数中的至少一项。8.根据权利要求1-7任一项所述的方法，其特征在于，利用所述至少一个图像帧中带有虚拟参考帧标识的块建立虚拟参考帧之后，所述方法还包括：接收所述编码器发送的解码指示信号，根据所述解码指示信号，参照所述虚拟参考帧进行解码，所述解码指示信号用于指示参照所述虚拟参考帧进行解码。9.一种虚拟参考帧的建立方法，其特征在于，应用于编码器，所述方法包括：获取至少一个图像帧，所述至少一个图像帧中每一个图像帧包含至少一个块；在所述至少一个图像帧中确定用于建立虚拟参考帧的块，所述至少一个图像帧不包含所述虚拟参考帧；对所述至少一个图像帧中用于建立虚拟参考帧的块添加虚拟参考帧标识，所述虚拟参考帧标识用于指示所在的块用于建立虚拟参考帧；向解码器传输所述至少一个图像帧。10.根据权利要求9所述的方法，其特征在于，在所述至少一个图像帧中确定用于建立虚拟参考帧的块，包括：当目标块与目标背景块中相似像素对的数量大于或等于第一阈值时，将所述目标块确定为用于建立虚拟参考帧的块；其中，所述目标块为目标图像帧中的任意一个块，所述目标背景块是根据所述目标块在目标图像帧中的位置确定的所述目标块在背景图像中对应的块，所述至少一个图像帧包含所述目标图像帧；所述相似像素对包括分别位于所述目标块与所述目标背景块中位置相对应的两个像素，且所述相似像素对包括的两个像素满足至少一个分量之差的绝对值小于或等于第二阈值。11.根据权利要求10所述的方法，其特征在于，在所述至少一个图像帧中确定用于建立虚拟参考帧的编码块之前，所述方法还包括：基于所述至少一个图像帧，按照预设的建模算法生成所述背景图像。12.根据权利要求9所述的方法，其特征在于，在所述至少一个图像帧中确定用于建立虚拟参考帧的块之前，所述方法还包括：分配第二虚拟参考帧缓存区；在所述至少一个图像帧中确定用于建立虚拟参考帧的块之后，所述方法还包括：根据预设的位置映射关系确定每一个用于建立虚拟参考帧的块的位置，并将每一个用于建立虚拟参考帧的块分别存储在所述第二虚拟参考帧缓存区中。13.根据权利要求12所述的方法，其特征在于，所述虚拟参考帧标识还用于指示所在的块的位置信息。14.根据权利要求12所述的方法，其特征在于，所述方法还包括：向所述解码器发送指示信息，所述指示信息用于指示所述预设的位置映射关系。15.根据权利要求9所述的方法，其特征在于，对所述至少一个图像帧中用于建立虚拟参考帧的块添加虚拟参考帧标识，包括：对所述用于建立虚拟参考帧的块增加预设数量的比特，所述虚拟参考帧标识承载在新增的所述预设数量的比特上。16.根据权利要求9所述的方法，其特征在于，对所述至少一个图像帧中用于建立虚拟参考帧的块添加虚拟参考帧标识，包括：在所述用于建立虚拟参考帧的块中设定预设格式的字段，所述虚拟参考帧标识承载在预设格式的字段上，所述预设格式的字段用于指示预设量化步长、预设块大小、预设编码方式、预设运动矢量、预设残差、预设量化参数中的至少一项。17.根据权利要求9-16任一项所述的方法，...

【专利技术属性】
技术研发人员：张怡轩，吴东昇，秘谧，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44