图像或视频系统中的图像帧的压缩、解压缩方法技术方案

本发明专利技术提供一种压缩图像或视频系统中的图像帧的方法，包含接收图像帧；将图像帧分割为多个切片，其中多个切片包含第一切片和第二切片；将多个切片的每个切片分割为多个分区；为每个切片编码每个分区，以生成每个切片的每个分区的比特流，其中对第一切片的编码开始于对第二切片的编码之前，且第二切片的至少一个分区编码于第一片段的最后一个分区编码之前；在一个或多个流缓冲器中储存与来自多个切片的多个分区关联的比特流，其中与来自每个切片的多个分区关联的比特流包装于片段，其中每个片段具有固定大小；以及提供交错片段。通过以上方案可以有效地减小缓冲器尺寸以及延迟。

【技术实现步骤摘要】
【专利说明】
本专利技术涉及图像数据处理。特别地，本专利技术涉及。【
技术介绍
】随着图像处理技术的发展，图像显示从较低的清晰度改进到较高的清晰度。随着清晰度的改进，被传送的数据的量显著地增加，例如，从1280x720到1920x1088或2560x1600。当显示控制器(Display Controller，DC)以固定比率从帧缓冲器读出像素时，传送带宽以及功耗的要求显著地增加以显示高清晰度图像。另一方面，帧缓冲器尺寸的要求随着图像大小的增长而增加。因此，帧缓冲压缩(Frame Buffer Compress1n, FBC)是用于图像编码和传送的趋势。通过帧缓冲压缩，发送缓冲器(TX)和接收缓冲器(RX)之间的传送带宽可减小。此外，RX装置内的帧缓冲器尺寸还可由帧缓冲压缩减小。用于帧缓冲压缩的算法是关于图像帧的分割方法。为了增强大尺寸图像的通过量，图像帧通常分成多个切片(slice)用于编码。图像帧可以分割为垂直切片、水平切片或交错切片。图1A图示将图像帧分割为垂直切片的示例。帧110分成对应于切片O和切片I的两个垂直片(tile)。此类型分割在本公开中称为垂直分割。图1B图示水平分割的示例。帧120分成对应于切片O和切片I的两个水平片。此类型分割在本公开中称为水平分割。当图像帧分成交错切片时，每个切片包含多个单元，多个单元与其它单个切片或多个切片的单元垂直地或水平地交错。图1C图示交错分割的示例。帧130分成交错切片O和切片1切片O的多个单元与切片I的多个单元交错。在基于交错分割的方法中，编码器和解码器遵循相同的交错算法。在现有的方法中，无论垂直或水平分割，编码器将图像帧的每个切片压缩以生成比特流。来自每个切片的比特流以从第一切片到最后切片的顺序包装，或来自多个切片的比特流以交错片段(segment)的方式包装。在非交错流的情况下，比特流以从第一切片到最后切片的顺序接收，且在之前切片的流接收完成之前，不接收当前切片的流。不论图像帧通过垂直或水平分割以分割为多个切片，图像帧的多个切片应该一个接一个的解码。因此，下一切片的解码开始于当前切片完成之后。因此，由于不增加帧缓冲器尺寸，多个切片不能由多个核心解码器并行解码，所以限制了通过量。在非交错流中，要求较大帧缓冲器尺寸，用于并行解码多个切片以获得高通过量。由于成本与帧缓冲器关联，避免用于并行解码多个切片的大帧缓冲器尺寸是非常重要的。因此，优选将来自多个切片的比特流包装为交错片段。图2A图示从压缩分成切片O和切片I的图像帧生成的流的示例。压缩器将图像帧编码以生成切片O流和切片I流。两个流缓冲为固定大小的分组(packet)，以形成交错片段，其中每个分组储存一个片段。在现有的方法中，一个或多个流缓冲器用于储存完整的切片O流和切片I流，如图2A所示。如果期望交错流，则切片O流和切片I流进一步分割为更小的切片O片段和切片I片段。切片O片段和切片I片段然后交错以形成所希望的交错流。在交错片段中，一个切片流的至少一个片段插入到另一切片流。图2B到2D显示了将流包装于交错片段的三个示例。每个固定大小的分组包含切片O流的一个片段或切片I流的一个片段。在图2B示出的示例中，一个切片的每个片段与另一切片的一个或两个片段交错。如图2B所示，分组212储存切片I的一个片段，此片段与储存于分组211和213的切片O的两个片段交错。在图2C示出的示例中，缓冲器储存一个切片的一个或两个片段，以及然后在后续的分组缓冲另一切片的一个或两个片段。所有分组(例如，分组221和222)具有固定的大小。缓冲器还可以如图2D所示的另一样式储存数据流。第一固定大小分组储存切片O流的一个片段，以及最后固定大小的分组保存切片O流的最后片段。在其它固定大小的分组中，每对分组用于为切片O或切片I储存两个片段。如图2D所示，分组231储存切片O的一个片段。分组232和233用于保存切片I的两个片段。下一两个分组用切片O的片段来填充。在每个切片中，图像数据通常以循序扫描(raster scan)的方式逐行或逐块地处理。在切片O和切片I流包装于交错片段的情况下，流数据以切片O流的片段与切片I流的片段交错的方式来接收。当图像帧分割为水平切片(即，水平分割)时，多个水平切片可由多个解压缩器并行解码。在此情况下，对于图像帧的每条扫描线或块的每行，多个解压缩器可用于解码。然而，对于解码基于垂直分割的每条扫描线，仅仅一个解压缩器可使用，因为切片I的处理直到切片O完成才开始。因此，在每条扫描线上优选采用水平分割以便提供更高解码通过量。此外，可能要求较大的重建缓冲器用于垂直分割，因为切片I重建的数据不立刻显示。在现有的基于水平分割的视频切片编码中，编码器将完全地编码一个切片，以及然后开始处理下一切片。图像帧逐片地被编码，且在每个切片中，编码块逐行地压缩。图3图示现有的基于水平分割的视频切片编码顺序。图像帧是基于16个块a。来编码，其中i表示行数以及j表示列数。16个块分割为两片，S卩，切片O和切片I。切片O的编码从块开始且遵循切片O中箭头显示的顺序。在切片O结束后，编码器遵循切片I中箭头图示的顺序从块\2到编码块a3，3处理切片I。片段编码顺序不同于显示接口的固有顺序。然而，水平切片的基于片的编码顺序不同于显示接口的固有顺序。在解码器侧，重建的图像帧在整个帧中逐行地显示。图4图示显示顺序的示例。重建的块以箭头显示的顺序来显示。由于传递到解压缩器侧的交错片段的要求，切片O流将完全缓冲直到切片O中的所有像素由编码器压缩。因此，流缓冲器必须足够大以储存整个切片O的流。因此，期望开发帧缓冲压缩以便在没有显著地影响下减小流缓冲器尺寸和/或延迟。【
技术实现思路
】有鉴于此，本专利技术特提供以下技术方案:本专利技术提供一种压缩图像或视频系统中的图像帧的方法，包含接收图像帧；将图像帧分割为多个切片，其中多个切片包含第一切片和第二切片；将多个切片的每个切片分割为多个分区；为每个切片编码每个分区，以生成每个切片的每个分区的比特流，其中对第一切片的编码开始于对第二切片的编码之前，且第二切片的至少一个分区编码于第一片段的最后一个分区编码之前；在一个或多个流缓冲器中储存与来自多个切片的多个分区关联的比特流，其中与来自每个切片的多个分区关联的比特流包装于片段，其中每个片段具有固定大小；以及提供交错片段。本专利技术还提供一种压缩图像或视频系统中图像帧的方法，包含接收图像帧；将图像帧分割为多个切片，其中多个切片包含第一切片和第二切片；编码当前切片中的处理单元，以生成与当前切片的处理单元关联的比特流，其中处理单元小于切片大小，且编码基于关于与多个切片关联的编码状态的信息切换到另一切片；在一个或多个流缓冲器中储存与当前切片的处理单元关联的比特流，其中每个切片的比特流包装于片段，其中每个片段具有固定大小；以及提供交错片段。本专利技术还提供一种解压缩图像或视频系统中的图像帧的方法，图像帧分割为多个切片，多个切片包含第一切片和第二切片，以及每个切片分成多个分区用于解码，方法包含接收与图像帧关联的比特流，其中比特流包含多个切片的交错的多个片段，且每个片段具有固定大小；通过将每个交错的片段派遣到用于每个切片的一个或多个流缓冲器，以解交错多个交错的片段；为每个切片解码一个本文档来自技高网...

【技术保护点】
一种压缩图像或视频系统中的图像帧的方法，其特征在于，所述方法包含：接收所述图像帧；将所述图像帧分割为多个切片，其中所述多个切片包含第一切片和第二切片；将所述多个切片的每个切片分割为多个分区；编码所述每个切片的每个分区，以生成所述每个切片的所述每个分区的比特流，其中对所述第一切片的编码开始于对所述第二切片的编码之前，且所述第二切片的至少一个分区编码于所述第一切片的最后一个分区编码之前；在一个或多个流缓冲器中储存与来自所述多个切片的所述多个分区关联的比特流，其中与来自所述每个切片的所述多个分区关联的比特流包装于多个片段，其中每个片段具有固定大小；以及提供交错片段。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：周汉良，李坤傧，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾;71