多核解码器系统和视频解码方法技术方案

一种多核解码器系统和视频解码方法。系统包含多个解码器核；共享的参考数据缓冲器，耦合到多个解码器核以及外部存储器，其中共享的参考数据缓冲器储存从外部存储器接收的参考数据，并将参考数据提供到多个解码器核用于解码视频数据；以及一个或多个解码进度同步器，耦合到多个解码器核的一个或多个，以检测与多个解码器核的一个或多个关联的解码进度信息或共享的参考数据缓冲器的状态信息，并控制多个解码器核的一个或多个的解码进度。本发明专利技术通过以上方案，可以有效的改进带宽效率。

Multicore decoder system and video decoding method

A multi-core decoder system and a video decoding method. The system includes a plurality of decoder core; reference data buffer sharing, coupled to a plurality of decoder core and external memory, wherein the reference data sharing buffer storage reference data received from the external memory, and will provide reference data to the plurality of decoder for decoding core video data; and one or more decoding schedule synchronization device that is coupled to the plurality of decoder core one or more, the state information detection and a plurality of decoder core one or more associated decoding progress information or shared reference data buffer, and control a plurality of decoder core of one or more of the decoding progress. The invention can effectively improve the bandwidth efficiency through the scheme.

【技术实现步骤摘要】
多核解码器系统和视频解码方法
本专利技术涉及帧间级并行视频解码系统。特别地，本专利技术涉及系统的数据再使用，以便减少带宽消耗。
技术介绍
近年来，压缩视频已经广泛应用于各种应用，例如，视频广播、视频流以及视频存储。由更新视频标准使用的视频压缩技术变得更复杂且要求更多的处理功率。另一方面，基本视频的分辨率变得匹配高分辨率显示装置的分辨率且满足更高质量的要求。例如，当今，高清(HD)中的压缩视频广泛用于电视广播和视频流。甚至超高清(UHD)视频变为现实，且各种基于UHD的产品在消费市场可见。UHD内容的处理功率的要求随着空间分辨率快速增加。更高分辨率视频的处理功率对于基于硬件以及基于软件的实现是一个挑战性的问题。例如，UHD帧可具有3840x2160的分辨率，其对应于每图片帧8,294,440个像素。如果视频以每秒60帧进行俘获，UHD将几乎生成每秒5亿像素。对于以YUV444颜色格式的彩色视频源，将有150亿个样本在每秒中被处理。与UHD视频关联的数据数量是巨大的且对实时视频解码器提出巨大挑战。为了满足高清、超高清分辨率和/或更复杂的编码标准的计算功率要求，高速处理器和/或多个处理器已经使用于执行实时视频解码。例如，在个人计算机(PC)和消费电子环境中，多核中央处理单元(CPU)可用于解码视频比特流。多核系统可以以嵌入系统的形式以便成本节省和便捷。在现有的多核解码器系统中，控制单元通常配置多个核(core)(即，多个视频解码器内核(kernel))以执行帧级并行视频解码。为了协调由多个视频解码器内核存取的存储器，存储器存取控制单元可以用于多个核与多个核之间共享的存储器之间。图1A图示了帧级并行视频解码的一般双核视频解码器系统的框图。双核视频解码器系统100A包含控制单元110A、解码器核0(120A-0)、解码器核1(120A-1)以及存储器存取控制单元130A。控制单元110A可以用于指定解码器核0(120A-0)以解码一个帧，以及指定解码器核1(120A-1)以并行解码另一帧。因为每个解码器核需要存取储存于存储装置(例如，存储器)的参考数据，存储器存取控制单元130A连接到存储器，并用于管理由两个解码器核存取的存储器。解码器核可以用于解码对应于一个或多个选择视频编码格式的比特流，例如，MPEG-2、H2.64/AVC以及新的高效视频编码(HEVC)编码标准。图1B图示帧级并行视频解码的一般四核视频解码器系统的框图。四核视频解码器系统100B包含控制单元110B、解码器核0(120B-0)到解码器核3(120B-3)以及存储器存取控制单元130B。控制单元110B看用于指定解码器核0(120B-0)到解码器核3(120B-3)以并行解码不同帧。存储器存取控制单元130B连接到存储器并用于管理由四个解码器核存取的存储器。尽管任何压缩视频格式可用于HD或UHD内容，由于更高的压缩效率，更可能使用更新的压缩标准，例如，H2.64/AVC或HEVC。图2A图示支持HEVC视频标准的视频解码器200A的示范性系统框图。HEVC是由视频编码联合合作组(JCT-VC)开发的新的国际视频编码标准。HEVC是基于混合基于块的运动补偿的类DCT变换的编码架构。压缩的基本单元称为编码单元(CU)，是2Nx2N的四方块。CU可以最大CU(LCU)开始，LCU在HEVC中也称为编码树单元(CTU)，且每个CU可以递归地分成四个更小的CU，直到到达预定义的最小尺寸。一旦完成CU分层树的分割，每个CU根据预测类型和PU分区进一步分成一个或多个预测单元(PU)。每个CU或每个CU的残值分成转换单元(TU)树以应用二维(2D)转换。在图2A中，输入视频比特流首先由可变长度解码器(VLD)210A处理，以执行可变长度解码和句法解析。解析的句法可对应于帧间/帧内残值信号(来自VLD210的上面的输出路径)或运动信息(来自VLD210的下面的输出路径)。残值信号通常被转换编码。因此，编码的残值信号由逆扫描(IS)块212、逆量化(IQ)块214以及逆转换(IT)块216处理。来自逆转换(IT)块216的输出对应于重建的残值信号。对于帧内编码的块，重建的残值信号使用加法器块218加入到来自帧内预测块224的帧内预测，或对于帧间编码的块，重建的残值信号使用加法器块218加入到来自运动补偿块222的帧间预测。帧间/帧内选择块226选择帧内预测或帧间预测，用于取决于块是否是帧间或帧内编码的来重建视频信号。对于运动补偿，方法将存取储存于解码的图片缓冲器230的一个或多个参考块和由运动向量(MV)计算块220确定的运动向量信息。为了改进视觉的质量，环内滤波器228用于在其储存于解码的图片缓冲器230之前处理重建的视频。环内滤波器在HEVC中包含解块滤波器(DF)和样本自适应偏置(SAO)。环内滤波器可使用不同的滤波器用于其它编码标准。在图2A中，所有的功能块除了解码的图片缓冲器230可由解码器核实施。在典型的实现中，外部存储器，例如，DRAM，用于解码的图片缓冲器230。对于可变长度解码器(VLD)，由于其特性，其可以不用视频解码器核而单独实施。在此情况下，存储器可用于缓冲VLD的输出。图2B图示不包含VLD的视频解码器内核200B的示例。存储器240用于缓冲VLD210B的输出。对于帧级并行解码，由于数据依赖，即将被解码的帧和多个解码器内核之间的映射需要仔细完成以最大化性能。图3以解码顺序图示了六个图片(即，I，P，P，B，B和B)的示例。这六个图片可以显示顺序对应于I(1)，P(2)，B(3)，B(4)，B(5)和P(6)，其中插入的数字表示图片的显示顺序。图片I(1)由自身帧内编码而不需要任何其他图片上的任何数据依赖。图片P(2)是使用重建的I(1)图片作为参考图片的双方向预测。当I(1)和P(2)分别指定到解码器内核0和解码器内核1用于并行解码(310)时，存在数据依赖问题。类似地，当P(6)和B(3)分别指定到解码器内核0和解码器内核1用于第二阶段(320)并行解码，数据依赖问题再次出现。最后即将被解码的图片B(4)和B(5)分别指定到解码器内核0和解码器内核1用于第三阶段(330)的并行解码。因为P(2)和P(6)此时可用，并行解码B(4)和B(5)将不再有数据依赖问题。由于高计算要求以支持HD或UHD视频的实时解码，多核解码器已经用于改进解码速度。由于公共参考数据，帧间并行解码的一个潜在优势是带宽效率。然而，由于数据依赖，带宽效率将降级。因此，期望开发可解决数据依赖问题的方法和系统，以便改进带宽效率。
技术实现思路
为了解决以上技术问题，本专利技术提供一种在存储装置储存局部重建的像素数据用于帧内预测的视频处理装置和相关视频处理方法。根据本专利技术的第一方面，揭示一种多核解码器系统包含多个解码器核；共享的参考数据缓冲器，耦合到多个解码器核以及外部存储器，其中共享的参考数据缓冲器储存从外部存储器接收的参考数据，并将参考数据提供到多个解码器核用于解码视频数据；以及一个或多个解码进度同步器，耦合到多个解码器核的一个或多个，以检测与多个解码器核的一个或多个关联的解码进度信息或共享的参考数据缓冲器的状态信息，并控制多个解本文档来自技高网...

【技术保护点】
一种多核解码器系统，包含：多个解码器核；共享的参考数据缓冲器，耦合到所述多个解码器核以及外部存储器，其中所述共享的参考数据缓冲器储存从所述外部存储器接收的参考数据，并将所述参考数据提供到所述多个解码器核用于解码视频数据；以及一个或多个解码进度同步器，耦合到所述多个解码器核的一个或多个，以检测与所述多个解码器核的一个或多个关联的解码进度信息或所述共享的参考数据缓冲器的状态信息，并控制所述多个解码器核的一个或多个的解码进度。

【技术特征摘要】
2015.12.28 US 14/979,5781.一种多核解码器系统，包含：多个解码器核；共享的参考数据缓冲器，耦合到所述多个解码器核以及外部存储器，其中所述共享的参考数据缓冲器储存从所述外部存储器接收的参考数据，并将所述参考数据提供到所述多个解码器核用于解码视频数据；以及一个或多个解码进度同步器，耦合到所述多个解码器核的一个或多个，以检测与所述多个解码器核的一个或多个关联的解码进度信息或所述共享的参考数据缓冲器的状态信息，并控制所述多个解码器核的一个或多个的解码进度。2.如权利要求1所述的多核解码器系统，其特征在于，所述一个或多个解码进度同步器嵌入于所述多个解码器核的一个或多个中作为所述多个解码器核的一个或多个中的部分。3.如权利要求2所述的多核解码器系统，其特征在于，所述多核解码器系统仅使用一个解码进度同步器，且所述解码进度同步器嵌入一个解码器核作为主核，以检测与所述多个解码器核的一个或多个关联的所述解码进度信息，并控制所述多个解码器核的一个或多个的解码进度。4.如权利要求2所述的多核解码器系统，其特征在于，每个解码器核包含一个嵌入的解码进度同步器，以控制相应的解码器核的解码进度，且与所述多个解码器核关联的嵌入的解码进度同步器用于对等操作。5.如权利要求1所述的多核解码器系统，其特征在于，还包括一个或多个的延迟先进先出块，耦合到所述多个解码器核、所述共享的参考数据缓冲器和所述外部存储器，其中所述延迟先进先出块储存由一个解码器核使用的当前参考数据，以便由另一解码器核以后使用。6.如权利要求5所述的多核解码器系统，其特征在于，所述一个或多个解码进度同步器嵌入于所述多个解码器核的一个或多个作为所述多个解码器核的一个或多个的部分，或所述多核解码器系统仅使用嵌入于所述延迟先进先出块中的一个解码进度同步器。7.如权利要求1所述的多核解码器系统，其特征在于，所述共享的参考数据缓冲器是基于类型1缓存、类型2缓存或其它类似架构缓存来实施。8.一种多核解码器系统，包含：多个解码器核；共享的参考数据缓冲器，耦合到所述多个解码器核和外部存储器，其中所述共享的参考数据缓冲器储存从所述外部存储器接收的参考数据，并将所述参考数据提供到所述多个解码器核用于解码视频数据；以及延迟先进先出块，耦合到所述多个解码器核、所述共享的参考数据缓冲器和所述外部存储器，其中所述延迟先进先出块储存由一个解码器核使用的当前参考数据，以便由另一解码器核以后使用。9.如权利要求8所述的多核解码器系统，其特征在于，所述延迟先进先出块是基于类型1缓存、类型2缓存或专属芯片上静态随机随机存储器来实施。10.如权利要求8所述的多核解码器系统，其特征在于，所述共享的参考数据缓冲器是基于类型1缓存、类型2缓存或其它类似架构缓存来实施。11.如权利要求10所述的多核解码器系统，其特征在于，所述多个解码器核、所述共享的参考数据缓冲器以及所述延迟先进先出块集成于集成电路的相同的基板。12.如权利要求8所述的多核解码器系统，其特征在于，先导解码器核从所述外部存储器而不是所述共享的参考数据缓冲器接收第一参考数据，且所述第一参考数据也储存在所述延迟先进先出块。13.如权利要求12所述的多核解码器系统，其特征在于，与所述第一参考数据关联的地址或位置信息也储存在所述延迟先进先出块中。14.如权利要求12所述的多核解码器系统，其特征在于，当落后的解码器核要求所述第一参考数据，且所述第一参考数据仍然储存于所述延迟先进先出块时，所述第一参考数据被读进所述共享的参考数据缓冲器中，以及所述落后的解码器核从所述共享的参考数据缓冲器读取所述第一参考数据。15.如权利要求8所述的多核解码器系统，其特征在于，还包括一个或多个多路器，其中所述一个或多个多路器选择来自所述延迟先进先出块或所述外部存储器的共享的参考数据缓冲器输入，或从所述共享的参考数据缓冲器或所述延迟先进先出块选择每个解码器核的参考数据输入。16.一种多核解码器系统，包含：多个解码器核；以及共享的输出缓冲器，耦合到所述多个解码器核和外部存储器，其中所述共享的输出缓冲器储存来自第一解码器核的重建的数据，并在储存所述重建的数据到所述外部存储器之前，将所述重建的数据提供到第二解码器核作为参考数据，用于解码视频数据。17.如权利要求0所述的多核解码器系统，其特征在于，所述重建...

【专利技术属性】
技术研发人员：赵屏，郑佳韵，王智鸣，张永昌，
申请(专利权)人：联发科技股份有限公司，
类型：发明
国别省市：中国台湾,71